La banalidad del mal (automatizado): reflexiones críticas sobre el conocimiento peligroso en la investigación del aprendizaje automático

• Rosa Marina Senent Julián ^[1] ; Diego Bueso Acevedo ^[2]
  1. [1] Dublin City University

     Dublin City University

     Irlanda

     
  2. [2] Universitat de València

     Universitat de València

     Valencia, España

     
• Localización: Recerca: revista de pensament i analisi, ISSN 1130-6149, Nº. 27, 2, 2022 (Ejemplar dedicado a: Ética de la investigación: Configurar marcos para promover buenas prácticas), 26 págs.
• Idioma: español
• Títulos paralelos:
  • The Banality of (Automated) Evil: Critical Reflections on the Concept of Forbidden Knowledge in Machine Learning Research
• Enlaces
  • Texto completo
• Resumen
  • español

    El desarrollo de las ciencias computacionales ha suscitado preocupaciones éticas relacionadas con las posibles consecuencias negativas de algunas herramientas de aprendizaje automático sobre las personas y la sociedad. Algunos ejemplos son deepfakes pornográficos usados como armas de guerra contra las mujeres; un modelo de reconocimiento de patrones diseñado para descubrir la orientación sexual; y el mal uso de datos y aprendizaje profundo por parte de compañías privadas para influir en elecciones democráticas. Consideramos que estos ejemplos constituyen casos de maldad automatizada. En este artículo, defendemos que la noción de conocimiento peligroso es útil como parte de la ética necesaria en investigación sobre aprendizaje automático. Concluimos que restringir el acceso generalizado a extensas bases de datos, así como limitar el acceso a códigos disponibles para su uso podría mitigar los posibles daños causados por algunas herramientas de aprendizaje automático. Además, las nociones de interseccionalidad e interdisciplinariedad deberían introducirse sistemáticamente en la investigación de ciencia de datos y computacional.

  • English

    The development of computer science has raised ethic al concerns regarding the potential negative impact of machine learning tools on people and society.

    In this article, we provide three examples of automated evil: deep fake technology (ab)used by anonymous men to make digitally manipulated pornography to harm women; pattern recognition designed to try to uncover sexual orientation; and deep learning and extensive datasets used by private companies to influence democratic elections. We contend that the concept of ‘forbidden knowledge’ can help to inform a coherent ethical framework in the context of data and computer science research and contribute to tackle automated evil. We conclude that restricting generalised access to extensive data and limiting access to ready-to-use codes would mitigate potential harm caused by machine learning tools. In addition, we advocate that the notions of intersectionality and interdisciplinarity be systematically incorporated in data and computer science research.