De la caja negra al velo algorítmico: por qué la imagen de la caja negra es perjudicial para la regulación de la IA
El lenguaje nunca es inocente: las palabras poseen una memoria secundaria, que en medio de nuevos significados persiste misteriosamente.
Roland Barthes
El debate social, así como el académico, sobre las nuevas tecnologías se caracteriza a menudo por el uso de metáforas y analogías. Cuando se trata de la clasificación jurídica de las nuevas tecnologías, Crootof habla incluso de una "batalla de analogías "2. Las metáforas y las analogías ofrecen islas de familiaridad a la hora de navegar jurídicamente por las inundaciones de la compleja evolución tecnológica. Las metáforas suelen empezar donde termina la comprensión intuitiva de las nuevas tecnologías.3 Cuanto menos familiarizados nos sentimos con una tecnología, mayor es nuestra necesidad de recurrir al lenguaje visual como conjunto de muletas epistémicas. Las palabras que elegimos para describir nuestro mundo, sin embargo, tienen una influencia directa en la forma en que lo percibimos.4 Wittgenstein incluso sostiene que representan los límites de nuestro mundo.5 Las metáforas y las analogías nunca son neutrales o "inocentes", como dice Barthes, sino que vienen con "equipaje "6, es decir, las metáforas en el ámbito digital están cargadas de los supuestos del mundo analógico del que se toman prestadas las imágenes.7 Consideremos la siguiente pregunta sobre una de las metáforas más extendidas en el tema de los algoritmos, la caja negra:
¿Qué es lo que ve ante su ojo interior cuando escucha el término "caja negra"?
Algunos pensarán en una figura monolítica, robusta, opaca, oscura y cuadrada.
Lo que pocos verán son seres humanos.
Esto demuestra tanto los puntos fuertes como los débiles de la imagen de la caja negra y, por lo tanto, de su cabeza de Jano. En el debate sobre los algoritmos, la narrativa de la caja negra se concibió originalmente como una "llamada de atención "8 para dirigir nuestra atención -a través de un lenguaje visual memorable- hacia ciertos riesgos de la automatización algorítmica; en concreto, hacia los riesgos de una pérdida de control (humano) y de comprensibilidad. La terminología de la caja negra cumple con éxito esta tarea.
Pero también amenaza con ocultar nuestra visión de las personas que están detrás de los sistemas algorítmicos y sus juicios de valor. La imagen de caja negra oculta una oportunidad de controlar las decisiones humanas que hay detrás de un sistema algorítmico y sugiere falsamente que los algoritmos son independientes de los prejuicios humanos. Al llamar la atención sobre un área problemática del uso de algoritmos (la falta de transparencia), la narrativa de la caja negra amenaza con distraer la atención de otras (la posibilidad de control, los juicios de valor humanos ocultos, la falta de neutralidad). El término caja negra oculta el hecho de que los algoritmos son sistemas sociotécnicos complejos que se basan en una multitud de decisiones humanas diferentes. Además, al presentar la tecnología algorítmica como una caja negra monolítica, inmutable e incomprensible, a menudo surgen connotaciones como "mágico" y "oracular". En lugar de provocar la crítica, estos términos a menudo conducen al asombro y, en última instancia, a la rendición ante la opacidad de la caja negra. Nuestras opciones para tratar los algoritmos se reducen a "usar o no usar". Las oportunidades que permitirían matizar el proceso de diseño humano de la caja negra pasan desapercibidas. Los procesos internos de la caja negra como sistema se aíslan de los humanos y se les atribuye una inevitabilidad que se asemeja mucho a la inevitabilidad de las fuerzas de la naturaleza; fuerzas que se pueden "domar" pero que nunca se pueden controlar sistemáticamente. La narrativa de la caja negra también atribuye esta inevitabilidad problemática a los efectos secundarios negativos, como los efectos discriminatorios de un algoritmo. Este punto de vista desvía la atención de las fuentes de comportamiento discriminatorio de los algoritmos, creadas por el hombre (por ejemplo, la selección de los datos de entrenamiento). La narrativa de la caja negra en su forma más extendida, es decir, como un eslogan irreflexivo, consigue paradójicamente lo contrario de lo que pretende, es decir, protegernos de la pérdida de control sobre los algoritmos.
En realidad, sin embargo, es posible revelar una serie de juicios de valor humanos que se esconden detrás incluso de un supuesto algoritmo de caja negra, por ejemplo, mediante el registro de requisitos en la fase de diseño o las pruebas de salida.
Por tanto, el reto que plantea la regulación de los algoritmos se describe más adecuadamente como un "velo algorítmico" que como una caja negra; un "velo algorítmico" que se coloca sobre las decisiones y los valores humanos. Una de las ventajas de la metáfora del velo es que casi inherentemente nos invita a levantarlo. Una caja negra, en cambio, no contiene tal invitación. Todo lo contrario: una caja negra indica que un intento de obtener cualquier tipo de conocimiento es poco probable que tenga éxito. Por lo tanto, las metáforas que utilizamos en el debate sobre los algoritmos pueden influir directamente en lo que pensamos que es posible en términos de regulación de los algoritmos. Al evocar la imagen del tejido fluido de un velo algorítmico, que sólo hay que levantar, en lugar de una enorme caja negra, que hay que abrir, mi intención no es minimizar los retos de la regulación de los algoritmos. Más bien, el velo debería entenderse como una invitación a la sociedad, a los programadores y a los académicos: en lugar de hablar de lo que "hacen" los algoritmos (como si fueran actores independientes), deberíamos hablar de lo que hacen los programadores humanos, los estadísticos y los científicos de datos que están detrás del algoritmo. Sólo cuando se adopte esta perspectiva, los algoritmos podrán ser algo más que "domesticados", es decir, controlados sistemáticamente por la regulación.
Comentarios
Publicar un comentario