El error humano de la inteligencia artificial

https://www.agendadigitale.eu/cultura-digitale/the-human-error-of-artificial-intelligence/

En enero de 2020, Robert Julian-Borchak, un hombre negro, fue arrestado en Detroit por un crimen que no cometió solo por un error en un sistema de inteligencia artificial de reconocimiento facial. Este, según el New York Times, fue el primer caso conocido de un ciudadano estadounidense arrestado por un error algorítmico.

El caso de Robert Julian-Borchak cuenta la historia de nuestro tiempo. Hoy en día, las fuerzas del orden y los tribunales utilizan cada vez más los sistemas de inteligencia artificial para monitorear, rastrear y perfilarnos y determinar nuestra posible inocencia o culpabilidad. Estas transformaciones no solo afectan a Estados Unidos. También en Europa, las lógicas algorítmicas se están incorporando rápidamente en los entornos de justicia penal [1] y la vigilancia policial predictiva. [2].

Como demuestra el ejemplo de Robert Julian-Borchak, el uso de estas tecnologías por los tribunales y las fuerzas del orden puede tener un impacto perjudicial sobre nuestros derechos y libertades, y esta es la razón por la que estos sistemas deben ser estudiados, probados, evaluados y, en ocasiones, prohibidos. .

En abril de 2021, la Comisión Europea publicó una nueva Propuesta de Reglamento sobre Inteligencia Artificial en Europa, cuyo objetivo es precisamente eso. La nueva propuesta no solo sugiere que debemos entender los sistemas de inteligencia artificial que se utilizan para perfilar a las personas (por agentes del orden, educadores, recursos humanos, etc.) como de alto riesgo, sino también prácticas como la puntuación social o la vigilancia biométrica en 'tiempo real'. debería estar prohibido. La nueva propuesta también pide una mayor responsabilidad y transparencia en las formas en que se utiliza y se capacita la IA de alto riesgo. Lo que surge claramente de la propuesta de la Comisión de la UE es que los sistemas de inteligencia artificial destinados a la elaboración de perfiles humanos están expuestos a diferentes tipos de errores implícitos y sesgos en la elaboración de perfiles humanos que pueden amplificar las desigualdades en nuestra sociedad y pueden tener un impacto negativo en los derechos humanos.

La propuesta de la Comisión Europea de reglamento sobre inteligencia artificial es, en mi opinión, un paso adelante muy importante. Sin embargo, también creo que tenemos que ser realistas, aprender de la experiencia de GDPR y recordar que la implementación de propuestas legislativas como esta en Europa no es nada fácil. Lo cierto es que nuestra vida diaria se define ahora por una increíble cantidad de decisiones algorítmicas, que no son fácilmente controlables o gobernables.

La historia de Robert Julian-Borchak suena absurda, distópica y kafkiana. Es un caso extremo. En su extremo, sin embargo, nos enfrenta a una historia mucho más mundana y ordinaria: todos los días somos juzgados por sistemas de inteligencia artificial, y todos los días sus errores, sus sesgos pueden limitar nuestras libertades.