La UE regula la IA pero se olvida de proteger nuestra mente

https://europeanlawblog.eu/2021/07/07/the-eu-regulates-ai-but-forgets-to-protect-our-mind/

Tras la publicación de la propuesta de la Comisión Europea de un Reglamento sobre Inteligencia Artificial (Ley de IA, en adelante: AIA), en abril de 2021, varios comentaristas han planteado preocupaciones o dudas sobre dicho proyecto. En particular, el 21 de junio, la Junta Europea de Protección de Datos (JEPD) y el Supervisor Europeo de Protección de Datos (SEPD) publicaron un dictamen conjunto sobre la Ley de Inteligencia Artificial, en el que sugerían numerosos cambios en la propuesta de la Comisión Europea.

Consideramos que la AIA es uno de los intentos más avanzados y completos de regular la IA en el mundo. Sin embargo, coincidimos con la JEPD y el SEPD en que la AIA, en su versión actual, presenta varias deficiencias. Identificamos tres áreas principales en las que es necesario introducir modificaciones: (i) la regulación del reconocimiento de emociones, (ii) la regulación de los sistemas de clasificación biométrica y (iii) la protección contra la manipulación comercial. Basándonos en parte en el reflexivo y exhaustivo dictamen conjunto de las autoridades supervisoras europeas, trataremos de argumentar a favor de una mayor atención normativa al nexo entre la inteligencia artificial y la mente humana.

La propuesta de Ley de IA: un enfoque basado en el riesgo

Antes de abordar esta cuestión con más detalle, aclaremos primero el ámbito de aplicación de la Ley de Inteligencia Artificial. La propuesta pretende definir diferentes ámbitos de intervención para los sistemas de IA en función de su nivel de riesgo: a) aplicaciones prohibidas por causar riesgos insoportables para los derechos y libertades fundamentales; b) aplicaciones de alto riesgo, es decir, aplicaciones no prohibidas pero sujetas a condiciones específicas para gestionar los riesgos; c) aplicaciones de riesgo limitado y otras de riesgo insignificante.

La lista de aplicaciones de IA prohibidas incluye las prácticas manipuladoras en línea que producen daños físicos o psicológicos a las personas o explotan su vulnerabilidad por motivos de edad o discapacidad; los marcadores sociales que producen efectos perjudiciales desproporcionados o descontextualizados; y los sistemas de identificación biométrica utilizados por las autoridades policiales en espacios públicos (cuando su uso no es estrictamente necesario o cuando el riesgo de efectos perjudiciales es demasiado alto). Se trata de la primera vez que los reguladores europeos intentan definir una frontera o límite que no debe cruzarse al desplegar la IA en la sociedad.

A diferencia de los sistemas de IA prohibidos, los sistemas de IA clasificados como "de alto riesgo" no están prohibidos por defecto, sino que están sujetos a varias obligaciones de cumplimiento. Estas obligaciones incluyen un plan de gestión de riesgos, una certificación de conformidad, un plan de gestión de datos, una supervisión humana, etc. La lista de sistemas de IA de alto riesgo de la AIA incluye el reconocimiento facial; la IA utilizada en infraestructuras críticas, en contextos educativos, laborales o de emergencia; en contextos de asilo y fronteras; en la asistencia social o para la puntuación de créditos o para fines policiales o judiciales. La Comisión de la UE tiene derecho a actualizar esta lista en función de la gravedad y la probabilidad de impacto de los sistemas de IA actuales y futuros sobre los derechos fundamentales. 

Por último, una tercera categoría de sistemas de IA se considera de "riesgo limitado". Esta categoría incluye aplicaciones de IA moralmente cuestionables, como los algoritmos de IA que producen deepfakes (vídeos o fotos falsas de gran realismo), así como sistemas de reconocimiento de emociones y categorización biométrica. El uso de estos sistemas fuera del ámbito de la aplicación de la ley no implicaría automáticamente ninguna obligación de cumplimiento específica, sino solo obligaciones de transparencia relativamente vagas: es decir, una mera notificación a los consumidores/ciudadanos de que existe un sistema de IA. Cabe destacar que el nivel de riesgo de un sistema de IA parece ser una conjunción del tipo de sistema de IA, su ámbito de aplicación y su objetivo humano. Esto implica que si un sistema de IA con riesgos limitados se utiliza para prácticas que entran en la lista de riesgos insoportables, entonces estaría prohibido. Por ejemplo, si la IA se utiliza para detectar las emociones de los niños y así manipularlos, entonces estaría prohibida. De forma análoga, si estas aplicaciones de IA de riesgo limitado se utilizan en contextos sensibles que entran en la lista de riesgo alto, entonces se les exigiría que mantuvieran estrictas obligaciones de cumplimiento. Este es el caso, por ejemplo, si los sistemas de IA se utilizan para elaborar perfiles de presuntos delincuentes, trabajadores o estudiantes. 

*** Translated with www.DeepL.com/Translator (free version) ***