Preservación del sesgo en el aprendizaje automático: La legalidad de las métricas de equidad según la ley de no discriminación de la UE

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3792772

Las sociedades occidentales están marcadas por diversos y amplios sesgos y desigualdades que están inevitablemente integrados en los datos utilizados para entrenar el aprendizaje automático. Los algoritmos entrenados con datos sesgados producirán, sin intervención, resultados sesgados y aumentarán la desigualdad experimentada por grupos históricamente desfavorecidos. Conscientes de este problema, en los últimos años se han realizado muchos trabajos para comprobar la existencia de sesgos en los sistemas de aprendizaje automático y de IA mediante el uso de diversas métricas de equidad y sesgo. A menudo, estas métricas abordan el sesgo técnico pero ignoran las causas subyacentes de la desigualdad. En este artículo hacemos tres aportaciones. En primer lugar, evaluamos la compatibilidad de las métricas de equidad utilizadas en el aprendizaje automático con los objetivos y la finalidad de la legislación de la UE en materia de no discriminación. Demostramos que el objetivo fundamental de la ley no es sólo prevenir la discriminación en curso, sino también cambiar la sociedad, las políticas y las prácticas para "nivelar el campo de juego" y lograr una igualdad sustantiva en lugar de meramente formal. Basándonos en esto, proponemos un novedoso esquema de clasificación para las métricas de equidad en el aprendizaje automático, basado en cómo manejan el sesgo preexistente y, por lo tanto, se alinean con los objetivos de la ley de no discriminación. En concreto, distinguimos entre las métricas de equidad que "preservan el sesgo" y las que "transforman el sesgo". Nuestro sistema de clasificación pretende salvar la brecha entre la legislación sobre no discriminación y las decisiones sobre cómo medir la equidad en el aprendizaje automático y la IA en la práctica. Por último, mostramos que la necesidad legal de justificación en los casos de discriminación indirecta puede imponer obligaciones adicionales a los desarrolladores, implementadores y usuarios que optan por utilizar métricas de equidad que preservan el sesgo al tomar decisiones sobre los individuos, ya que pueden dar lugar a una discriminación prima facie. Para lograr la igualdad sustantiva en la práctica, y cumplir así los objetivos de la ley, recomendamos en cambio utilizar métricas que transformen el sesgo. Para concluir, proporcionamos recomendaciones concretas, incluida una lista de comprobación fácil de usar para elegir la métrica de equidad más adecuada para los usos del aprendizaje automático y la IA en el marco de la legislación de la UE en materia de no discriminación.

*** Translated with www.DeepL.com/Translator (free version) ***