¿Se puede automatizar la equidad con IA? Una mirada más profunda a un debate esencial
Quiero comenzar con un ejemplo en el que la medición de la equidad descrita en la Parte 1 podría haber evitado resultados casi catastróficos. A menudo hablamos de A.I. Ética en términos de cómo afecta a subgrupos específicos, e incluso entonces, a una persona a la vez. A menudo descuidamos cuán errante y descuidado A.I. afecta a poblaciones enteras, comunidades o incluso la economía, el clima y el ecosistema. O incluso el colapso de la sociedad civil. (artículo siguiente)
Ofqual: al igual que el College Board, en el Reino Unido, los exámenes de ingreso a la universidad A-level Level son administrados por Ofqual. Su A.I. la aventura los metió en problemas. Debido a COVID-19, los exámenes no se pudieron realizar en el lugar. En cambio, Ofqual descuidadamente, casi sin sentido, elaboró un algoritmo que mezcló las puntuaciones basándose en parte en las puntuaciones anteriores de cada escuela. Sobre la base de que "el promedio está tan cerca de la parte inferior como de la parte superior", el tono y el grito estaban furiosos. Los puntajes desinflados artificialmente penalizaron a los estudiantes en las escuelas desfavorecidas, y su futuro universitario de primer nivel fue destruido.
¿Qué podemos aprender sobre el caso Ofqual? Debido a que fueron transparentes sobre cómo desarrollaron el algoritmo, el problema se descubrió rápidamente. Sin embargo, la resolución fue que los exámenes de este año serían evaluados por los maestros y no en base a los exámenes que los estudiantes no tomaron. Es seguro decir que algunos estudiantes sufrieron graves daños, por lo que su transparencia y prisa en corregir esto es una buena lección sobre cuánto daño imprudente A.I. puede hacer. Los algoritmos deben estar sujetos a pruebas cuantitativas de equidad antes de ser lanzados al público, o la reflexión y el refuerzo continuos de los prejuicios frenan a la sociedad y las empresas. Es una práctica bien conocida para los programadores simplemente insertar código fuente abierto en el código que están desarrollando sin una comprensión clara de lo que contiene. Los algoritmos patentados no deben integrarse sin comprender su funcionamiento o para ocultar el código inferior al estándar de la inspección.
Antes de que podamos construir métricas de equidad, debemos comprender qué hizo el modelo. ¿Cómo puede evaluar una métrica de equidad o modificar el modelo si no tiene control sobre su "pensamiento" interno? El método predominante para la ingeniería inversa del resultado de cualquier algoritmo predictivo para la explicabilidad es SHAP (explicaciones aditivas de SHapley). Fue inventado por Lundberg y Lee y publicado en un artículo en 2017. Los valores SHAP se utilizan para modelos complejos (como redes neuronales o aumento de gradiente) para comprender por qué el modelo hace sus predicciones.
El término SHAP deriva de un aspecto, los valores de Shapley, de la teoría de juegos, que es el estudio de cómo y por qué las personas y los programas toman decisiones. Formalmente, utiliza modelos matemáticos de conflicto y cooperación entre tomadores de decisiones inteligentes y racionales, personas u otros. La teoría de juegos necesita dos cosas: un juego y algunos jugadores. Para un modelo predictivo, el juego reproduce el modelo y los jugadores son las características. Shapley realiza un seguimiento de lo que cada jugador contribuye al juego, y SHAP agrega cómo cada característica afecta las predicciones. La brecha entre las dos proyecciones de modelos conectadas se puede interpretar como el efecto de esa característica adicional. Esto se denomina "contribución marginal" de una característica.
Omitiendo algunas docenas de pasos, a partir de ahí, puede calcular el valor SHAP de una característica, como la edad, y sumando SHAP produce la diferencia entre la predicción del modelo y el modelo nulo. Con suerte, sin la necesidad de ver una docena de fórmulas, puede ver cómo se aplica esto para comprender relaciones bastante complejas entre funciones. Este es un excelente primer paso para comprender dónde buscar el sesgo. Hay una excelente y completa explicación de esto sin mucha notación matemática en Explicación del aprendizaje a clasificar modelos con forma de árbol.
Todo el campo de la explicabilidad está repleto de nuevas ideas. SHAP es solo uno. La secuencia que se podría seguir es:
Prueba el modelo
Comprender lo que sucedió (usando SHAP, por ejemplo)
Evalúe el resultado con sus métricas de equidad
Corre y repite.
Una nueva arruga en el debate sobre la "automatización de la equidad"
Considere por qué la equidad no se puede automatizar: cerrar la brecha entre la ley de no discriminación de la UE y la inteligencia artificial, por Sandra Wachter, Brent Mittelstadt y Chris Russell. El Oxford Internet Institute (OII) de la Universidad de Oxford es un departamento multidisciplinario de investigación y enseñanza de la Universidad de Oxford, dedicado a las ciencias sociales de Internet. Pero un comunicado de prensa publicado el 14 de diciembre de 2020 por la OII, "herramienta de modelado de IA desarrollada por académicos de Oxford incorporada al software anti-sesgo de Amazon", parece contradecir el cuerpo de su artículo:
Amazon implementó un nuevo método para ayudar a detectar mejor la discriminación en la inteligencia artificial y los sistemas de aprendizaje automático creado por académicos del Oxford Internet Institute, Universidad de Oxford, en su nuevo kit de herramientas de sesgo, 'Amazon SageMaker Clarify', para uso de Amazon Web Services clientes.
A partir del título, se podría suponer que contradice estos enfoques para medir la equidad, pero en un examen más detenido, los autores afirman que se puede medir, pero no se puede resolver computacionalmente. Señalan: "Debido a la naturaleza dispar de la discriminación algorítmica y humana, los requisitos actuales de la UE son demasiado contextuales, dependen de la intuición y están abiertos a la interpretación judicial para ser automatizados". No afirman que la equidad no se pueda automatizar en principio, sino que las regulaciones gubernamentales (la UE en particular) son demasiado imprecisas para la automatización.
Proponen por qué la equidad no puede y no debe automatizarse, y proponen la Disparidad Demográfica Condicional (DDC) como base para la evidencia para garantizar un procedimiento consistente de evaluación (pero no interpretación) en los casos que involucran discriminación potencial causada por sistemas automatizados. Primero, definamos CDD. Es relativamente simple:
Si recuerdas, en la Parte I, Reid Blackman propuso un ejemplo de por qué siente que esto es ridículo. Esto es lo que dijo:
Supongamos que te estoy torturando y gritas: "¿Cómo te atreves?" ¡Esto es injusto! ¡Esto es injusto!' Yo respondo: "Mire, es perfectamente justo porque estoy torturando a subpoblaciones relevantes a la misma velocidad. Blanco, negro, asiático, latino, gay, trans y más: es el 10% de cada población '. Eso es absurdo. Esto se debe a que la equidad y la justicia no solo pueden capturarse mediante nociones de paridad estadística.
La respuesta aquí es que necesitamos herramientas para descubrir el sesgo y necesitamos herramientas para evaluar la equidad. Sin embargo, no tenemos herramientas para hacer ambas cosas por completo. Eso es, creo, lo que Reid quiso decir cuando dijo: "No hay una fórmula matemática para la justicia y nunca la habrá". Las matemáticas no pueden resolver la equidad, pero pueden medirla y pueden descubrir, al menos hasta cierto punto, cuáles son sus causas.
El artículo de la OII admitió que la DDC no es una cura para el sesgo, pero proporciona una línea de base para investigar los modelos que presentan sesgo.
Mi toma
He visto aumentos estrechos en la "equidad" celebrados como un progreso, como la relajación del algoritmo de aprobación de crédito para los prestatarios cuyos criterios no son del 100%. Bravo, es bueno ver algunos avances. Pero enterrado en la racionalización está que los requisitos fueron sesgados y discriminatorios en primer lugar. Esto no es justo. Estos tibios esfuerzos son pequeños pasos para abordar la discriminación de larga data.
Está claro que descubrir el sesgo es un paso necesario para mejorar la equidad de los modelos.
El sesgo no se puede resolver (completamente) computacionalmente. Se necesitan urgentemente herramientas computacionales para ayudar. Desafortunadamente, la detección de sesgos utiliza el aprendizaje automático y las redes neuronales, los cuales probablemente estén entrenados con datos sesgados.
La eliminación de sesgos tiene que ser un proceso de detección de sesgos y remediación, regido por leyes y regulaciones más claras, educación y marcos éticos.
La equidad puede y debe medirse pero no puede resolverse computacionalmente.
Comentarios
Publicar un comentario