La trampa de la auditoría algorítmica

https://onezero.medium.com/the-algorithmic-auditing-trap-9a6f2d4d461d

Este artículo de opinión ha sido escrito por Mona Sloane, socióloga e investigadora científica senior del Centro para la Inteligencia Artificial Responsable de la Universidad de Nueva York (NYU) y miembro del Instituto para el Conocimiento Público de la NYU. Su trabajo se centra en el diseño y la desigualdad en el contexto de los algoritmos y la inteligencia artificial.

Tenemos una nueva carrera de la Inteligencia Artificial en nuestras manos: la carrera para definir y dirigir lo que significa auditar algoritmos. Los órganos de gobierno saben que deben encontrar soluciones al daño desproporcionado que pueden causar los algoritmos.

Esta tecnología tiene un impacto desproporcionado en las minorías raciales, las personas económicamente desfavorecidas, las mujeres y las personas con discapacidad, con aplicaciones que van desde la atención sanitaria hasta la asistencia social, la contratación y la educación. En este caso, los algoritmos suelen servir como herramientas estadísticas que analizan los datos de un individuo para inferir la probabilidad de un evento futuro; por ejemplo, el riesgo de enfermar gravemente y necesitar atención médica. Este riesgo se cuantifica como una "puntuación de riesgo", un método que también puede encontrarse en las industrias de préstamos y seguros y que sirve de base para tomar una decisión en el presente, como por ejemplo, cómo se distribuyen los recursos y a quién.

Ahora, un enfoque potencialmente impactante se está materializando en el horizonte: la auditoría algorítmica, un campo de rápido desarrollo tanto en la investigación como en la aplicación, que está dando a luz a una nueva cosecha de startups que ofrecen diferentes formas de "auditorías algorítmicas" que prometen comprobar los modelos algorítmicos para detectar sesgos o el cumplimiento legal.

Las auditorías como herramienta reguladora de la contratación de algoritmos

Recientemente, la cuestión de las auditorías algorítmicas ha cobrado especial relevancia en el contexto de la inteligencia artificial utilizada en la contratación. Los responsables políticos de la ciudad de Nueva York están debatiendo la Int. 1894-2020, una propuesta de ley que regularía la venta de herramientas automatizadas para la toma de decisiones en materia de empleo. Este proyecto de ley exige la realización de "auditorías de sesgo" periódicas de las herramientas automatizadas de contratación y empleo.

Estas herramientas -analizadores de currículos, herramientas que pretenden predecir la personalidad basándose en los perfiles de las redes sociales o en el texto escrito por el candidato, o tecnologías de visión por ordenador que analizan las "microexpresiones" de un candidato- ayudan a las empresas a maximizar el rendimiento de los empleados para obtener una ventaja competitiva ayudándoles a encontrar el candidato "adecuado" para el puesto "adecuado" de forma rápida y rentable.

Esto es un gran negocio. El mercado de la contratación y el reclutamiento de personal en Estados Unidos, que incluye a las empresas que ayudan a reclutar nuevo personal interno y a las que proporcionan directamente personal temporal para cubrir funciones específicas (personal temporal o de agencias), tuvo un valor de 151.800 millones de dólares en 2019. En 2016, el coste medio de una empresa por contratación fue de 4.129 dólares, según la Society for Human Resource Management.

Las herramientas de contratación y empleo automatizadas desempeñarán un papel fundamental en la reconstrucción de las economías locales tras la pandemia de Covid-19. Por ejemplo, desde marzo de 2020, los neoyorquinos tenían más probabilidades que la media nacional de vivir en un hogar afectado por la pérdida de ingresos. El impacto económico de la pandemia también se materializa en líneas raciales: En junio de 2020, sólo el 13,9% de los neoyorquinos blancos estaban desempleados, en comparación con el 23,7% de los residentes negros, el 22,7% de los residentes latinos y el 21,1% de los residentes asiáticos.

Las herramientas de contratación automatizada reconfigurarán la forma en que estas comunidades recuperan el acceso al empleo y cómo se reconstruyen las economías locales. En este contexto, es importante y loable que los responsables políticos estén trabajando para imponer la auditoría algorítmica.

Pero nos enfrentamos a una preocupación infravalorada: Hasta la fecha, no hay una definición clara de "auditoría algorítmica". Las auditorías, que a primera vista parecen rigurosas, pueden acabar siendo un desdentado pulidor de reputación, o incluso peor: pueden legitimar tecnologías que ni siquiera deberían existir porque se basan en una peligrosa pseudociencia.

En el contexto de la contratación, la pseudociencia en cuestión es la fisiognomía, que pretende que el carácter puede juzgarse basándose en las características faciales, y la frenología, que, igualmente, se basa en la idea de que la conformación del cráneo es indicativa de las facultades mentales.

En el contexto de la Inteligencia Artificial utilizada para la contratación, esto puede adoptar la forma de algoritmos que analizan las expresiones faciales, la entonación, la escritura, el comportamiento en las redes sociales o el rendimiento en los juegos de un candidato como parte del proceso de evaluación.

Secuestro de la auditoría

A principios de este año, HireVue, una plataforma de contratación que utiliza un algoritmo para evaluar a los candidatos a un puesto de trabajo, supuestamente tergiversó una auditoría realizada sobre su tecnología por O'Neil Risk Consulting y Algorithmic Auditing. HireVue dijo en un comunicado de prensa que dejaría de utilizar el reconocimiento facial en sus evaluaciones, que por lo demás "funcionan como se anuncian con respecto a cuestiones de equidad y sesgo." Un trabajo de Alex Engler para Fast Company y Brookings puso de manifiesto los numerosos límites que la empresa impuso a los auditores, dirigiendo de hecho el proceso de auditoría desde el principio.

Un problema similar se produjo en un reciente trabajo revisado por pares que se propuso auditar el algoritmo utilizado por Pymetrics, una empresa que despliega "evaluaciones de comportamiento para valorar a los solicitantes de empleo" mediante "juegos atractivos para medir de forma justa y precisa las capacidades cognitivas y emocionales".

*** Translated with www.DeepL.com/Translator (free version) ***