¿Puede la auditoría eliminar el sesgo de los algoritmos?

https://themarkup.org/ask-the-markup/2021/02/23/can-auditing-eliminate-bias-from-algorithms

La auditoría algorítmica recibió mucha prensa recientemente cuando HireVue, una popular compañía de software de contratación utilizada por compañías como Walmart y Goldman Sachs, enfrentó críticas porque los algoritmos que usaba para evaluar a los candidatos a través de entrevistas en video estaban sesgados.

HireVue llamó a una firma de auditoría para que le ayudara y en enero promocionó los resultados de la auditoría en un comunicado de prensa.

La auditoría encontró que las predicciones del software "funcionan como se anuncian con respecto a cuestiones de equidad y sesgo", dijo HireVue en un comunicado de prensa, citando a la firma de auditoría que contrató, O’Neil Risk Consulting & Algorithmic Auditing (ORCAA).

Pero a pesar de realizar cambios en su proceso, incluida la eliminación del video de sus entrevistas, HireVue fue ampliamente acusado de usar la auditoría, que analizaba de manera estricta una prueba de contratación para los primeros candidatos de carrera, no el proceso de evaluación de candidatos de HireVue en su conjunto, como un truco de relaciones públicas.

Los artículos en Fast Company, VentureBeat y MIT Technology Review criticaron a la empresa por caracterizar erróneamente la auditoría.

HireVue dijo que fue transparente con la auditoría al poner el informe a disposición del público y agregó que el comunicado de prensa especificaba que la auditoría era solo para un escenario específico.

"Si bien HireVue estaba abierto a cualquier tipo de auditoría, incluida una que implicaba observar nuestro proceso en general, ORCAA pidió centrarse en un caso de uso único para permitir discusiones concretas sobre el sistema", dijo Lindsey Zuloaga, científica de datos en jefe de HireVue, en un correo electrónico. "Trabajamos con ORCAA para elegir un caso de uso representativo con una superposición sustancial con las evaluaciones por las que pasan la mayoría de los candidatos de HireVue".

Pero los auditores algorítmicos también estaban disgustados con las declaraciones públicas de HireVue sobre la auditoría.

"Al reutilizar el análisis muy cuidadoso de [ORCAA] en material de marketing, están socavando la legitimidad de todo el campo", dijo Liz O’Sullivan, cofundadora de Arthur, una startup de monitoreo de sesgos y explicabilidad de IA.

Y ese es el problema con la auditoría algorítmica como herramienta para eliminar sesgos: las empresas pueden usarlos para realizar mejoras reales, pero es posible que no. Y no existen normas o reglamentos de la industria que exijan cuentas a los auditores o las empresas que los utilizan.