Es hora de que la IA se explique

https://www.hpe.com/us/en/insights/articles/it-s-time-for-ai-to-explain-itself-2108.html

Los modelos de IA son cada vez más precisos, pero ni siquiera los científicos de datos que los crearon pueden explicar por qué, y eso es un problema.

Los algoritmos basados en la IA forman parte de la vida cotidiana de casi todo el mundo. Todos nos hemos acostumbrado a que las máquinas nos sugieran una nueva serie para ver en Netflix, otra persona a la que seguir en Facebook o lo siguiente que tenemos que pedir en Amazon.

También están impulsando decisiones mucho más importantes, como en qué acciones invertir, qué procedimientos médicos considerar o si se puede optar a una hipoteca. En algunos casos, un sistema de IA puede ofrecer mejores consejos que un asesor financiero, un médico o un banquero.

Pero si acabas en el lado equivocado de un algoritmo, no hay ninguna persona a la que puedas abrochar para explicar por qué tu solicitud de préstamo fue rechazada o tu currículum descartado.

Y con demasiada frecuencia, las empresas que crearon y desplegaron estos algoritmos tampoco pueden explicarlos.

Lea: Cómo resolver el enigma de la eficiencia de la IA

Según The State of Responsible AI: 2021, una encuesta patrocinada por la firma de servicios financieros FICO, dos tercios de las empresas no pueden explicar cómo los modelos de IA que han desplegado llegan a las decisiones. Y solo una de cada cinco supervisa activamente estos modelos para garantizar que las decisiones se toman de forma ética y justa.

La IA tiene un problema de transparencia. Las organizaciones que quieran ganarse la confianza de los consumidores, evitar la ira de los reguladores o simplemente determinar lo bien que funcionan sus modelos de aprendizaje automático tendrán que adoptar la IA explicable (XAI) en el futuro.

"Es fundamental que las empresas se aseguren de que los algoritmos de IA en los que se basan son explicables para los reguladores, especialmente en el espacio antimonopolio y de protección del consumidor."

DEE BANSAL SOCIO, COOLEY LLP

¿Qué puede salir mal?

Aunque nadie está sugiriendo que la IA esté a punto de volverse autoconsciente y empezar a hacer la guerra a la humanidad, los impactos negativos de la toma de decisiones automatizada están bien documentados.

El problema más común es el sesgo introducido mientras se entrena el modelo de IA. Por ejemplo, los algoritmos de reconocimiento facial son notoriamente inexactos a la hora de detectar individuos de piel más oscura, muy probablemente porque los datos de entrenamiento incluían menos personas de color. Los modelos de predicción policial se basan en los antecedentes penales existentes, lo que refuerza décadas de injusticia racial. Los algoritmos de selección de currículos basados en los patrones históricos de contratación de una empresa pueden discriminar a las mujeres, a los solicitantes de mayor edad o a las personas de color.

Lea: Las consideraciones éticas de la IA

Los datos sesgados o insuficientes también pueden conducir a predicciones inexactas, haciendo que un modelo sea inútil y potencialmente peligroso. Por ejemplo, cuando un hospital de Florida adquirió un sistema IBM Watson diseñado para ayudar a los oncólogos a tratar a los pacientes con cáncer, la IA recomendó procedimientos que los habrían empeorado. ¿La razón? Se basaba en datos de pacientes hipotéticos, no reales. El sistema, de 62 millones de dólares, fue desechado.

*** Translated with www.DeepL.com/Translator (free version) ***