QUÉ EXPLICAR CUANDO EXPLICAR ES DIFÍCIL

https://graphite.page/explainable-ai-report/

La explicación de cómo los sistemas de toma de decisiones automatizada (ADM) toman decisiones (IA explicable, o XAI) puede considerarse una forma prometedora de mitigar sus efectos negativos. El GDPR de la UE proporciona un marco legal para explicar los sistemas ADM. Debe proporcionarse "información significativa sobre la lógica implicada". Sin embargo, ni el propio texto del RGPD ni los comentarios sobre el mismo proporcionan detalles sobre lo que es precisamente esto. Este informe aborda estos términos desde una perspectiva jurídica, técnica y de diseño.

Desde el punto de vista legal, la explicación tiene que permitir al usuario recurrir la decisión tomada por el sistema ADM y equilibrar el poder del desarrollador de ADM con el del usuario. "La lógica" puede entenderse como "la estructura y la secuencia del tratamiento de datos". El GDPR se centra en los derechos individuales más que en los colectivos. Por lo tanto, recomendamos poner al individuo en el centro de la explicación en un primer paso para cumplir con el GDPR.

Desde una perspectiva técnica, el término "lógica implicada" es -en el mejor de los casos- engañoso. Los sistemas de GAD son ecosistemas sociotécnicos complejos y dinámicos. Comprender "la lógica" de sistemas tan diversos requiere la actuación de diferentes actores y en numerosas etapas, desde la concepción hasta el despliegue. La transparencia en el nivel de entrada es un requisito fundamental para mitigar los posibles sesgos, ya que las interpretaciones a posteriori se consideran demasiado problemáticas para abordar la causa de fondo. Por lo tanto, hay que centrarse en hacer transparentes los fundamentos, el diseño y el proceso de desarrollo subyacentes, documentando los datos de entrada como parte de la "lógica implicada". La explicación de un sistema ADM también debería formar parte del proceso de desarrollo desde el principio.