Contra la interpretabilidad: un examen crítico

https://montrealethics.ai/against-interpretability-a-critical-examination/

"Explicabilidad", "transparencia", "interpretabilidad"... son términos que se emplean de distintas maneras en el ecosistema de la IA. De hecho, a menudo oímos que debemos hacer que la IA sea más "interpretable" y/o más "explicable".  En cambio, el autor de este artículo cuestiona la idea de que la "interpretabilidad" y otros conceptos similares deban ser valores o requisitos para la IA. En primer lugar, parece que estos conceptos no son realmente claros desde el punto de vista intuitivo ni técnicamente aplicables. En segundo lugar, la mayoría de las veces se proponen no como valores en sí mismos, sino como medios para alcanzar otros objetivos valiosos (por ejemplo, la equidad o el respeto a la privacidad de los usuarios). Por ello, el autor defiende que, en lugar de centrar nuestra atención en la "interpretabilidad" o la "explicabilidad" per se, deberíamos centrarnos en los objetivos éticos y epistémicos que establecemos para la IA, asegurándonos al mismo tiempo de que podemos adoptar una variedad de soluciones y herramientas para alcanzar esos objetivos.

Introducción

Como mencionamos en un resumen anterior, la opacidad de los backboxes plantea retos tanto epistémicos (¿son los algoritmos realmente fiables?) como éticos (¿son los algoritmos éticos?). En relación con esto, también parecen violar el derecho de las personas a saber por qué un determinado algoritmo ha producido algunas predicciones o decisiones automatizadas que les conciernen. Para muchos, los riesgos epistémicos y éticos que plantea la opacidad de Back Box podrían mitigarse asegurando que la IA sea de alguna manera interpretable, explicable y/o (como dicen algunos) transparente. En contra de la opinión recibida sobre esta cuestión, el autor de este artículo cuestiona la idea de que exista un problema de caja negra y niega que la "interpretabilidad", la "explicabilidad" o la "transparencia" deban ser valores o requisitos para la IA (véase también aquí).

Ideas clave

El autor de este artículo cuestiona la idea de que exista un problema de caja negra y que la "interpretabilidad", la "explicabilidad" o la "transparencia" deban ser criterios para evaluar un sistema de IA.

El primer problema que señala el autor es que los términos mencionados ("explicabilidad", "transparencia", "interpretabilidad") suelen ser poco claros y estar mal definidos. Tomemos como ejemplo la "interpretabilidad": La IA es interpretable cuando, a grandes rasgos, es comprensible para los consumidores. El autor observa que esta definición no es realmente útil: no aclara lo que significa "comprensible" y no ofrece ninguna idea sobre lo que podría significar el término cuando se aplica a los algoritmos. Además, hay confusión sobre lo que debería ser comprensible. Aquí hay algunos candidatos: la predicción del propio algoritmo, el funcionamiento interno de la IA que produjo su predicción, o las razones / la justificación para que el algoritmo haga esa predicción. ¿Cuál es la clave para la comprensión humana?

Muchos parecen creer que explicar cómo un algoritmo ha llegado a un determinado resultado equivale a hacer comprensible la IA. Sin embargo, hay que tener en cuenta que las explicaciones causales no son lo mismo que las justificaciones. Es decir, la razón o la justificación de un resultado determinado puede no coincidir claramente con el camino causal que llevó al algoritmo a esa conclusión. Como dice el autor, "este punto es especialmente evidente en el caso de las redes neuronales. El proceso causal por el que una entrada desencadena una determinada vía dentro de la red no se corresponde directamente con las consideraciones justificativas". De hecho, sería como preguntar a "una persona por qué ha dado una respuesta a una determinada pregunta y que responda con un relato de cómo se disparan sus neuronas". El relato causal no es una explicación racional per se. Así, si la explicación que buscamos nos habla sólo del camino causal que lleva al algoritmo a una determinada conclusión, esta historia no proporcionaría el nivel adecuado de explicación necesario para entender racionalmente ese mismo resultado. 

Por último, el autor señala que la interpretabilidad, la explicabilidad y otros aspectos similares son un medio para alcanzar un fin, es decir, garantizar que la IA sea ética y digna de confianza. El autor recomienda que nos centremos en esos objetivos en lugar de tratar la interpretabilidad y similares como si fueran fines en sí mismos. Dado que puede haber otras formas de alcanzar esos objetivos, no parece útil centrarse sólo en un conjunto de soluciones.

Entre líneas

El artículo señala acertadamente que necesitamos un análisis más coherente y preciso de conceptos como la interpretabilidad y la explicabilidad. Y el autor también aclara que "[s]i bien este artículo cuestiona tanto la importancia como la coherencia de la interpretabilidad y los cognados, no defiende de forma decisiva el abandono de los conceptos". También estamos de acuerdo con esto, ya que apreciamos la importancia de garantizar la explicabilidad en la IA como una forma tanto de evaluar si los algoritmos son éticos, robustos y fiables, como de proteger el derecho de las personas a conocer y comprender cómo se realizan las evaluaciones. Sin embargo, para ello, primero tenemos que asegurarnos de que estamos de acuerdo con lo que queremos decir con "explicación" y con el tipo de explicación que se necesita para una verdadera comprensión humana.   

*** Translated with www.DeepL.com/Translator (free version) ***