¿Deben ser explicables los modelos de IA? Eso depende.

https://hai.stanford.edu/news/should-ai-models-be-explainable-depends

Los sistemas de inteligencia artificial capaces de diagnosticar el cáncer, leer imágenes médicas o sugerir una medicación adecuada suelen tener mala fama por ser incapaces de explicarse: Cuando se les pregunta, sólo ofrecen una caja negra sobre cómo logran su éxito. Por ello, algunos médicos se preguntan si se debe confiar en estas herramientas de IA.

Pero los modelos de IA no necesitan ser interpretables para ser útiles, dice Nigam Shah, profesor de medicina (informática biomédica) y de ciencia de los datos biomédicos en la Universidad de Stanford y miembro de la facultad afiliada al Instituto de Inteligencia Artificial Centrada en el Ser Humano de Stanford. Esto es especialmente cierto en medicina, dice, donde los médicos ofrecen habitualmente tratamientos sin saber cómo o por qué funcionan.

"De los 4.900 medicamentos que se prescriben de forma rutinaria, no sabemos del todo cómo funcionan realmente la mayoría de ellos", dice Shah. "Pero seguimos utilizándolos porque nos hemos convencido a través de ensayos aleatorios de control de que son beneficiosos".

Lo mismo puede ocurrir con los modelos de IA. "Una prueba juiciosa debería ser suficiente", dice Shah. Si un modelo de IA produce predicciones precisas que ayudan a los médicos a tratar mejor a sus pacientes, entonces puede ser útil incluso sin una explicación detallada de cómo o por qué funciona.

Es como el informe del tiempo, dice Shah. "¿Acaso a usted, como usuario, le importa cómo se predice el tiempo y cuál es la explicación causal, siempre y cuando sepa con un día de antelación si va a llover y el pronóstico es correcto?"

Eso no quiere decir que la interpretabilidad de la IA no sea valiosa. De hecho, en contextos en los que los modelos de IA se utilizan de forma automatizada para denegar a las personas entrevistas de trabajo, fianzas, préstamos, programas de atención sanitaria o vivienda, Shah afirma que las leyes y reglamentos deberían exigir absolutamente una explicación causal de estas decisiones para garantizar que sean justas. 

Pero en la atención sanitaria, donde los modelos de IA rara vez conducen a esa toma de decisiones automatizada, una explicación puede o no ser útil, dice Shah. "Es esencial que los desarrolladores de modelos tengan claro por qué se necesita una explicación y qué tipo de explicación es útil para una situación determinada".

Analizar la interpretabilidad

Shah identifica tres tipos principales de interpretabilidad de la IA: La versión de explicabilidad de los ingenieros, que se orienta a cómo funciona un modelo; la explicabilidad causal, que se refiere a por qué la entrada del modelo produjo el resultado del mismo; y la explicabilidad que induce a la confianza, que proporciona la información que la gente necesita para confiar en un modelo y desplegarlo con seguridad.  

Cuando los investigadores o los clínicos hablan de interpretabilidad, dice, "tenemos que saber a cuál de ellas aspiramos".

Diagrama de Venn de los tres tipos de explicabilidad

 

Algunas explicaciones pueden encontrarse en la intersección de los tres tipos (véase el diagrama). Un ejemplo es la ecuación de riesgo de enfermedad cardiovascular aterosclerótica (ASCVD), que se basa en nueve datos principales (edad, sexo, raza, colesterol total, colesterol LDL/HDL, presión arterial, historial de tabaquismo, estado diabético y uso de medicamentos antihipertensivos) para calcular el riesgo de un paciente de sufrir un infarto o un ictus en 10 años. La explicación de los ingenieros sobre cómo la calculadora de riesgo de ASCVD produce una predicción es sencilla: "Todo lo que ocurre dentro de este algoritmo es una multiplicación y una suma", dice Shah. Y la explicación causal de la puntuación de riesgo de ASCVD también es sencilla, porque los niveles de colesterol y la presión arterial están relacionados causalmente con el riesgo de infarto. Por último, la ecuación de riesgo de ASCVD es fiable y útil en el ámbito clínico porque la estimación del riesgo y la explicación causal también apuntan a una acción que el médico puede llevar a cabo, por ejemplo, prescribir medicamentos para reducir el colesterol.