¿Deberían ser explicables los modelos de IA? Eso depende
Los sistemas de inteligencia artificial que pueden diagnosticar cáncer, leer imágenes médicas o sugerir un medicamento apropiado a menudo reciben una mala reputación por no poder explicarse: cuando se les investiga, solo ofrecen una caja negra sobre cómo lograr su éxito. Como resultado, algunos médicos se preguntan si se debe confiar en estas herramientas de IA.
Pero los modelos de IA no necesitan ser interpretables para ser útiles, dice Nigam Shah, profesor de medicina (informática biomédica) y de ciencia de datos biomédicos en la Universidad de Stanford y miembro de la facultad afiliado del Instituto de Stanford para la Inteligencia Artificial Centrada en el Humano. Eso es especialmente cierto en la medicina, dice, donde los médicos ofrecen tratamientos rutinariamente sin saber cómo o por qué funcionan.
“De los 4.900 medicamentos recetados de forma rutinaria, no sabemos completamente cómo funcionan realmente la mayoría de ellos”, dice Shah. "Pero todavía los usamos porque nos hemos convencido a través de ensayos controlados aleatorios de que son beneficiosos".
Lo mismo puede ocurrir con los modelos de IA. "Las pruebas juiciosas deberían ser suficientes", dice Shah. Si un modelo de IA produce predicciones precisas que ayudan a los médicos a tratar mejor a sus pacientes, entonces puede ser útil incluso sin una explicación detallada de cómo o por qué funciona.
Es como el informe meteorológico, dice Shah. "¿A usted, como usuario, le importa cómo se predice el clima y cuál es la explicación causal, siempre que sepa con un día de anticipación si va a llover y el pronóstico es correcto?"
Eso no quiere decir que la interpretación de la IA no sea valiosa. De hecho, en contextos donde los modelos de inteligencia artificial se utilizan de manera automatizada para negar a las personas entrevistas de trabajo, fianzas, préstamos, programas de atención médica o vivienda, Shah dice que las leyes y regulaciones deberían requerir absolutamente una explicación causal de estas decisiones para garantizar que sean justas.
Pero en el cuidado de la salud, donde los modelos de IA rara vez conducen a una toma de decisiones tan automatizada, una explicación puede ser útil o no, dice Shah. "Es esencial que los desarrolladores de modelos tengan claro por qué se necesita una explicación y qué tipo de explicación es útil para una situación determinada".
Analizar la interpretabilidad
Shah identifica tres tipos principales de interpretabilidad de la IA: la versión de explicabilidad de los ingenieros, que está orientada a cómo funciona un modelo; explicabilidad causal, que se relaciona con por qué la entrada del modelo produjo la salida del modelo; y explicabilidad que induce a la confianza que proporciona la información que las personas necesitan para confiar en un modelo e implementarlo con seguridad.
Cuando los investigadores o los médicos hablan de interpretabilidad, dice: "Necesitamos saber a cuál de ellos aspiramos".
Diagrama de Venn de tres tipos de explicabilidad
Algunas explicaciones pueden encontrarse en la intersección de los tres tipos (ver diagrama). Un ejemplo es la ecuación de riesgo de enfermedad cardiovascular aterosclerótica comúnmente utilizada (ASCVD), que se basa en nueve puntos de datos primarios (que incluyen edad, sexo, raza, colesterol total, colesterol LDL / HDL, presión arterial, historial de tabaquismo, estado diabético y consumo de alcohol). de medicamentos antihipertensivos) para calcular el riesgo de un paciente a 10 años de sufrir un ataque cardíaco o un derrame cerebral. La explicación de los ingenieros de cómo la calculadora de riesgo ASCVD produce una predicción es simple: "Todo lo que está sucediendo dentro de este algoritmo es la multiplicación y la suma", dice Shah. Y la explicación causal del puntaje de riesgo ASCVD también es sencilla, porque los niveles de colesterol y la presión arterial están relacionados causalmente con el riesgo de ataque cardíaco. Finalmente, la ecuación de riesgo de ASCVD es confiable y útil en entornos clínicos porque la estimación del riesgo y la explicación causal también apuntan a una acción que el médico puede tomar, por ejemplo, prescribir medicamentos para reducir el colesterol.
Comentarios
Publicar un comentario