¿Podemos saber si los modelos de IA de aprendizaje automático funcionan correctamente?

https://scitechdaily.com/can-we-tell-if-machine-learning-ai-models-are-working-correctly/

Imagine que un equipo de médicos utiliza una red neuronal para detectar el cáncer en las imágenes de las mamografías. Aunque este modelo de aprendizaje automático parece funcionar bien, podría estar centrándose en características de la imagen que se correlacionan accidentalmente con los tumores, como una marca de agua o una marca de tiempo, en lugar de los signos reales de los tumores.

Para poner a prueba estos modelos, los investigadores utilizan "métodos de atribución de características", técnicas que supuestamente les indican qué partes de la imagen son las más importantes para la predicción de la red neuronal. ¿Pero qué ocurre si el método de atribución pasa por alto características que son importantes para el modelo? Como los investigadores no saben qué características son importantes, no tienen forma de saber si su método de evaluación no es eficaz.

Para ayudar a resolver este problema, los investigadores del MIT han ideado un proceso para modificar los datos originales, de modo que estén seguros de qué características son realmente importantes para el modelo. A continuación, utilizan este conjunto de datos modificados para evaluar si los métodos de atribución de características pueden identificar correctamente esas características importantes.

Métodos de atribución de rasgos en redes neuronales

Los métodos de atribución de rasgos se utilizan para determinar si una red neuronal funciona correctamente al completar una tarea como la clasificación de imágenes. Los investigadores han desarrollado una nueva forma de evaluar si estos métodos de atribución de rasgos identifican correctamente las características de una imagen que son importantes para la predicción de una red neuronal. Crédito: MIT News, con imágenes de iStockphoto