La promesay el peligro de la IA

https://www.hsph.harvard.edu/magazine/magazine_article/artificial-intelligences-promise-and-peril/

John Quackenbush estaba frustrado con Google. Era enero de 2020 y un equipo dirigido por investigadores de Google Health acababa de publicar un estudio en Nature sobre un sistema de inteligencia artificial (IA) que habían desarrollado para analizar mamografías en busca de signos de cáncer de mama. Según el estudio, el sistema no solo funcionaba, sino que lo hacía excepcionalmente bien. Cuando el equipo le proporcionó dos grandes conjuntos de imágenes para analizar -uno del Reino Unido y otro de Estados Unidos- redujo los falsos positivos en un 1,2 y un 5,7 por ciento y los falsos negativos en un 2,7 y un 9,4 por ciento en comparación con las determinaciones originales realizadas por los profesionales médicos. En otra prueba que enfrentó al sistema de IA con seis radiólogos certificados en el análisis de casi 500 mamografías, el algoritmo superó a cada uno de los especialistas. Los autores concluyeron que el sistema era "capaz de superar a los expertos humanos en la predicción del cáncer de mama" y estaba listo para los ensayos clínicos.

Pronto se produjo una avalancha de titulares de prensa. "El sistema de IA de Google puede superar a los médicos en la detección del cáncer de mama", declaraba una noticia de la CNN. "La inteligencia artificial aprende a leer mamografías", señalaba el New York Times. Aunque los resultados fueron realmente impresionantes, no sorprendieron a Quackenbush, catedrático Henry Pickering Walcott de Biología Computacional y Bioinformática y director del Departamento de Bioestadística. No duda del potencial transformador del aprendizaje automático y el aprendizaje profundo -subconjuntos de la IA centrados en el reconocimiento de patrones y la elaboración de predicciones-, especialmente cuando se trata de analizar imágenes médicas en busca de anomalías. "Identificar tumores no es una cuestión estadística", dice, "es una cuestión de aprendizaje automático".

Pero lo que molestó a Quackenbush fue la afirmación de que el sistema estaba listo para los ensayos clínicos a pesar de que nadie había validado de forma independiente los resultados del estudio en las semanas posteriores a su publicación. Esto se debía en parte a que era extremadamente difícil hacerlo. El artículo de Nature carecía de detalles sobre el código del algoritmo que Quackenbush y otros consideraban importante para reproducir el sistema y probarlo. Además, algunos de los datos utilizados en el estudio tenían licencia de un sistema hospitalario estadounidense y no podían compartirse con personas ajenas a la empresa.

NO ES RARO QUE LOS SISTEMAS DE AI FUNCIONEN BIEN EN ENTORNOS DE INVESTIGACIÓN Y LUEGO FRACASEN EN EL MUNDO REAL.

A lo largo de su carrera, Quackenbush ha sido un firme defensor de la transparencia y la puesta en común de datos, hasta el punto de que el presidente Barack Obama lo nombró Campeón del Cambio de la Ciencia Abierta de la Casa Blanca en 2013 por sus esfuerzos para garantizar que grandes cantidades de datos genómicos sean accesibles a los investigadores de todo el mundo. La reproducibilidad es la esencia del método científico, afirma Quackenbush, y es de la máxima importancia cuando se proponen nuevas tecnologías para su uso en ensayos clínicos con humanos. Como ejemplo de precaución, Quackenbush menciona a Anil Potti, un antiguo profesor de la Universidad de Duke que a principios de la década de 2000 afirmó haber descubierto firmas genéticas que podían determinar cómo responderían a la quimioterapia las personas con determinados tipos de cáncer. La técnica llegó a los ensayos clínicos en humanos a pesar de que otros investigadores informaron de que eran incapaces de reproducir los hallazgos de Potti. Al final se descubrió que Potti había falsificado los datos y los resultados del estudio, y todo el castillo de naipes biomédico se vino abajo. Se perjudicó a los pacientes, se presentaron demandas, se retractaron los estudios y se pidió a Quackenbush que se uniera a un grupo de expertos de la Academia Nacional de Ciencias, Ingeniería y Medicina para investigar qué había fallado. El grupo, señala Quackenbush, llegó a la conclusión de que todo podría haberse evitado si otros investigadores hubieran tenido acceso a los datos, el software y los detalles metodológicos de Potti.

*** Translated with www.DeepL.com/Translator (free version) ***