Cuidado de la salud A.I. Necesita ser real

https://onezero.medium.com/health-care-a-i-needs-to-get-real-4aba0ae1241c

Estoy emocionado de hablar con Muhammad Aurangzeb Ahmad. Muhammad es el científico investigador principal de KenSci, inc., Una empresa especializada en A.I. en el cuidado de la salud y profesor afiliado en el departamento de informática de la Universidad de Washington Bothell. Conozco a Muhammad desde hace mucho tiempo. Cuando comencé a enseñar filosofía en el Instituto de Tecnología de Rochester, él fue uno de mis primeros estudiantes. A lo largo de los años, nos hemos mantenido en contacto a medida que Muhammad obtuvo su doctorado en ciencias de la computación y, finalmente, se convirtió en un notable científico de datos e inteligencia artificial. investigador. Los intereses de Mahoma en la filosofía nunca han vacilado. A menudo me dirijo a él cuando necesito una explicación holística de las tendencias y controversias tecnológicas.

Nuestra conversación ha sido editada y condensada para mayor claridad.

Evan Selinger: Con tanto dolor durante la pandemia, incluidos desafíos financieros masivos, fueron necesarias respuestas adaptativas. Muchos dependían de la innovación tecnológica, desde plataformas de comunicación en línea que facilitaban la enseñanza y el trabajo remotos hasta robots móviles que mantenían limpios los lugares. A pesar de las grandes esperanzas de la IA médica, Stanford Medicine generó titulares negativos. Seleccionó un software para determinar qué trabajadores deberían recibir prioridad para la vacuna Pfizer durante la primera ola de distribución, y los algoritmos crearon resultados deficientes. Favoreció a los médicos de menor riesgo sobre los residentes médicos que trabajaban en estrecha proximidad física a los pacientes de Covid-19. ¿Por qué el sistema eligió a las personas equivocadas?

Muhammad Ahmad: La prensa inicialmente describió erróneamente el software como un sistema de aprendizaje automático. Sin embargo, era un sistema simple basado en reglas. En otras palabras, los programadores humanos dieron las reglas del software a seguir. Estas reglas crearon un protocolo para quién debería vacunarse primero. Aquí está lo interesante. Si uno mira cada regla individualmente, todas son sensatas. Ninguno expresa nada objetable. Sin embargo, cuando se combinan las reglas, resultan ser más que la suma de su parte. En conjunto, dirigen una computadora a resultados no óptimos.

Básicamente, las personas bien intencionadas creían que la automatización podría brindarles los mejores resultados para una situación tensa. Pero al diseñar su sistema, no apreciaron completamente algo esencial para construir cualquier modelo: pueden ocurrir interacciones no lineales.

Evan: Para reducir lo sucedido a un eslogan con un atractivo más amplio, ¿podemos decir lo siguiente? ¡No reconocer la complejidad puede socavar la equidad!

Muhammad: Eso es justo.

Evan: Ya que estás enfatizando las buenas intenciones de todos, me pregunto si hay otro punto conflictivo. ¿Cree que la urgencia de la pandemia se interpuso en el camino de las pruebas suficientes, pruebas que podrían haber revelado este problema?

Muhammad: Esa es mi mejor suposición. Estoy seguro de que volveremos a este punto a lo largo de nuestra conversación. Los modelos que se ven bien en condiciones de laboratorio no siempre funcionan bien en el mundo real. A veces tienen prisa y deberían haber pasado más tiempo en el laboratorio. Otras veces, los supuestos rectores del laboratorio son incorrectos.

Evan: Continuando con este tema, ¿qué opina de que IBM esté considerando vender Watson Health? IBM es una empresa multinacional de tecnología veterana, y apostó por Watson. El A.I. El sistema es incluso famoso ante el público por mostrar sus habilidades de procesamiento del lenguaje natural durante su victoria en Jeopardy hace una década. Nunca olvidaré cuando Ken Jennings, un concursante que ganó tantos juegos consecutivos que ganó más de $ 3 millones, terminó su aplastante derrota diciéndole al mundo: "Yo, por mi parte, doy la bienvenida a nuestros nuevos señores de las computadoras". No es necesario ser freudiano para reconocer cuándo el humor transmite una verdad incómoda.