¿Quién teme a los algoritmos de caja negra? Sobre la base epistemológica y ética de la confianza en la IA médica

https://jme.bmj.com/content/early/2021/03/18/medethics-2020-106820

El uso de algoritmos de caja negra en medicina ha suscitado preocupaciones entre los académicos debido a su opacidad y falta de confiabilidad. Las preocupaciones sobre el sesgo potencial, la rendición de cuentas y la responsabilidad, la autonomía del paciente y la confianza comprometida se transmiten con los algoritmos de caja negra. Estas preocupaciones conectan preocupaciones epistémicas con cuestiones normativas. En este artículo, describimos que los algoritmos de caja negra son menos problemáticos por razones epistémicas de lo que muchos estudiosos parecen creer. Al señalar que no siempre es necesaria una mayor transparencia en los algoritmos, y al explicar que los procesos computacionales son de hecho metodológicamente opacos para los humanos, argumentamos que la confiabilidad de los algoritmos proporciona razones para confiar en los resultados de la inteligencia artificial médica (IA). Con este fin, explicamos cómo el fiabilismo computacional, que no requiere transparencia y respalda la fiabilidad de los algoritmos, justifica la creencia de que los resultados de la IA médica son fiables. También argumentamos que varias preocupaciones éticas permanecen con los algoritmos de caja negra, incluso cuando los resultados son confiables. Tener conocimientos justificados a partir de indicadores fiables es, por tanto, necesario pero no suficiente para que los médicos que justifican normativamente actúen. Esto significa que se requiere deliberar sobre los resultados de algoritmos confiables para descubrir cuál es una acción deseable. Así entendido, argumentamos que tales desafíos no deben descartar el uso de algoritmos de caja negra por completo, sino que deben informar la forma en que estos algoritmos se diseñan e implementan. Cuando los médicos están capacitados para adquirir las habilidades y la experiencia necesarias, y colaboran con la informática médica y los científicos de datos, los algoritmos de caja negra pueden contribuir a mejorar la atención médica.