Deberíamos probar la IA como la FDA prueba los medicamentos

https://hbr.org/2021/06/we-should-test-ai-the-way-the-fda-tests-medicines

Nunca permitiríamos que un medicamento se vendiera en el mercado sin haber pasado por pruebas rigurosas, ni siquiera en el contexto de una crisis sanitaria como la pandemia de coronavirus. Entonces, ¿por qué permitimos que algoritmos que pueden ser tan dañinos como una potente droga se liberen en el mundo sin haber sido sometidos a pruebas igualmente rigurosas? En la actualidad, cualquiera puede diseñar un algoritmo y utilizarlo para tomar decisiones importantes sobre las personas -si obtienen un préstamo, o un trabajo, o un apartamento, o una sentencia de prisión- sin ninguna supervisión ni ningún tipo de requisito basado en pruebas. La población general está siendo utilizada como conejillos de indias.

La inteligencia artificial es una tecnología predictiva. Evalúan, por ejemplo, si es probable que un coche choque contra un objeto, si es probable que un supermercado necesite más manzanas esta semana y si es probable que una persona pague un préstamo, sea un buen empleado o cometa un nuevo delito. Las decisiones importantes, incluidas las de vida o muerte, se toman sobre la base de predicciones algorítmicas.

Las predicciones tratan de completar la información que falta sobre el futuro para reducir la incertidumbre. Pero las predicciones rara vez son observadores neutrales: cambian el estado de cosas que predicen, hasta el punto de convertirse en profecías autocumplidas. Por ejemplo, cuando instituciones importantes, como las de calificación crediticia, publican previsiones negativas sobre un país, eso puede dar lugar a que los inversores huyan del país, lo que a su vez puede provocar una crisis económica.

Las profecías autocumplidas son un problema cuando se trata de auditar la precisión de los algoritmos. Supongamos que un algoritmo ampliamente utilizado determina que es poco probable que seas un buen empleado. El hecho de que no consigas ningún trabajo no debería contar como prueba de que el algoritmo es preciso, porque la causa de que no consigas trabajo puede ser el propio algoritmo.

Queremos que los algoritmos predictivos sean precisos, pero no por cualquier medio, y desde luego no por crear la realidad que se supone que deben predecir. Demasiadas veces nos enteramos de que los algoritmos son defectuosos una vez que han destruido vidas, como cuando un algoritmo implementado por la Agencia del Seguro de Desempleo de Michigan acusó falsamente de fraude a 34.000 desempleados.

¿Cómo podemos limitar el poder de las predicciones para cambiar el futuro?

Una solución es someter los algoritmos predictivos a ensayos controlados aleatorios. La única forma de saber si, por ejemplo, un algoritmo que evalúa a los candidatos a un puesto de trabajo es realmente preciso, es dividir a los posibles empleados en un grupo experimental (que se somete al algoritmo) y un grupo de control (que es evaluado por seres humanos). El algoritmo podría evaluar a las personas de ambos grupos, pero sus decisiones sólo se aplicarían al grupo experimental. Si las personas clasificadas negativamente por el algoritmo tuvieran carreras exitosas en el grupo de control, eso sería una buena prueba de que el algoritmo es defectuoso.