Los defectos de las políticas que exigen la supervisión humana de los algoritmos gubernamentales

https://www.sciencedirect.com/science/article/abs/pii/S0267364922000292?dgcid=author&s=03

A medida que los algoritmos se convierten en un componente influyente de la toma de decisiones de los gobiernos en todo el mundo, los responsables políticos han debatido cómo los gobiernos pueden obtener los beneficios de los algoritmos y, al mismo tiempo, evitar los daños de los mismos. Un mecanismo que se ha convertido en una pieza central de los esfuerzos globales para regular los algoritmos gubernamentales es exigir la supervisión humana de las decisiones algorítmicas. A pesar de la generalización de la supervisión humana, estas políticas se basan en un supuesto que no se ha cuestionado: que las personas son capaces de supervisar eficazmente la toma de decisiones de los algoritmos. En este artículo, analizo 41 políticas que prescriben la supervisión humana de los algoritmos gubernamentales y descubro que adolecen de dos defectos importantes. En primer lugar, la evidencia sugiere que las personas son incapaces de realizar las funciones de supervisión deseadas. En segundo lugar, como resultado del primer defecto, las políticas de supervisión humana legitiman los usos gubernamentales de algoritmos defectuosos y controvertidos sin abordar los problemas fundamentales de estas herramientas. Así, en lugar de proteger contra los daños potenciales de la toma de decisiones algorítmicas en el gobierno, las políticas de supervisión humana proporcionan una falsa sensación de seguridad en la adopción de algoritmos y permiten a los proveedores y organismos eludir la responsabilidad por los daños algorítmicos. A la luz de estos defectos, propongo un cambio de la supervisión humana a la supervisión institucional como mecanismo central para regular los algoritmos gubernamentales. Este enfoque institucional funciona en dos etapas. En primer lugar, las agencias deben justificar que es apropiado incorporar un algoritmo en la toma de decisiones y que cualquier forma de supervisión humana propuesta está respaldada por pruebas empíricas. En segundo lugar, estas justificaciones deben recibir una revisión y aprobación democrática antes de que la agencia pueda adoptar el algoritmo.