Por qué es tan difícil regular los algoritmos

https://themarkup.org/news/2022/01/04/why-its-so-hard-to-regulate-algorithms

En 2018, el Ayuntamiento de Nueva York creó un grupo de trabajo para estudiar el uso que la ciudad hace de los sistemas de decisión automatizados (ADS). La preocupación: Los algoritmos, no solo en Nueva York sino en todo el país, estaban siendo empleados cada vez más por las agencias gubernamentales para hacer de todo, desde informar las sentencias penales y detectar el fraude en el desempleo hasta priorizar los casos de abuso infantil y distribuir los beneficios de salud. Y los legisladores, por no hablar de las personas gobernadas por las decisiones automatizadas, sabían muy poco sobre cómo se hacían los cálculos. 

Las escasas visiones de cómo funcionaban estos algoritmos no eran reconfortantes: En varios estados, los algoritmos utilizados para determinar la cantidad de ayuda que recibirán los residentes por parte de los asistentes sanitarios a domicilio han recortado automáticamente las prestaciones a miles de personas. Los departamentos de policía de todo el país utilizan el software PredPol para predecir dónde se producirán futuros delitos, pero el programa envía a la policía de forma desproporcionada a los barrios negros e hispanos. Y en Michigan, un algoritmo diseñado para detectar solicitudes de desempleo fraudulentas marcó indebidamente a miles de solicitantes, obligando a residentes que deberían haber recibido asistencia a perder sus casas y declararse en quiebra.

Informar en profundidad y arreglar las cosas

Porque resulta que moviéndose rápido y rompiendo cosas se rompieron algunas cosas súper importantes.

Dar ahora

La de Nueva York fue la primera legislación del país destinada a arrojar luz sobre cómo las agencias gubernamentales utilizan la inteligencia artificial para tomar decisiones sobre las personas y las políticas.

En su momento, la creación del grupo de trabajo se anunció como un momento "decisivo" que daría paso a una nueva era de supervisión. Y de hecho, en los cuatro años transcurridos desde entonces, un flujo constante de información sobre los daños causados por los algoritmos de alto riesgo ha llevado a los legisladores de todo el país a presentar casi 40 proyectos de ley diseñados para estudiar o regular el uso de ADS por parte de las agencias gubernamentales, según la revisión de la legislación estatal realizada por The Markup. 

Los proyectos de ley van desde propuestas de creación de grupos de estudio hasta la exigencia de que los organismos auditen los algoritmos en busca de sesgos antes de comprar sistemas a los proveedores. Pero las docenas de reformas propuestas han tenido un destino común: En su mayoría han muerto inmediatamente después de su presentación o han caducado en los comités después de breves audiencias, según la revisión de The Markup.

En la ciudad de Nueva York, ese grupo de trabajo inicial tardó dos años en hacer una serie de recomendaciones amplias y no vinculantes para seguir investigando y supervisando. Un miembro del grupo de trabajo describió el esfuerzo como un "desperdicio". El grupo ni siquiera pudo acordar una definición de los sistemas de decisión automatizados, y varios de sus miembros, en aquel momento y desde entonces, han dicho que no creían que las agencias y los funcionarios de la ciudad hubieran participado en el proceso.

En otros lugares, casi todas las propuestas para estudiar o regular los algoritmos han fracasado. Los proyectos de ley para crear grupos de estudio que examinen el uso de algoritmos fracasaron en Massachusetts, el estado de Nueva York, California, Hawai y Virginia. Los proyectos de ley que exigen auditorías de los algoritmos o que prohíben la discriminación algorítmica han fracasado en California, Maryland, Nueva Jersey y el estado de Washington. En varios casos -California, Nueva Jersey, Massachusetts, Michigan y Vermont- los proyectos de ley de supervisión o estudio de los ADS siguen pendientes en la legislatura, pero sus perspectivas en esta sesión son escasas, según los patrocinadores y defensores de esos estados.

*** Translated with www.DeepL.com/Translator (free version) ***