La Agencia Tributaria holandesa fue abatida por la IA: ¿qué viene ahora?

https://spectrum.ieee.org/artificial-intelligence-in-government

Cuando una familia de los Países Bajos quería reclamar la ayuda gubernamental para el cuidado de los niños, tenía que presentar una solicitud a la autoridad fiscal holandesa. Esas solicitudes pasaban por un algoritmo de autoaprendizaje, implantado inicialmente en 2013. En el flujo de trabajo de la Agencia Tributaria, el algoritmo examinaba primero las solicitudes en busca de indicios de fraude, y los humanos analizaban las solicitudes que marcaban como de alto riesgo.

En realidad, el algoritmo desarrolló una pauta para etiquetar falsamente las reclamaciones como fraudulentas, y los atareados funcionarios sellaron las etiquetas de fraude. Así, durante años, la administración tributaria ordenó infundadamente a miles de familias que devolvieran sus reclamaciones, empujando a muchos a una deuda onerosa y destruyendo vidas en el proceso.

"Cuando hay un impacto dispar, tiene que haber un debate social en torno a esto, si es justo. Tenemos que definir lo que es 'justo'", dice Yong Suk Lee, profesor de tecnología, economía y asuntos globales en la Universidad de Notre Dame, en Estados Unidos. "Pero ese proceso no existió".

Las autopsias del asunto mostraron pruebas de parcialidad. Muchas de las víctimas tenían ingresos más bajos, y un número desproporcionado tenía orígenes de minorías étnicas o inmigrantes. El modelo consideraba que no ser ciudadano holandés era un factor de riesgo.

"El rendimiento del modelo, del algoritmo, debe ser transparente o publicado por diferentes grupos", dice Lee. Eso incluye cosas como el índice de precisión del modelo, añade.

Traducción realizada con la versión gratuita del traductor www.DeepL.com/Translator