Los algoritmos de vigilancia predictivos son racistas. Necesitan ser desmantelados

La falta de transparencia y los datos de capacitación sesgados significan que estas herramientas no son adecuadas para su propósito. Si no podemos solucionarlos, debemos deshacernos de ellos.

La desigualdad y el mal uso del poder policial no solo se desarrollan en las calles o durante los disturbios escolares. Para Milner y otros activistas, la atención se centra ahora en dónde existe el mayor potencial de daños duraderos: herramientas policiales predictivas y el abuso de datos por parte de las fuerzas policiales. Varios estudios han demostrado que estas herramientas perpetúan el racismo sistémico y, sin embargo, todavía sabemos muy poco acerca de cómo funcionan, quién las usa y con qué propósito. Todo esto debe cambiar antes de que pueda llevarse a cabo un ajuste de cuentas adecuado. Afortunadamente, la marea puede estar cambiando.

Hay dos tipos generales de herramienta de vigilancia predictiva. Los algoritmos basados ​​en la ubicación se basan en enlaces entre lugares, eventos y tasas de criminalidad históricas para predecir dónde y cuándo es más probable que ocurran delitos, por ejemplo, en ciertas condiciones climáticas o en grandes eventos deportivos. Las herramientas identifican los puntos calientes, y la policía planifica patrullas alrededor de estos avisos. Uno de los más comunes, llamado PredPol, que es utilizado por docenas de ciudades en los EE. UU., Divide las ubicaciones en bloques de 500 por 500 pies y actualiza sus predicciones a lo largo del día, una especie de pronóstico del tiempo delictivo.

Otras herramientas se basan en datos sobre personas, como su edad, sexo, estado civil, historial de abuso de sustancias y antecedentes penales, para predecir quién tiene una alta probabilidad de estar involucrado en actividades criminales futuras. Estas herramientas basadas en la persona pueden ser utilizadas por la policía, para intervenir antes de que ocurra un delito, o por los tribunales, para determinar durante las audiencias previas al juicio o la sentencia si es probable que alguien que ha sido arrestado reincida. Por ejemplo, una herramienta llamada COMPAS, utilizada en muchas jurisdicciones para ayudar a tomar decisiones sobre la libertad preventiva y la sentencia, emite un puntaje estadístico entre 1 y 10 para cuantificar la probabilidad de que una persona sea arrestada nuevamente si es liberada.

El problema reside en los datos de los que se alimentan los algoritmos. Por un lado, los algoritmos predictivos son fácilmente sesgados por las tasas de arresto. Según las cifras del Departamento de Justicia de EE. UU., Tiene más del doble de probabilidades de ser arrestado si es negro que si es blanco. Una persona negra tiene cinco veces más probabilidades de ser detenida sin causa justa que una persona blanca. El arresto masivo en Edison Senior High fue solo un ejemplo de un tipo de respuesta policial desproporcionada que no es infrecuente en las comunidades negras.


Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial  y Editor de Actualidad Deep Learning (@forodeeplearn). 

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.

Comentarios

Popular

Herramientas de Evaluación de Sistemas Algorítmicos

Sistemas multiagentes: Desafíos técnicos y éticos del funcionamiento en un grupo mixto

Controversias éticas en torno a la privacidad, la confidencialidad y el anonimato en investigación social