La (in)credibilidadde modelos para no expertos
Concluyo que:
Cuando muchos han pedido una mayor transparencia (Diakopoulos & Friedler, 2016; Pasquale, 2015), demuestro que lograr la transparencia es, en el mejor de los casos, problemático y, en el peor, inalcanzable para los no expertos. Los modelos que estudié aquí eran cuantificaciones complicadas. Sin embargo, lo último en técnicas de ciencia de datos como el aprendizaje profundo produce algoritmos que son más dinámicos e intrincados que los modelos estudiados aquí. Los expertos en modelos profesionales en mis estudios de caso hicieron todo lo posible para comprender la mecánica del modelo, pero solo unos pocos sintieron que tenían una comprensión exhaustiva del modelo en cuestión.
Los modelos que estudié eran cajas negras para la mayoría de los profesionales de modelos que trabajaban con ellos. A pesar de esta falta de transparencia, los modelos se consideraron lo suficientemente creíbles como para informar la política. En algunos, los profesionales de modelos suspenden parte de su incredulidad y aceptan el modelo en caja negra como una cosmovisión compartida. En otros casos, mis informantes sugirieron que el modelo tenía tanta autoridad que tenía un impacto real sobre qué tipos de políticas se consideraban factibles. Las decisiones arbitrarias o accidentales tomadas por expertos en el desarrollo de un modelo pueden impactar así a la sociedad de manera profunda. A través de este proceso, los modelos pueden contribuir a lograr la versión - estilizada - de un sistema objetivo que buscan representar.
Muchas de las ventajas que se atribuyen al uso del modelo pueden no tener en contextos de toma de decisiones organizacionales. Las ventajas predictivas, organizativas y comunicativas asociadas con el uso de cuantificaciones a menudo requieren una interacción directa con el modelo mismo. Es problemático para los profesionales de modelos no expertos familiarizarse con un modelo. Incluso si logran este nivel de comprensión, la codificación de los modelos y la velocidad a la que se adapta el modelo presenta un desafío considerable para mantener este conocimiento actualizado. Esto hace que sea imposible para los tomadores de decisiones aumentar los resultados del modelo con el juicio humano en el sentido sugerido por Goodwin et al. (2007)
Mis hallazgos son importantes en relación con los esfuerzos recientes para regular algoritmos, como el "derecho a la explicación" prescrito por el GDPR (Goodman y Flaxman, 2017). Los algoritmos de aprendizaje automático en particular son notoriamente difíciles de explicar (Mittelstadt et al., 2016), sin embargo, este documento demuestra que incluso los modelos comparativamente simples pueden ser difíciles de comprender para quienes trabajan con ellos a diario. Aunque los profesionales de modelos a menudo trabajan en estrecha colaboración y, con el tiempo, desarrollan prácticas para examinar un modelo, a menudo siguen siendo recuadros negros para todos menos algunos especialistas. Esto sugiere que la supervisión significativa de los algoritmos de aprendizaje automático que trascienden nuestra capacidad cognitiva presenta un desafío formidable para aquellos que no trabajan con un modelo a diario. De esto se deduce que la transparencia de los algoritmos para el público en general parece problemática en el mejor de los casos, dado que pueden no tener la experiencia, el tiempo o la inclinación para comprometerse con un modelo. La comunicación sobre algoritmos al público en general está fuera del alcance de este documento, pero presenta una vía importante para el trabajo futuro. Mientras tanto, aquellos que buscan explicar modelos al público en general harían bien en considerar las prácticas a través de las cuales el público lego determina que la credibilidad de estos modelos puede ser muy diferente de la suya. Esto es particularmente relevante en relación con los modelos que sustentan la toma de decisiones gubernamentales de alto riesgo.
Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).
Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.
Comentarios
Publicar un comentario