Cómo detectar cuando los algoritmos se equivocan

https://link.springer.com/article/10.1007/s11023-022-09591-0

Los usuarios de los sistemas sociotécnicos no suelen tener forma de verificar de forma independiente si el resultado del sistema que utilizan para tomar decisiones es correcto; dependen epistémicamente del sistema. En nuestra opinión, esto provoca problemas cuando el sistema se equivoca, es decir, malas decisiones y violaciones de la norma de razonamiento práctico. Para evitar que esto ocurra, sugerimos que se implementen derrotas: información de que un sistema no es fiable en un caso específico (derrota de subestimación) o información independiente de que el resultado es erróneo (derrota de refutación). En la práctica, sugerimos que se diseñen los defeaters basándose en las diferentes formas en que un sistema puede producir resultados erróneos, y analizamos esta sugerencia con un estudio de caso del algoritmo de clasificación de riesgos utilizado por la agencia tributaria holandesa.