La IA no puede decir si estás mintiendo - cualquiera que diga lo contrario está vendiendo algo

https://thenextweb.com/news/ai-cant-tell-youre-lying-anyone-who-says-otherwise-selling-something

Otro día, otro estudio problemático sobre IA. El especial de aceite de serpiente de hoy llega a través de la Universidad de Tel Aviv, donde un equipo de investigadores ha dado a conocer un supuesto "sistema de detección de mentiras".

Seamos claros desde el principio: La IA no puede hacer nada que una persona, con el mismo tiempo de trabajo, no pueda hacer por sí misma. Y ningún ser humano puede saber si un ser humano está mintiendo. Y punto.

El hecho es que algunos de nosotros podemos decir cuando algunas personas están mintiendo algunas veces. Nadie puede decir cuando alguien está mintiendo todo el tiempo.

¿Matará Google a los bancos?

Cómo pueden los bancos competir con las grandes tecnologías

La universidad hace la siguiente afirmación a través de un comunicado de prensa:

Los investigadores de la Universidad de Tel Aviv detectaron el 73% de las mentiras de los participantes en el ensayo basándose en la contracción de sus músculos faciales, logrando una tasa de detección mayor que la de cualquier otro método conocido.

Es una afirmación realmente extraña. La idea de que una precisión del "73%" en la detección de mentiras es indicativa del éxito de un paradigma concreto es, como mínimo, discutible.

¿Qué es exactamente la precisión?

La suerte de base da a cualquier sistema capaz de elegir una probabilidad del 50/50. Y, tradicionalmente, ese es el rendimiento de los humanos a la hora de adivinar mentiras. Curiosamente, su rendimiento es mucho mayor cuando se trata de adivinar verdades. Algunos estudios afirman que los humanos alcanzan aproximadamente la misma "precisión" a la hora de determinar las declaraciones de la verdad que el "sistema de detección de mentiras" del equipo de Tel Aviv a la hora de determinar la veracidad.

El documento del equipo de la Universidad de Tel Aviv menciona incluso que los polígrafos no son admisibles en los tribunales porque no son fiables. Pero no señalan que los dispositivos poligráficos (que existen desde 1921) superan a su propio sistema en lo que se denomina "precisión": los polígrafos tienen un promedio de precisión de entre el 80% y el 90% en los estudios.

Pero, de todos modos, analicemos en profundidad el estudio del equipo de Tel Aviv. El equipo comenzó con 48 participantes, 35 de los cuales fueron identificados como "mujeres". Seis participantes fueron eliminados por problemas técnicos, dos fueron descartados por "no mentir nunca" y uno participó en "sólo 40 de los 80 ensayos en los que no se presentaron incentivos monetarios".

Así pues, los datos de este estudio se generaron a partir de dos fuentes: un sistema de IA propio y 39-40 participantes humanos. De esos participantes, una abrumadora mayoría se identificó como "mujer", y no se menciona la diversidad racial, cultural o religiosa.

Además, la edad media de los participantes era de 23 años y no hay forma de determinar si el equipo tuvo en cuenta los antecedentes financieros, la salud mental o cualquier otro aspecto.

Todo lo que podemos decir es que un pequeño grupo de personas con una edad media de 23 años, en su mayoría "mujeres", se emparejaron para participar en este estudio.

También hubo una compensación. No sólo se les pagó por su tiempo, lo que es habitual en el mundo de la investigación académica, sino que también se les pagó por mentir con éxito a los humanos.

Eso es una bandera roja. No porque no sea ético pagar por los datos del estudio (no lo es). Sino porque se están añadiendo parámetros innecesarios para enturbiar intencionadamente o por ignorancia el estudio.

Los investigadores explican esto alegando que era parte del experimento para determinar si la incentivación cambiaba la capacidad de mentir de las personas.

Pero, con una muestra de estudio tan pequeña, parece ridículo atiborrar el experimento de parámetros innecesarios. Especialmente unos que están tan a medias que no podrían ser codificados sin datos sólidos de fondo.

*** Translated with www.DeepL.com/Translator (free version) ***