No, los grandes modelos lingüísticos no son como los discapacitados (y es problemático argumentar que lo son)

https://medium.com/@emilymenonbender/no-llms-arent-like-people-with-disabilities-and-it-s-problematic-to-argue-that-they-are-a2ac0df0e435

Hay una tendencia que he observado en las personas que intentan argumentar que los modelos lingüísticos "entienden" el lenguaje para establecer analogías con la experiencia de las personas discapacitadas (especialmente los ciegos y sordociegos). Estas analogías son falsas y deshumanizadoras. Una reciente entrada en el blog de un vicepresidente de Google ofrece una versión especialmente elaborada de esto. En esta entrada, expongo por qué y cómo es problemático con el objetivo de ayudar a los lectores a detectar y resistir esta argumentación dañina y errónea.

Introducción

En una entrada del blog del pasado mes de diciembre, Blaise Agüera y Arcas se pregunta "¿Nos entienden los grandes modelos lingüísticos?". El post en su conjunto se lee como un artículo de promoción del sistema LaMDA de Google (también demostrado en GoogleIO 2021), un chatbot construido sobre un modelo de lenguaje muy grande (y un montón de datos de entrenamiento), afinado para proporcionar respuestas "sensatas" y "específicas" en conversaciones de varios turnos. Que yo sepa, no hay (todavía*) ninguna publicación académica sobre LaMDA, ni el modelo está disponible para que lo inspeccionen y prueben personas ajenas a Google. Por la poca información disponible, parece ser fundamentalmente un modelo lingüístico en el sentido de que sus datos de entrenamiento primarios consisten únicamente en texto (sin ninguna señal sobre el significado del texto). Según la entrada del blog de Agüera y Arcas, los datos de entrenamiento secundarios (de ajuste) son valoraciones realizadas por humanos sobre el grado de "sensibilidad" y "especificidad" de las respuestas del sistema.

La entrada del blog de Agüera y Arcas intercala ejemplos de interacciones con el sistema (¿elegidos? quién sabe) con reflexiones filosóficas sobre si se puede decir que los modelos de lenguaje de gran tamaño (LLM) comparten varias propiedades con los humanos, si tales preguntas son incluso respondibles, y si deberían ser vistas en términos de cómo los humanos se relacionan con los LLM. Agüera y Arcas afirma que "para mucha gente, es probable que las redes neuronales que se ejecutan en los ordenadores crucen este umbral [de "ello" a "quién"] en un futuro muy cercano".

Dice "Mi objetivo aquí no es tratar de defender una posición última respecto a estos imponderables", y aunque no está claro si incluye la pregunta del título entre los "imponderables", procede a insistir en la respuesta de que los LLM sí entienden el lenguaje, con una argumentación que se reduce a

un desplazamiento injustificado de la carga de la prueba (por ejemplo, "no está claro cómo podemos comprobar de forma significativa la 'realidad' de los sentimientos en otro, especialmente en un ser con una 'neurofisiología' fundamentalmente diferente a la nuestra" y "Dado que el estado interior de otro ser sólo puede entenderse a través de la interacción, no es posible dar una respuesta objetiva a la pregunta de cuándo un 'ello' se convierte en un 'quién'" [énfasis añadido]);

presuponiendo (y nunca estableciendo) su conclusión (por ejemplo, "Los grandes modelos de lenguaje ilustran por primera vez la forma en que se pueden disociar la comprensión del lenguaje y la inteligencia");

suposición injustificada de analogía entre las llamadas "redes neuronales" y los cerebros humanos; y

la deshumanización de las personas que han sufrido diversas formas de opresión, especialmente las personas esclavizadas y los discapacitados.

Hay muchas cosas que se pueden criticar en este artículo, pero no intentaré hacerlo todo aquí.

*** Translated with www.DeepL.com/Translator (free version) ***


Comentarios

Popular

Herramientas de Evaluación de Sistemas Algorítmicos

Sistemas multiagentes: Desafíos técnicos y éticos del funcionamiento en un grupo mixto

Controversias éticas en torno a la privacidad, la confidencialidad y el anonimato en investigación social