Actualidad Deep Learning

 Un trío de investigadores del equipo de Google Brain dio a conocer recientemente la próxima gran novedad en los modelos de lenguaje de IA: un enorme sistema transformador de un billón de parámetros. El siguiente modelo más grande que existe, hasta donde sabemos, es el GPT-3 de OpenAI, que utiliza unos miserables 175 mil millones de parámetros. https://thenextweb.com/neural/2021/01/13/googles-new-trillion-parameter-ai-language-model-is-almost-6-times-bigger-than-gpt-3/

 Muchas IA que parecen entender el lenguaje y que obtienen mejores resultados que los humanos en un conjunto común de tareas de comprensión, no se dan cuenta de que las palabras de una oración se mezclan, lo que demuestra que en realidad no comprenden el lenguaje en absoluto. El problema radica en la forma en que se entrenan los sistemas de procesamiento del lenguaje natural (PNL); también apunta a una forma de mejorarlos. https://www.technologyreview.com/2021/01/12/1016031/jumbled-up-sentences-ai-doesnt-understand-language-nlp-bert-fix/

 En este comentario, discutimos la naturaleza de las preguntas reversibles e irreversibles, es decir, preguntas que pueden permitirle a uno identificar la naturaleza de la fuente de sus respuestas. Luego presentamos GPT-3, un modelo de lenguaje autorregresivo de tercera generación que utiliza el aprendizaje profundo para producir textos similares a los humanos, y usamos la distinción anterior para analizarlo. Ampliamos el análisis para presentar tres pruebas basadas en preguntas matemáticas, semánticas (es decir, la prueba de Turing) y éticas y mostramos que GPT-3 no está diseñado para aprobar ninguna de ellas. Este es un recordatorio de que GPT-3 no hace lo que se supone que no debe hacer, y que cualquier interpretación de GPT-3 como el comienzo del surgimiento de una forma general de inteligencia artificial es meramente ciencia ficción desinformada. Concluimos señalando algunas de las consecuencias significativas de la industrialización de la producción automática y barata de bue...

 Gebru, una líder ampliamente respetada en la investigación de la ética de la IA, es conocida por ser coautora de un artículo innovador que mostró que el reconocimiento facial es menos preciso para identificar a las mujeres y las personas de color, lo que significa que su uso puede terminar discriminándolas. También cofundó el grupo de afinidad Black in AI y defiende la diversidad en la industria tecnológica. El equipo que ayudó a construir en Google es uno de los más diversos en inteligencia artificial e incluye muchos expertos líderes por derecho propio. Sus compañeros en el campo la envidiaban por producir un trabajo crítico que a menudo desafiaba las prácticas convencionales de IA. https://www.technologyreview.com/2020/12/04/1013294/google-ai-ethics-research-paper-forced-out-timnit-gebru/

 En este comentario, discutimos la naturaleza de las preguntas reversibles e irreversibles, es decir, preguntas que pueden permitirle a uno identificar la naturaleza de la fuente de sus respuestas. Luego presentamos GPT-3, un modelo de lenguaje autorregresivo de tercera generación que usa el aprendizaje profundo para producir textos similares a los humanos, y usamos la distinción anterior para analizarlo. Ampliamos el análisis para presentar tres pruebas basadas en cuestiones matemáticas, semánticas (es decir, la prueba de Turing) y éticas y mostramos que GPT-3 no está diseñado para aprobar ninguna de ellas. Este es un recordatorio de que GPT-3 no hace lo que se supone que no debe hacer, y que cualquier interpretación de GPT-3 como el comienzo del surgimiento de una forma general de inteligencia artificial es meramente ciencia ficción desinformada. Concluimos señalando algunas de las consecuencias significativas de la industrialización de la producción automática y barata de buenos...