La IA de la industria tecnológica se está homogeneizando peligrosamente, dicen los expertos de Stanford
Un grupo multidisciplinar de profesores y estudiantes de la Universidad de Stanford quiere iniciar un debate serio sobre el creciente uso de modelos de IA grandes y terriblemente inteligentes, como el modelo de lenguaje natural GPT-3 (Generative Pretraining Transformer 3) de OpenAI.
PUBLICIDAD
PUBLICIDAD
El GPT-3 es fundacional porque se desarrolló utilizando enormes cantidades de datos de entrenamiento y potencia informática para alcanzar un rendimiento de propósito general de última generación. Los desarrolladores, que no quieren reinventar la rueda, lo utilizan como base de su software para abordar tareas específicas.
Pero los modelos de base tienen algunos inconvenientes reales, explica el profesor de informática de Stanford Percy Liang. Crean "un único punto de fallo, por lo que cualquier defecto, cualquier sesgo que tengan estos modelos, cualquier vulnerabilidad de seguridad... se hereda ciegamente por todas las tareas posteriores", afirma.
Liang dirige un nuevo grupo reunido por el Instituto de Inteligencia Artificial Centrada en el Ser Humano (HAI) de Stanford, denominado Centro de Investigación de Modelos Fundamentales (CRFM). El grupo está estudiando el impacto y las implicaciones de los modelos de fundación, y está invitando a las empresas tecnológicas que los desarrollan a sentarse a la mesa y participar.
PUBLICIDAD
El afán de lucro anima a las empresas a pisar el acelerador en la tecnología emergente en lugar de frenar para reflexionar y estudiar, dice Fei-Fei Li, que fue director del Laboratorio de Inteligencia Artificial de Stanford de 2013 a 2018 y ahora codirige HAI.
"La industria está trabajando rápido y duro en esto, pero no podemos dejar que sean los únicos que trabajen en este modelo, por múltiples razones", dice Li. "Mucha de la innovación que podría salir de estos modelos todavía, creo firmemente que saldrá del entorno de la investigación donde los ingresos no son el objetivo".
POCOS MODELOS, GRAN IMPACTO
Parte de la razón de toda la preocupación es que los modelos de fundación terminan tocando la experiencia de muchas personas. En 2019, los investigadores de Google construyeron el modelo de lenguaje natural BERT (Bidirectional Encoder Representations from Transformers), que ahora desempeña un papel en casi todas las funciones de búsqueda de Google. Otras empresas tomaron BERT y construyeron nuevos modelos sobre él. Los investigadores de Facebook, por ejemplo, utilizaron BERT como base para un modelo de lenguaje natural aún mayor, llamado RoBERTa (Robustly Optimized BERT Pretraining Approach), que ahora sustenta muchos de los modelos de moderación de contenidos de Facebook.
"Ahora casi todos los modelos de PNL (Procesamiento del Lenguaje Natural) se construyen sobre BERT, o quizá sobre uno de estos modelos básicos", dice Liang. "Así que está ocurriendo esta increíble homogeneización".
En junio de 2020, OpenAI comenzó a poner su modelo de lenguaje natural GPT-3 a disposición de otras empresas a través de una API comercial que luego construyeron aplicaciones especializadas sobre él. OpenAI ha construido ahora un nuevo modelo, Codex, que crea código informático a partir de texto en inglés.
Los modelos de fundación son un fenómeno relativamente nuevo. Antes de 2019, los investigadores diseñaban modelos de IA desde cero para tareas específicas, como resumir documentos o crear asistentes virtuales. Los modelos de fundación se crean con un enfoque totalmente diferente, explica Liang.
*** Translated with www.DeepL.com/Translator (free version) ***
Comentarios
Publicar un comentario