Sobre las oportunidades y los riesgos de los modelos básicos

https://arxiv.org/abs/2108.07258?sf149288348=1

La IA está experimentando un cambio de paradigma con el aumento de los modelos (por ejemplo, BERT, DALL-E, GPT-3) que se entrenan con datos amplios a escala y se adaptan a una amplia gama de tareas posteriores. Llamamos a estos modelos modelos fundacionales para subrayar su carácter críticamente central aunque incompleto. Este informe ofrece una relación exhaustiva de las oportunidades y los riesgos de los modelos fundacionales, que van desde sus capacidades (por ejemplo, lenguaje, visión, robótica, razonamiento, interacción humana) y principios técnicos (por ejemplo, arquitecturas de modelos, procedimientos de entrenamiento, datos, sistemas, seguridad, evaluación, teoría) hasta sus aplicaciones (por ejemplo, derecho, sanidad, educación) y el impacto social (por ejemplo, desigualdad, mal uso, impacto económico y medioambiental, consideraciones legales y éticas). Aunque los modelos de las fundaciones se basan en el aprendizaje profundo estándar y el aprendizaje por transferencia, su escala da lugar a nuevas capacidades emergentes, y su eficacia en tantas tareas incentiva la homogeneización. La homogeneización proporciona un poderoso apalancamiento, pero exige precaución, ya que los defectos del modelo de fundación son heredados por todos los modelos adaptados a continuación. A pesar del inminente despliegue generalizado de los modelos fundacionales, actualmente carecemos de una comprensión clara de cómo funcionan, cuándo fallan e incluso de qué son capaces debido a sus propiedades emergentes. Para abordar estas cuestiones, creemos que gran parte de la investigación crítica sobre los modelos de cimentación requerirá una profunda colaboración interdisciplinaria acorde con su naturaleza fundamentalmente sociotécnica.