El nuevo modelo de lenguaje de inteligencia artificial de billones de parámetros de Google es casi 6 veces más grande que GPT-3

-

 Un trío de investigadores del equipo de Google Brain dio a conocer recientemente la próxima gran novedad en los modelos de lenguaje de IA: un enorme sistema transformador de un billón de parámetros.

El siguiente modelo más grande que existe, hasta donde sabemos, es el GPT-3 de OpenAI, que utiliza unos miserables 175 mil millones de parámetros.

https://thenextweb.com/neural/2021/01/13/googles-new-trillion-parameter-ai-language-model-is-almost-6-times-bigger-than-gpt-3/

Comentarios

Publicar un comentario

Popular

Tesla admite que es posible que nunca logre autos totalmente autónomos

-
https://www.fastcompany.com/90630440/tesla-admits-it-may-never-achieve-full-self-driving-cars?partner=rss&utm_campaign=rss+fastcompany&utm_content=rss&utm_medium=feed&utm_source=rss Una presentación reciente ante la Comisión de Bolsa y Valores incluye lenguaje en el que se reconoce que es posible que la empresa nunca logre automóviles completamente autónomos, el invento que ha sido su gran ballena blanca durante años. Después del informe de ganancias del primer trimestre de Tesla el lunes, el analista y usuario de Twitter Gordon Johnson señaló que la presentación 10-Q de la compañía tiene en sus factores de riesgo la siguiente declaración: “Estamos desarrollando tecnologías de conducción autónoma y de asistencia al conductor que se basan en sensores basados ​​en la visión, a diferencia de las tecnologías alternativas en desarrollo que, además, requieren otros sensores redundantes. No hay garantía de que cualquier cambio incremental en el equipo específico que implementa...
Leer más

Los daños de la IA

-
https://www.nber.org/papers/w29247 Este ensayo analiza varios costes económicos, políticos y sociales potenciales de la trayectoria actual de las tecnologías de IA. Argumento que si la IA sigue desplegándose en su trayectoria actual y no se regula, puede producir varios daños sociales, económicos y políticos. Estos incluyen: dañar la competencia, la privacidad del consumidor y la elección del consumidor; automatizar excesivamente el trabajo, alimentar la desigualdad, empujar ineficientemente a la baja los salarios y no mejorar la productividad de los trabajadores; y dañar el discurso político, la savia más fundamental de la democracia. Aunque no hay pruebas concluyentes que sugieran que estos costes sean inminentes o sustanciales, puede ser útil comprenderlos antes de que se materialicen por completo y sean más difíciles o incluso imposibles de revertir, precisamente por el prometedor y amplio potencial de la IA. También sugiero que estos costes no son inherentes a la naturaleza de las...
Leer más

Cada modelo aprendido por pendiente de gradiente es aproximadamente una máquina de kernel

-
 Los éxitos del aprendizaje profundo a menudo se atribuyen a su capacidad para descubrir automáticamente nuevas representaciones de los datos, en lugar de depender de características hechas a mano como otros métodos de aprendizaje. Sin embargo, mostramos que las redes profundas aprendidas por el algoritmo de descenso de gradiente estándar son de hecho matemáticamente aproximadamente equivalentes a las máquinas kernel, un método de aprendizaje que simplemente memoriza los datos y los usa directamente para la predicción a través de una función de similitud (el kernel). Esto mejora enormemente la interpretabilidad de las ponderaciones de redes profundas, al aclarar que son efectivamente una superposición de los ejemplos de entrenamiento. La arquitectura de la red incorpora el conocimiento de la función de destino en el kernel. Esta mejor comprensión debería conducir a mejores algoritmos de aprendizaje. https://arxiv.org/abs/2012.00152
Leer más