Es difícil para las redes neuronales aprender el juego de la vida

 Los esfuerzos para mejorar las capacidades de aprendizaje de las redes neuronales se han centrado principalmente en el papel de los métodos de optimización más que en las inicializaciones ponderadas. Sin embargo, hallazgos recientes sugieren que las redes neuronales se basan en pesos iniciales aleatorios afortunados de subredes llamadas "billetes de lotería" que convergen rápidamente en una solución. Para investigar cómo las inicializaciones de peso afectan el rendimiento, examinamos pequeñas redes convolucionales que están entrenadas para predecir n pasos del autómata celular bidimensional Conway's Game of Life, cuyas reglas de actualización se pueden implementar de manera eficiente en una red convolucional de capa 2n + 1. Encontramos que las redes de esta arquitectura entrenadas en esta tarea rara vez convergen. Más bien, las redes requieren sustancialmente más parámetros para converger de manera consistente. Además, las arquitecturas casi mínimas son sensibles a pequeños cambios en los parámetros: cambiar el signo de un solo peso puede hacer que la red no aprenda. Finalmente, observamos un valor crítico d_0 tal que entrenar redes mínimas con ejemplos en los que las células están vivas con probabilidad d_0 aumenta dramáticamente la posibilidad de convergencia hacia una solución. Concluimos que entrenar redes neuronales convolucionales para aprender la función de entrada / salida representada por n pasos de Game of Life exhibe muchas características predichas por la hipótesis del boleto de lotería, a saber, que el tamaño de las redes requeridas para aprender esta función a menudo es significativamente mayor que la red mínima requerida para implementar la función.

https://arxiv.org/abs/2009.01398

Editado por Aniceto Pérez y Madrid, Especialista en Ética de la Inteligencia Artificial y Editor de Actualidad Deep Learning (@forodeeplearn).

Los artículos publicados son incluidos por su estimada relevancia y no expresan necesariamente los puntos de vista del Editor este Blog.