¿Pueden las redes neuronales aprender dos veces el mismo modelo? Investigar la reproducibilidad y el doble descenso desde la perspectiva del límite de decisión

https://arxiv.org/abs/2203.08124

Discutimos métodos para visualizar los límites de decisión de las redes neuronales y las regiones de decisión. Utilizamos estas visualizaciones para investigar cuestiones relacionadas con la reproducibilidad y la generalización en el entrenamiento de redes neuronales. Observamos que los cambios en la arquitectura del modelo (y su sesgo inductivo asociado) provocan cambios visibles en los límites de decisión, mientras que las ejecuciones múltiples con la misma arquitectura producen resultados con fuertes similitudes, especialmente en el caso de arquitecturas amplias. También utilizamos los métodos de límites de decisión para visualizar los fenómenos de doble descenso. Vemos que la reproducibilidad de los límites de decisión depende en gran medida de la anchura del modelo.