El resurgir de las redes neuronales estructuradas
El aprendizaje automático con redes neuronales profundas ("aprendizaje profundo") permite aprender características complejas directamente de los datos de entrada sin procesar, eliminando por completo la extracción de características "codificadas" hechas a mano. Esto ha llevado a lograr un rendimiento de vanguardia en varios dominios problemáticos --- previamente desconectados ---, incluyendo la visión por computadora, el procesamiento del lenguaje natural, el aprendizaje de refuerzo y el modelado generativo. Estas historias de éxito casi de manera universal van de la mano con la disponibilidad de inmensas cantidades de ejemplos de capacitación etiquetados ("big data") que exhiben una estructura simple tipo cuadrícula (por ejemplo, texto o imágenes), explotables a través de capas convolucionales o recurrentes. Esto se debe a la gran cantidad de grados de libertad en las redes neuronales, lo que deja su capacidad de generalización vulnerable a efectos como el sobreajuste. Sin embargo, quedan muchos dominios en los que la recopilación de datos no siempre es apropiada, asequible o incluso factible. Además, los datos generalmente se organizan en tipos de estructura más complicados, que la mayoría de los enfoques existentes simplemente descartarían. Ejemplos de tales tareas son abundantes en el espacio biomédico; con p. un pequeño número de sujetos disponibles para cualquier estudio clínico o relaciones entre proteínas especificadas a través de redes de interacción. Supongo que, si el aprendizaje profundo debe alcanzar su máximo potencial en tales entornos, debemos reconsiderar los enfoques "codificados", integrando supuestos sobre la estructura inherente en los datos de entrada directamente en nuestras arquitecturas y algoritmos de aprendizaje, a través de inductivos estructurales sesgos En esta disertación, valido directamente esta hipótesis mediante el desarrollo de tres arquitecturas de redes neuronales infundidas en la estructura (que operan en datos dispersos multimodales y estructurados con gráficos), y un algoritmo de aprendizaje estructurado para redes neuronales de gráficos, que demuestra un rendimiento superior significativo de los modelos de línea de base convencionales y algoritmos.
Adaptado por Aniceto Pérez y Madrid, Filósofo de las Tecnologías y Editor de Actualidad Deep Learning (@forodeeplearn)
Comentarios
Publicar un comentario