Límites de la predicción

https://www.cs.princeton.edu/~arvindn/teaching/limits-to-prediction-pre-read.pdf

La palabra predicción se usa a menudo de manera vaga para referirse a todas las aplicaciones del aprendizaje automático supervisado. En

Por el contrario, nuestro interés principal está en las aplicaciones que implican la predicción de eventos futuros. La distinción es

crucial: aunque las redes neuronales profundas han logrado avances en la última década en muchas tareas como

como reconocimiento de objetos, ninguna de estas tareas son verdaderos problemas de predicción, porque no implican futuros

eventos.

Si modelamos un fenómeno natural como un proceso mediante el cual algún estado de entrada se transforma en alguna salida

Estado, podemos esperar aprender la función de transformación a partir de ejemplos anteriores utilizando el aprendizaje automático. Esta

La descripción simplificada sugiere inmediatamente al menos tres límites para la predicción:

1. el posible no determinismo del universo (y, por tanto, los fenómenos de interés);

2. límites para medir los estados de entrada / salida con precisión y recopilar suficientes ejemplos de capacitación; estos dependen en gran medida de la naturaleza del sistema

3. límites computacionales, ya sean hardware o algoritmos.

La cuestión metafísica del determinismo del universo está fuera del alcance de este curso. Lo haremos también

suponga que el hardware y los algoritmos no suponen una limitación importante. No ofrecemos un

justificación de esta suposición, sino más bien adoptarla axiomáticamente. Eso nos permite centrar nuestra atención en

lo que subjetivamente consideramos preguntas de investigación más interesantes. En cualquier caso, cuando se busca

identificar límites relativamente duros, apostando contra la ley de Moore o contra el ingenio de la comunidad de ML

parece imprudente.

2. Hipótesis

Ahora esbozamos varias hipótesis concretas de por qué surgen los límites a la predicción. Estos son puramente ilustrativos

y no exhaustiva, ni mutuamente excluyente. Los objetivos de nuestro curso incluirán probar algunas de estas hipótesis,

generar nuevas hipótesis y comprender cómo la naturaleza del sistema da lugar a estos límites.

H1: Dependencia sensible de las entradas

Las alas de una mariposa, según un aforismo, pueden desencadenar un tornado. El clima es notoriamente un sistema en

las cuales divergencias arbitrariamente pequeñas en las condiciones iniciales tienden a amplificarse con el tiempo. Por lo tanto, cualquier límite fijo a

la resolución de las mediciones implica un límite a la precisión predictiva que se vuelve más severo cuanto más lejos

uno quiere pronosticar.

H2: Choques

Las trayectorias de la vida a veces también se ven trastornadas por los tipos de entradas que probablemente seguirán siendo inconmensurables en el futuro previsible: un premio mayor de lotería; un accidente; un crimen pasional cometido al calor del

momento; una admisión a la universidad para la que uno acaba de hacer el corte. Lo que no está claro es qué tan comunes son estos

el curso de vida típico y en qué medida limitan la previsibilidad.

H3: acumulación y amplificación de ventaja

Existe un tipo particular de dependencia sensible que es omnipresente en la sociedad y que vale la pena discutir

por separado: cuando el éxito genera más éxito. Por ejemplo, en los mercados de algunos productos culturales

como libros, películas o música, el éxito puede conducir a una mayor atención, lo que puede conducir a un mayor éxito.

Este proceso significa que pequeñas diferencias en el éxito inicial, incluso aquellas que fueron esencialmente aleatorias, pueden ser

magnificada con el tiempo, lo que dificulta la predicción. Un proceso similar también puede ocurrir a la inversa,

por lo que el fracaso puede conducir a más fracasos. Por ejemplo, una persona puede ser desalojada de su hogar, lo que

podría hacer que pierdan su trabajo, lo que podría conducir al abuso de sustancias y otros problemas. Esta acumulación de desventajas puede magnificar pequeñas diferencias o fluctuaciones aleatorias.