Hace un par de días, publiqué sobre el fenómeno del doble descenso para alertar a los economistas sobre su importancia. Para ilustrarlo, utilicé el siguiente ejemplo: 1️⃣ Quieres encontrar la curva que "mejor" aproxima una función desconocida que genera 12 observaciones. 2️⃣ Sé que la función objetivo es Y = 2(1 - e^{-|x + \sin(x^2)|}), pero tú no. Solo sabes que no hay ruido en el problema. 3️⃣ Usas, como aproximador, una red neuronal de una sola capa oculta con activación ReLU entrenada en estas 12 observaciones. 4️⃣ Verificas qué sucede con la aproximación cuando aumentas el número de parámetros en la red neuronal de 4 a 24,001. 🎥 La película gif que mi querido coautor @MahdiKahou preparó ilustra los resultados: Caso A. Con un pequeño número de parámetros (digamos, 7), lo haces mal: la distancia ℓ₂ entre tu aproximación entrenada (línea azul) y la función objetivo (no trazada, solo los 12 puntos rojos extraídos de ella) es alta. Caso B. Con ~1,000 parámetros, alcanzas el umbral de interpolación: la red se ajusta perfectamente a los 12 puntos, pero la función es muy ondulante. La distancia ℓ₂ sigue siendo alta. Caso C. Con aún más parámetros (por ejemplo, 24,001), la aproximación se suaviza, y la distancia ℓ₂ a la función objetivo se vuelve mucho más pequeña. ⚡ Puntos clave: 1️⃣ Este es solo un ejemplo, pero resultados similares han sido documentados en miles de aplicaciones. No estoy reclamando ninguna novedad aquí. 2️⃣ El resultado no depende de tener exactamente 12 observaciones (con más, el doble descenso aparece antes), de que no haya ruido, o incluso de usar redes neuronales: lo obtienes con muchos otros aproximadores paramétricos. 3️⃣ Sí, en miles de aplicaciones económicas, quieres aproximar funciones complicadas y de alta dimensión con todo tipo de formas intrincadas, y solo conoces unos pocos puntos extraídos de ellas. 👉 ¿Por qué preferir la aproximación suave? Porque, incluso si está sobreparametrizada, generaliza mejor. Si dibujo nuevas observaciones de la (desconocida para ti) función objetivo...