Kilka dni temu opublikowałem post na temat zjawiska podwójnego spadku, aby zwrócić uwagę ekonomistów na jego znaczenie. Aby to zilustrować, użyłem następującego przykładu: 1️⃣ Chcesz znaleźć krzywą, która "najlepiej" przybliża nieznaną funkcję generującą 12 obserwacji. 2️⃣ Wiem, że funkcja docelowa to Y = 2(1 - e^{-|x + \sin(x^2)|}), ale ty tego nie wiesz. Wiesz tylko, że w problemie nie ma szumów. 3️⃣ Używasz jako przybliżacza sieci neuronowej z jedną warstwą ukrytą z aktywacją ReLU, wytrenowanej na tych 12 obserwacjach. 4️⃣ Sprawdzasz, co się dzieje z przybliżeniem, gdy zwiększasz liczbę parametrów w sieci neuronowej z 4 do 24 001. 🎥 Gif, który przygotował mój drogi współautor @MahdiKahou, ilustruje wyniki: Przypadek A. Przy małej liczbie parametrów (powiedzmy, 7) radzisz sobie słabo: odległość ℓ₂ między twoim wytrenowanym przybliżeniem (niebieska linia) a funkcją docelową (nie wykreśloną, tylko 12 czerwonymi punktami z niej) jest wysoka. Przypadek B. Przy ~1 000 parametrach osiągasz próg interpolacji: sieć idealnie dopasowuje się do wszystkich 12 punktów, ale funkcja jest bardzo falista. Odległość ℓ₂ wciąż jest wysoka. Przypadek C. Przy jeszcze większej liczbie parametrów (np. 24 001) przybliżenie wygładza się, a odległość ℓ₂ do funkcji docelowej staje się znacznie mniejsza. ⚡ Kluczowe punkty: 1️⃣ To tylko jeden przykład, ale podobne wyniki zostały udokumentowane w tysiącach zastosowań. Nie twierdzę, że to nowość. 2️⃣ Wynik nie zależy od posiadania dokładnie 12 obserwacji (przy większej liczbie, podwójny spadek pojawia się wcześniej), od braku szumów, ani nawet od używania sieci neuronowych – uzyskujesz to z wieloma innymi parametrycznymi przybliżaczami. 3️⃣ Tak, w tysiącach zastosowań ekonomicznych chcesz przybliżyć skomplikowane, wysokowymiarowe funkcje o wszelkiego rodzaju złożonych kształtach, a znasz tylko kilka punktów z nich. 👉 Dlaczego preferować gładkie przybliżenie? Ponieważ, nawet jeśli jest nadparametryzowane, lepiej generalizuje. Jeśli narysuję nowe obserwacje z (nieznanej tobie) funkcji docelowej...