Acum câteva zile, am postat despre fenomenul dublei descendențe pentru a-i alerta pe economiști despre importanța sa. Pentru a-l ilustra, am folosit următorul exemplu: 1️⃣ Doriți să găsiți curba care "cel mai bine" se apropie de o funcție necunoscută care generează 12 observații. 2️⃣ Știu că funcția țintă este Y = 2(1 - e^{-|x + \sin(x^2)|}), dar nu o faceți. Știi doar că nu există zgomot în problemă. 3️⃣ Utilizați, ca aproximator, o rețea neuronală cu un singur strat ascuns cu activare ReLU antrenată pe aceste 12 observații. 4️⃣ Verificați ce se întâmplă cu aproximarea atunci când creșteți numărul de parametri din rețeaua neuronală de la 4 la 24.001. 🎥 Filmul gif pe care @MahdiKahou-a pregătit dragul meu coautor ilustrează rezultatele: Cazul A. Cu un număr mic de parametri (să zicem, 7), te descurci prost: distanța l₂ dintre aproximarea antrenată (linia albastră) și funcția țintă (nereprezentată, doar cele 12 puncte roșii extrase din ea) este mare. Cazul B. Cu ~1.000 de parametri, atingeți pragul de interpolare: rețeaua se potrivește perfect cu toate cele 12 puncte, dar funcția este foarte ondulată. Distanța l₂ este încă mare. Cauza C. Cu și mai mulți parametri (de exemplu, 24.001), aproximarea se netezește, iar distanța l₂ până la funcția țintă devine mult mai mică. ⚡ Puncte cheie: 1️⃣ Acesta este doar un exemplu, dar rezultate similare au fost documentate în mii de aplicații. Nu pretind nicio noutate aici. 2️⃣ Rezultatul nu depinde de a avea exact 12 observații (cu mai multe, dubla coborâre apare mai devreme), de absența zgomotului sau chiar de utilizarea rețelelor neuronale - îl obțineți cu mulți alți aproximatori parametrici. 3️⃣ Da, în mii de aplicații economice, doriți să aproximați funcții complicate, de dimensiuni înalte, cu toate tipurile de forme complicate și cunoașteți doar câteva puncte extrase din ele. 👉 De ce să preferați aproximarea lină? Pentru că, chiar dacă este supraparametrizată, generalizează mai bine. Dacă fac observații noi din funcția țintă (necunoscută pentru tine)...