För ett par dagar sedan skrev jag ett inlägg om fenomenet med dubbel härkomst för att varna ekonomer om dess betydelse. För att illustrera det använde jag följande exempel: 1️⃣ Du vill hitta den kurva som "bäst" approximerar en okänd funktion som genererar 12 observationer. 2️⃣ Jag vet att målfunktionen är Y = 2(1 - e^{-|x + \sin(x^2)|}), men det gör du inte. Du vet bara att det inte finns något brus i problemet. 3️⃣ Du använder, som en approximator, ett neuralt nätverk med ett enda dolt lager med ReLU-aktivering tränad på dessa 12 observationer. 4️⃣ Du kontrollerar vad som händer med approximationen när du ökar antalet parametrar i det neurala nätverket från 4 till 24 001. 🎥 Gif-filmen som min kära medförfattare @MahdiKahou förberett illustrerar resultaten: Ärende A. Med ett litet antal parametrar (säg 7) klarar du dig dåligt: l₂-avståndet mellan din tränade approximation (blå linje) och målfunktionen (inte plottad, bara de 12 röda punkterna som dras från den) är hög. Fall B. Med ~1 000 parametrar når du interpolationströskeln: nätverket passar perfekt till alla 12 punkter, men funktionen är mycket vickande. L₂-avståndet är fortfarande högt. Ärende C. Med ännu fler parametrar (t.ex. 24 001) jämnas approximationen ut och l₂-avståndet till målfunktionen blir mycket mindre. ⚡ Viktiga punkter: 1️⃣ Detta är bara ett exempel, men liknande resultat har dokumenterats i tusentals applikationer. Jag påstår inte att det är någon nyhet på något sätt här. 2️⃣ Resultatet hänger inte på att ha exakt 12 observationer (med fler, dubbel nedstigning visas tidigare), på att brus är frånvarande eller ens på att använda neurala nätverk - du får det med många andra parametriska approximatorer. 3️⃣ Ja, i tusentals ekonomiska tillämpningar vill du approximera komplicerade, högdimensionella funktioner med alla typer av intrikata former, och du känner bara till några få punkter som dras från dem. 👉 Varför föredra den mjuka approximationen? För även om det är överparametriserat generaliserar det bättre. Om jag ritar nya observationer från målfunktionen (som du inte känner till)...