Pari päivää sitten kirjoitin kaksoislaskeutumisilmiöstä varoittaakseni taloustieteilijöitä sen tärkeydestä. Havainnollistaakseni sitä käytin seuraavaa esimerkkiä: 1️⃣ Haluat löytää käyrän, joka "paras" likimääräisesti arvioi tuntematonta funktiota ja tuottaa 12 havaintoa. 2️⃣ Tiedän, että kohdetoiminto on Y = 2(1 - e^{-|x + \sin(x^2)|}), mutta et tee niin. Tiedät vain, että ongelmassa ei ole melua. 3️⃣ Käytät approksimaattorina yksikerroksista piilotettua hermoverkkoa, jonka ReLU-aktivointi on koulutettu näiden 12 havainnon perusteella. 4️⃣ Tarkistat, mitä likiarvolle tapahtuu, kun lisäät hermoverkon parametrien määrää 4:stä 24 001:een. 🎥 Rakkaan kirjoittajakollegani @MahdiKahou laatima gif-elokuva havainnollistaa tuloksia: Tapaus A. Pienellä määrällä parametreja (esimerkiksi 7) pärjäät huonosti: l₂-etäisyys harjoitetun approksimaatiosi (sininen viiva) ja kohdefunktion (ei piirretty, vain siitä piirretyt 12 punaista pistettä) välillä on suuri. Tapaus B. ~1 000 parametrilla saavutat interpolointikynnyksen: verkko sopii täydellisesti kaikkiin 12 pisteeseen, mutta funktio on erittäin heiluva. L₂-etäisyys on edelleen korkea. Tapaus C. Vielä useammilla parametreilla (esim. 24 001) approksimaatio tasoittuu ja l₂-etäisyys kohdefunktioon pienenee huomattavasti. ⚡ Tärkeimmät kohdat: 1️⃣ Tämä on vain yksi esimerkki, mutta samanlaisia tuloksia on dokumentoitu tuhansissa hakemuksissa. En väitä tässä mitään uutta. 2️⃣ Tulos ei riipu täsmälleen 12 havainnon tekemisestä (jos niitä on enemmän, kaksoislaskeutuminen ilmestyy nopeammin), kohinan puuttumisesta tai edes hermoverkkojen käytöstä – saat sen monilla muilla parametrisilla approksimaattoreilla. 3️⃣ Kyllä, tuhansissa taloudellisissa sovelluksissa haluat arvioida monimutkaisia, suuriulotteisia funktioita kaikentyyppisillä monimutkaisilla muodoilla, ja tiedät niistä vain muutaman seikan. 👉 Miksi suosia tasaista approksimaatiota? Koska vaikka se olisi yliparametrisoitu, se yleistää paremmin. Jos teen uusia havaintoja (sinulle tuntemattomasta) kohdefunktiosta Y = 2(1 - e^{-|x + \sin(x^2)|}), Neuroverkko, jossa on 24 001 parametria, ennustaa ne paremmin (keskimäärin) kuin se, jossa on 1 000 parametria. Alkuperäinen viesti on täällä: (Osittainen) selitys siitä, mitä tapahtuu, on tässä: Paljon lisätietoja on Belkinin et al. (2019) läpimurtoartikkelissa: ja joitain viimeaikaisia mielenkiintoisia artikkeleita: