Oskarżają mnie o przesadne ekscytowanie [stroną, o której wszyscy dzisiaj już za dużo słyszeli]. Reakcje ludzi były bardzo różne, od "jak to w ogóle może być interesujące" po "to już koniec". Aby dodać kilka słów poza samymi memami w żartach - oczywiście, gdy spojrzysz na aktywność, to jest dużo śmieci - spam, oszustwa, bałagan, ludzie z branży kryptowalut, bardzo niepokojące ataki typu prompt injection dotyczące prywatności/bezpieczeństwa, dziki zachód, a wiele z tego to wyraźnie zaprogramowane i fałszywe posty/komentarze zaprojektowane w celu przekształcenia uwagi w udziały w przychodach z reklam. I to zdecydowanie nie jest pierwszy raz, kiedy LLM-y zostały włączone w pętlę, aby rozmawiać ze sobą. Więc tak, to jest pożar w śmietniku i zdecydowanie nie polecam, aby ludzie uruchamiali to na swoich komputerach (ja uruchomiłem mój w izolowanym środowisku obliczeniowym i nawet wtedy się bałem), to zdecydowanie zbyt duży dziki zachód i narażasz swój komputer oraz dane osobowe na wysokie ryzyko. To powiedziawszy - nigdy nie widzieliśmy tylu agentów LLM (150 000 w tej chwili!) połączonych za pomocą globalnego, trwałego, agentowego scratchpada. Każdy z tych agentów jest teraz dość indywidualnie zdolny, mają swoje unikalne konteksty, dane, wiedzę, narzędzia, instrukcje, a sieć tego wszystkiego w tej skali jest po prostu bezprecedensowa. To znowu przywołuje mi tweet sprzed kilku dni "Większość hałasu to ludzie, którzy patrzą na obecny punkt i ludzie, którzy patrzą na obecny nachylenie.", co moim zdaniem znowu dotyka sedna zmienności. Tak, wyraźnie to jest teraz pożar w śmietniku. Ale prawdą jest również, że jesteśmy już w nieznanym terytorium z nowatorskimi automatyzacjami, które ledwo rozumiemy indywidualnie, nie mówiąc już o sieci, która może liczyć nawet w milionach. Wraz ze wzrostem zdolności i proliferacji, drugorzędne efekty sieci agentów, które dzielą się scratchpadami, są bardzo trudne do przewidzenia. Nie wiem, czy otrzymujemy skoordynowany "skynet" (choć wyraźnie wpisuje się to w wczesne etapy wielu sci-fi o wzroście AI, wersja dla dzieci), ale z pewnością to, co otrzymujemy, to kompletny bałagan kosztem bezpieczeństwa komputerowego w skali. Możemy również zobaczyć wszelkiego rodzaju dziwne aktywności, np. wirusy tekstowe, które rozprzestrzeniają się między agentami, znacznie więcej zysków z jailbreaków, dziwne stany przyciągające, wysoce skorelowana aktywność przypominająca botnet, urojenia/psychotyczne stany zarówno agentów, jak i ludzi, itd. Bardzo trudno to ocenić, eksperyment trwa na żywo. TLDR, może rzeczywiście "przesadzam" z tym, co widzisz dzisiaj, ale nie przesadzam z dużymi sieciami autonomicznych agentów LLM w zasadzie, co do tego jestem dość pewny.

Zgłaszam swojego agenta AI "KarpathyMolty" na @moltbook🦞 Weryfikacja: marine-FAYV

Konwencjonalna narracja, z którą możesz się spotkać, mówi, że AI jest zbyt zaawansowane, aby nowy, skoncentrowany na badaniach startup mógł konkurować i przewyższać istniejące firmy w dziedzinie AI. To dokładnie to uczucie, które często słyszałem, gdy OpenAI zaczynało ("jak wy, nieliczni, możecie konkurować z Google?") i 1) to było bardzo błędne, a potem 2) to było znowu bardzo błędne z całą nową falą startupów, które teraz wyzywają OpenAI, a moim zdaniem wciąż jest to błędne dzisiaj. Skalowanie i lokalne poprawianie tego, co działa, nadal będzie prowadzić do niesamowitych postępów, ale przy tak szybkim odblokowywaniu postępu, przy tak dużym zamieszaniu w powietrzu w tym procesie, i przy wciąż dużej przepaści między nowatorskimi LLM a przykładem dowodu na magię umysłu działającego na 20 watów, prawdopodobieństwo przełomów badawczych, które przyniosą zbliżone do 10-krotnych ulepszeń (zamiast 10%) moim zdaniem wciąż wydaje się bardzo wysokie - wystarczająco wysokie, aby nadal stawiać na to i szukać. Trudna część to oczywiście stworzenie warunków, w których takie przełomy mogą być odkryte. Myślę, że takie środowisko rzadko się zbiega, ale @bfspector i @amspector100 są genialni, z (rzadkim) pełnym zrozumieniem LLM od góry (matematyka/algorytmy) do dołu (megakerneli/pokrewne), mają świetne oko do talentów i myślę, że będą w stanie zbudować coś bardzo wyjątkowego. Gratulacje z okazji uruchomienia i czekam na to, co wymyślicie!