Obecne modele robotyki naprawdę podkreślają, jak niezwykle wydajny jest ludzki mózg. Modele robotyki są stosunkowo małe (niskie miliardy parametrów), przechowują tylko sekundę kontekstu i wykonują kroki wnioskowania w czasie 100 ms. Dla porównania, ludzki mózg ma 100 bilionów synaps (w przybliżeniu analogicznych do parametrów), przetwarza 24 klatki na sekundę, biorąc pod uwagę godziny wcześniejszego kontekstu. Jak więc możemy oczekiwać, że uzyskamy wiele popraw w robotyce w tych wszystkich wymiarach (które wzajemnie się równoważą pod względem obliczeń wnioskowania) jednocześnie? I jak możemy wyjaśnić, co się dzieje w mózgu? Czy bardziej przypomina to przewagę oprogramowania, czy przewagę sprzętową? Pełny odcinek z @svlevine już dostępny!

.@svlevine jest jednym z wiodących badaczy robotyki na świecie (i współzałożycielem @physical_int). Uważa, że w pełni autonomiczne roboty są znacznie bliżej, niż ludzie sobie to wyobrażają - gdy naciskałem go na prognozę, powiedział, że za 5 lat będziemy mieli roboty, które będą mogły autonomicznie prowadzić gospodarstwo domowe). W jego opinii, dużą zmianą jest to, że w końcu mamy LLM-y z zdrowym rozsądkiem i wcześniejszą wiedzą, wokół których możemy budować modele robotów. Zagłębiamy się we wszystkie powody, dla których to może się nie zdarzyć, w koło danych z wdrożenia, architekturę, symulację, produkcję i wiele więcej. Miłego słuchania! 0:00:00 – Oś czasu do szeroko wdrożonych autonomicznych robotów 0:22:12 – Dlaczego robotyka będzie się rozwijać szybciej niż samochody autonomiczne 0:32:15 – Jak działają modele wizji-języka-akcji 0:50:26 – Ulepszenia potrzebne do efektywności przypominającej mózg 1:02:48 – Nauka z symulacji 1:14:08 – Jak bardzo roboty przyspieszą rozwój AI? 1:22:54 – Jeśli sprzęt jest wąskim gardłem, czy Chiny wygrywają z automatu?

Uważam, że to szalone, że modele robotyki @physical_int mogą w ogóle działać, biorąc pod uwagę, że mają tylko 1-sekundową długość kontekstu. Gdy robot porusza się po pokoju i sprząta stół, widzi tylko aktualny znacznik czasu obrazów z kamer (plus opis tekstowy swojego zadania). Zapytałem @svlevine, jak ten model może w ogóle działać. Gdyby człowiek musiał wykonać plan trwający wiele minut, aby zrealizować fizyczne zadanie, ale co sekundę miałby resetowaną pamięć, nie byłoby szans, żeby mu się to udało. Ale w jakiś sposób wiedza o tym, w jakim stanie dosłownie znajduje się świat w tej chwili, to wszystko, co musisz wiedzieć, aby kontynuować dość skomplikowany plan? Odpowiedź Sergeya odnosi się do paradoksu Morevaca i uznałem to za dość interesujące. Pełny odcinek jutro!