Текущие модели робототехники действительно подчеркивают, насколько эффективно работает человеческий мозг. Модели робототехники относительно малы (несколько миллиардов параметров), хранят только секунду контекста и выполняют шаги вывода за 100 мс. В то время как человеческий мозг имеет 100 триллионов синапсов (примерно аналогично параметрам), обрабатывает 24 кадра в секунду, учитывая часы предыдущего контекста. Так как мы можем ожидать многократных улучшений в робототехнике по всем этим параметрам (которые взаимно влияют друг на друга с точки зрения вычислений вывода) одновременно? И как мы можем объяснить, что происходит в мозге? Это больше похоже на программное преимущество или аппаратное преимущество? Полный эпизод с @svlevine уже доступен!

.@svlevine является одним из ведущих исследователей в области робототехники в мире (и соучредителем @physical_int). Он считает, что полностью автономные роботы гораздо ближе, чем люди осознают - когда я спросил его о прогнозе, он сказал, что через 5 лет появятся роботы, которые смогут автономно управлять вашим домом). По его мнению, большим изменением игры является то, что у нас наконец есть LLM с общим смыслом и предварительными знаниями, вокруг которых мы можем строить модели роботов. Мы обсуждаем все причины, по которым это может не произойти, данные, полученные от развертывания, архитектуру, моделирование, производство и многое другое. Приятного просмотра! 0:00:00 – Временная шкала для широко развернутых автономных роботов 0:22:12 – Почему робототехника будет развиваться быстрее, чем автомобили с автопилотом 0:32:15 – Как работают модели «зрение-язык-действие» 0:50:26 – Необходимые улучшения для эффективности, подобной мозгу 1:02:48 – Обучение на основе моделирования 1:14:08 – Насколько быстро роботы ускорят развитие ИИ? 1:22:54 – Если оборудование является узким местом, выигрывает ли Китай по умолчанию?

Мне кажется диким, что модели робототехники @physical_int могут работать вообще, учитывая, что у них всего 1 секунда контекста. Когда робот перемещается по комнате и убирает со стола, он видит только текущее время изображений с камер (плюс текстовое описание своей задачи). Я спросил @svlevine, как эта модель может работать вообще. Если бы человеку нужно было выполнить план, который длится много минут, чтобы осуществить физическую задачу, но при этом его память сбрасывалась бы каждую секунду, он бы не смог это сделать. Но, тем не менее, просто зная, в каком состоянии мир находится в этот самый момент, достаточно, чтобы поддерживать разумно сложный план? Ответ Сергея ссылается на Парадокс Моровека, и мне это показалось довольно интересным. Полный эпизод выйдет завтра!