GPT-6-Astra сильна в симуляции, но пока ненадёжна на реальных роботах

🤖 GPT-6-Astra прошла порог воплощённой компетентности, но не воплощённого интеллекта, - исследование SenseNova Команда SenseNova вместе с ACE Robotics, Ropedia, Nanyang Technological University и University of Tokyo опубликовала исследование, в котором проверила, достигла ли GPT-6-Astra от OpenAI воплощённого интеллекта (embodied intelligence). Воплощённый интеллект - это способность управлять роботами и выполнять задачи в физическом мире без дообучения. Astra управляла манипуляторами, многопалыми кистями, гуманоидом и навигацией на 12 бенчмарках в симуляции и на 8 реальных роботах. Задачи в основном бытовые: включить плиту и поставить на неё кофеварку, навести порядок на кухне, разблокировать iPad, забить гвоздь молотком, сыграть мелодию на пианино, сложить ткань, найти предмет в здании, вставить вилку в розетку. В симуляции Astra обошла всех конкурентов на 9 из 12 бенчмарков, в том числе специализированные VLA-модели, которые учатся на записях решения тех же задач. На DexJoCo у неё 78.2% успешных эпизодов против 40.3% у π0.5. Помогли два приёма. Перед тестом модель изучает обучающие демонстрации и создает пакет знаний с заметками, эталонными траекториями и Python-кодом. Лимит шагов ей увеличили в 10 раз, и она успевала заметить ошибку и исправить её. На RoboDojo это улучшило результат с 27.6% до 81.9%. Но результаты в физическом мире показали, что это ещё не практический воплощённый интеллект. Лишние попытки здесь не бесплатны, время не безгранично, а роботы уходят в защитную остановку и перегреваются. Переставить твёрдый предмет получилось в 17 попытках из 18, а вставить вилку в розетку 0 раз из 11. Неудачный контакт вызывал защитную остановку, так закончились 2 из 3 попыток вставить вилку на роботе PiPER. Долгая работа перегревает приводы, и на гуманоиде Galaxea R1 Pro перегрев корпуса прервал обе попытки собрать цветы. На гуманоиде Unitree G1 модель около 90% времени думает - один запрос к API занимал около 25 секунд, и робот поднимал игрушку с пола более часа. Многопалые кисти Wuji на роботе Tianji M6S по коду захвата, который написала сама модель, не подняли игрушку ни разу из трёх попыток, а с готовыми скриптами захвата, написанных человеком, подняли все три раза. Отсюда вывод: порог воплощённой компетентности GPT-6-Astra прошла, то есть на бенчмарках она уже решает задачи роботов не хуже, а часто лучше специализированных моделей. А порог практического воплощённого интеллекта пока нет, потому что в физическом мире она работает медленно, дорого и ненадёжно. Авторы выложили пакеты знаний, логи 3180 тестовых эпизодов с 5888 видео (81 ГБ, лицензия MIT) для четырёх бенчмарков. Код обвязки SenseNova-RoboRSI заявлен под Apache 2.0, но пока не опубликован. #Stateoftheart