🌟 NVIDIA открыла доступ к самой крупной модели для беспилотных автомобилей Alpamayo 2 Super - рассуждающая VLA модель на 34 миллиарда параметров, которая сшивает изображение с передних, боковых и задних камер в круговой обзор и рассчитывает траекторию движения.

Впервые NVIDIA показала её на конференции GTC в Тайбэе в начале июня, но доступ открылся только сейчас.

NVIDIA делает упор на редких ситуациях, с которыми беспилотники справляются хуже всего, - перестроения, повороты через встречный поток, перегруженные перекрёстки. В основе лежит Cosmos 3 Super Reasoner, после базового обучения модель прогнали через RL, то есть на последствиях её собственных решений в смоделированных поездках. Помимо маршрута модель выдаёт текстовое обоснование манёвра, и оператор-разработчик может проследить, какая деталь в кадре привела к конкретному решению.

В компании связывают это с проверкой безопасности по стандарту ISO/PAS 8800 и предлагают использовать тот же механизм для автоматической разметки видео с тестовых машин - расшифровки, которая обычно занимает месяцы ручной работы.

В тесте LingoQA, где систему просят объяснить дорожную обстановку, NVIDIA ставит Alpamayo 2 Super на первое место и утверждает, что модель обходит Qwen2.5-VL 72B на 17 пунктов, а Gemini 2.5 Pro примерно на 15.

Лицензия модели позволяет дообучать Alpamayo 2 Super на собственных данных и ставить в серийные машины.

📌Лицензирование: Open MDW 1.1 License 🟡Блогпост 🟡Модель 🖥GitHub @ai_machinelearning_big_data #AI #ML #VLA #AutonomousVehicles #Alpamayo #NVIDIA

TurboVLA: робот получает команды в разы быстрее при 97% успешных выполнений благодаря замене LLM на BERT Исследователи из Хуачжунского университета науки и технологий и Huawei опубликовали TurboVLA, компактную vision-language-action модель, которая выдаёт действия для робота за 31.2 мс на RTX 4090 и набирает 97.7% на бенчмарке для роботов LIBERO. Главное отличие от других VLA в том, что внутри нет LLM. Вместо неё лёгкий текстовый энкодер BERT, а картинка и инструкция обмениваются информацией напрямую через модуль кросс-внимания. Отсюда 0.2B параметров вместо миллиардов и меньше 1 ГБ видеопамяти при инференсе. Обычно VLA-модели устроены так: робот получает картинку с камеры и текстовую инструкцию по типу «сложи три миски друг на друга». Визуальные признаки сначала проецируются в пространство токенов языковой модели, склеиваются с токенами инструкции, прогоняются через модель, и уже из её скрытых состояний декодируются действия. Этот путь обозначается как V → L → A: сначала зрение, затем язык, потом действие. Ключевое наблюдение исследователей простое: если в инструкции уже написано, что делать, то от текста нужно только подсказать, на какие визуальные детали смотреть. Вместо V → L → A авторы предлагают прямое отображение V + L → A. Картинки и инструкция кодируются независимо, потом обмениваются информацией напрямую, минуя большую языковую модель. За один прямой проход модель выдаёт сразу чанк из 12 шагов управления. Результаты на бенчмарке для роботов LIBERO: TurboVLA набирает 97.7% в среднем при 0.2B параметров, 0.9 ГБ видеопамяти и 31.2 мс задержки. Для сравнения, модель π0.5 выдаёт 96.9% при 3.4B параметров, 12.8 ГБ и 93.6 мс. VLA-JEPA набирает 97.2% при 2.8B и 108.7 мс, CogVLA 97.4% при 8.3B и 115.5 мс. Среди лёгких моделей Evo-1 даёт 94.8% при 0.8B, VLA-Adapter 97.3% при 1.5B. На реальном роботе AgileX Piper модель проверили на четырёх задачах (взять валик, отодвинуть карту, нажать степлер, сложить три миски) и получила от 80% до 92.5% успеха, в каждой из них обойдя π0.5. Симуляционную часть можно воспроизвести целиком: обучение и тесты шли на открытых датасетах LIBERO и RoboTwin 2.0 (для версии под RoboTwin брали визуальный энкодер побольше, там 0.4B параметров). Собственные данные использовали только для дообучения под реального робота. TurboVLA рассчитана на конкретные инструкции. Если попросить робота «приготовить завтрак», разбивать это на шаги будет нечем. Код модели доступен на GitHub под лицензией Apache-2.0, веса выложены на Hugging Face. #Stateoftheart

# Steelman Labs Мы попробовали сделать агента для QA для мобильных игр, уперлись в качество моделей и пошли работать на своих работах. Не обучать же свои модели, в конце-концов! Но что если... обучать свои модели? Мы не настолько безумцы, чтобы в 2026 пытаться делать лабу со своими VLM. Конкурировать с Антропиком и Гуглом на их территории? Мы недостаточно Stanford drop-outs для этого. Но я продолжал изучать. Видели гуманоидных роботов, которые с недавних пор хайпуют? Танцуют, исполняют кунфу и вроде как вот-вот должны заменить всех рабочих? Они появились когда в робототехнике придумали Visual-Language-Action модели или VLA. Это способ сделать из VLM модель для плавной и быстрой манипуляции. Последний раз я трогал робототехнику несколько лет назад, когда работал в Planet Farms, и тогда VLA были на уровне ранних прототипов. Вчитавшись я узнал, что с тех пор многое изменилось. VLA стали в сто раз более семпл-эффективными. Обучить VLA управлять роботом стало возможно буквально в домашних условиях, ведь каждый может скачать SmolVLA на 700m параметров и обучать её хоть на одной A100. Что если рассмотреть навигацию по GUI как робототехнику в 2D и обучать для этого VLA? Сейчас весь computer use работает на том, что к LLM изолентой прикрутили тулы для работы с экраном. Все решения, от Claude Computer Use до специальных моделей вроде MobileAgentv3 и UI-TARS, построены на цикле скриншот-ризонинг-туллколл. Датасеты и бенчмарки так же заточены под этот сетап: статичные картинки, ограниченный набор действий (в некоторых browser use бенчмарках вообще нет никаких действий кроме кликнуть и писать текст!), простыни DOM и Accessibility tree в промпте. И главное: задачи подобраны так, чтобы такой агент мог их решить. В итоге в топе лидербордов скоры 80%+, а когда сам пробуешь запустить, или ничего не работает совсем, или абсурдно медленно и дорого. Чем дольше я в это закапывался, тем больше приходил к выводу: сообщество построило из задачи computer use соломенное чучело. С точки зрения тогдашних бенчмарков (OSWorld, WebArena, WebVoyager) интерфейсы это скриншоты над которыми можно думать сколько угодно долго. В такой постановке задача была быстро решена – все лабы выпустили по computer use продукту и отчитались о высоких результатах. Однако за этим не последовало внедрений или пользователей. OpenAI даже закрыли свой агентский браузер. Потому что это соломенное чучело не похоже на реальные интерфейсы. В противоположность соломенному чучелу (starwman) есть меметичный обратный прием: steelman. Это когда ты берешь чужой аргумент и споришь с его сильнейшей версией. Как сделать steelman задачи computer use? Я пришел к простому принципу: computer use агент должен иметь возможность использовать любой интерфейс, который использует человек, и таким же образом, как его использует человек. Если агент не видит анимации, то фундаментально не может использовать целый класс интерфейсов. Значит тебе всегда нужны будут костыли, чтобы обходить эти ограничения и это не заработает на масштабе. Если твой агент ломается без accessibility tree, то он не заработает на масштабе. Если он не может нажимать те же кнопки, что ты нажимаешь на своей клавиатуре, то... думаю вы поняли. И вот здесь очень быстро приходишь к идее, что невозможно построить computer use на скриншотах и тулколлах большой моделью. Никогда не заработает достаточно быстро. Необходимо воспринимать экран как видео, управлять девайсом через клавиатуру и курсор, иметь сопоставимую с человеком реакцию. Ответ: VLA для computer use. Тогда картинка сложилась. LLM отличные планировщики, но у них проблемы с кликами и прочими манипуляциями. В современных computer use бенчмарках (OSWorld V2 и Agent's Last Exam) это хорошо видно: модели решают только те задачи, где могут избежать интерфейса вообще. Использовать фронтир LLM для интерфейсов ещё и безумно дорого: мы заставляем 10Т модели отвечать (текстом!) куда они хотят кликнуть на экране. Можно получить human-level computer use не отказываясь от той основы, что дают LLM. Можно сделать VLA, которая встраивается в оркестратор и служит для него манипулятором. Клод думает и занимается планированием, а наша модель занимается зрением и манипуляцией. System 2 и System 1. Раз нашей модели не надо думать наперед, то она может быть не очень большой. Раз Клоду не надо делать клики, то его контекст не забивается. Значит весь сетап будет в целом дешевле и быстрее, а может даже и лучше по качеству. И создание такой VLA не потребует фандрейзить на конкурента Антропика. Я пришел с этой идей к Максу. Мы оба загорелись ей гораздо больше, чем Tapagent. Потому что это путь к технологической компании. Продавая computer use по API, MCP для computer use в каждый Клод и всё такое, можно стать чем-то вроде Eleven Labs (которые продают text-to-speech по API и стоят 11 миллиардов). А ведь рынок computer use потенциально гораздо больше, чем любой TTS. Мы стали вечерами и выходными заниматься этой идеей. В безработный период я писал в канале, что уже не уверен, могу ли я работать по много часов. Теперь знаю: оказывается я могу работать и по 16 часов в день. Моя позиция в PLATA требовала вкладываться и эту идею я хотел основательно докопать. В результате это был довольно трудный период для моей кукушки. Параллельно ещё и книгу надо было редактировать по редким правкам от моего издательства. Я просто жил работой. Со Steelman Labs с самого начала пошло гораздо лучше, чем было с TapAgent. Я никогда в жизни не видел, чтобы в ML что-то так быстро заводилось: имея лишь вечера и выходные мы сделали прототип VLA для computer use и она сходу побила первый бенчмарк. Затем мы провели несколько экспериментов и увидели, что доливание разных данных увеличивает качество. Это можно скейлить! Мы всюду натыкались на людей, которые готовы помочь. Я позвал своего бывшего босса из Planet Farms (associate professor Oxford, руководит лабой CV и робототехники) эдвайзить нас по технической части. Несколько знакомых ребят из CV мира оказались готовы вписаться в проект в расчете на будущую перспективу. Начался бесконечный поток знакомств с разными фондами. Мы пообщались с СЕО Strawberry и услышали что да, у них есть такая проблема и манипуляцию приходится решать костылями. Когда мы получили первый ангельский чек и на горизонте замаячил полноценный pre-seed фандрейзинг, я принял решение об уходе из PLATA. И вот мы здесь! В моей жизни началась арка стартапера, я самопровозглашенный СТО steelmanlabs.com и мне это очень нравится. Я как никогда чувствую себя на своём месте и максимальную сонаправленность между тем, что я делаю, что мне интересно и что мне выгодно.