NVIDIA открыла для локального запуска Cosmos 3 Edgei — компактную «модель мира» на 4 миллиарда параметров, предназначенную для роботов, автопилотов и ИИ-агентов. Модель умеет понимать сцену по видео, предсказывать намерения и генерировать действия — то есть одновременно разбирать происходящее и управлять устройством.

Edge — самое лёгкое звено линейки Cosmos 3, которую NVIDIA развивает с весны, и закрывает нижний край семейства для устройств с ограниченными вычислительными ресурсами, в отличие от более тяжёлых Nano и Super, рассчитанных на мощное оборудование.

• Внутри reasoner на 2 млрд параметров на базе Nemotron, отвечающий за рассуждения, плюс диффузионная часть, отвечающая за генерацию видео, изображений, звука и действий
• Архитектура описана как Mixture-of-Transformers с мультимодальным вниманием — единый механизм для понимания сцены и её симуляции
• На входе модель принимает текст, картинки, видео и траектории движения, на выходе выдаёт видео, изображения, текст и команды действий
• Управление роботом происходит с частотой 15 Гц
• Cosmos 3 Edge заняла первое место в бенче VANTAGE-Benchi среди открытых моделей такого размера (по видеоаналитике) и лучшая в обучении управляющих алгоритмов для роботов
• Вместе с базовой моделью выпущены Cosmos 3 Edge Policy для манипуляций роботом и облегчённые 4-шаговые версии Cosmos 3 Super (Image2Video и Text2Image), дистиллированные из старшей версии через DMD2i
• Ранее в семействе Cosmos 3 были представлены более крупные Cosmos 3 Nano (16 млрд параметров) и Cosmos 3 Super (64 млрд параметров), а также отдельные версии Super для генерации изображений по тексту и видео по кадру
• Модель распространяется по лицензии OpenMDW License, доступна на Hugging Face, GitHub, есть демо и страница проекта