Сбер выложил в открытый доступ под лицензией MIT семейство моделей Kandinsky WM 1.0i — генератор обучающих видеороликов для роботов и беспилотных автомобилей. Технологию уже применяет собственный Центр робототехники Сбера и институт AIRI в своём дорожном симуляторе.

Это не полноценная нейросеть-симулятор реальности, как модели от Google и Nvidia, а инструмент для синтеза физически достоверных обучающих данных — решение критической проблемы: снимать вживую редкие и опасные сценарии (ДТП, экстремальную погоду, отказы оборудования) дорого и небезопасно.

• Модель обучена на 5,3 млн видео с камер роботов и автомобилей
• В основе — Kandinsky 5.0 Video Lite, дообученная на нескольких миллионах видеозаписей реальных дорожных процессов и заводских линий
• Специальные алгоритмы через RLi контролируют физику: оценивают сохранение геометрии и естественность кинематики, избавляя ролики от деформации объектов
• Модель генерирует видео модульными 5-секундными блоками, из которых складывается обучение автономных систем и систем компьютерного зрения
• Полный технический разбор решения опубликован в статье на Habr