Code as Worlds: VLM-агент для генерации физических симуляций

Представлен VLM-агент, который анализирует видео и генерирует код физической симуляции сцены, разделяя физические свойства объектов и их визуальный облик.

Это новый подход к пониманию физики в видео, который позволяет не просто копировать картинку, а моделировать поведение объектов.

Позволяет редактировать физические параметры сцены, которые невозможно изменить в обычном видео.
Разделяет физику и визуальный стиль, что упрощает создание реалистичных симуляций.
Открывает путь к созданию интерактивных сред на основе видеоданных.

Code as Worlds VLM-агент, который пишет код симуляции физики на каждом шаге генерации видео - Смотрит видео и пишет код сцены: объекты, их свойства, отношения, правила движения, камера, освещение - Код в симуляторе проверяет как изменится сцена если поменять параметры - Композиция: можно разобрать сцену на части и менять части - Отделяет физическое состояние от внешнего вида — знает, что тяжёлый предмет не зависит от того, какого он цвета Гитхаб HF Демо #vlm #simulation #t2v #physics VK | MAX

Кратко (AI)

Проект Code as Worlds представляет собой VLM-агента, способного анализировать видео и автоматически генерировать код для физической симуляции сцены. Система выделяет объекты, их свойства и правила взаимодействия, позволяя независимо манипулировать физическими параметрами и визуальными характеристиками объектов.

Code as Worlds: VLM-агент для генерации физических симуляций

Кратко (AI)

Обсуждение