t2vСбросить фильтр ×

LIFT: фреймворк для контролируемой генерации видео

Н@GreenNeuralRobotsAI-инженер
2 нед
LIFT Фреймворк для контролируемой генерации видео. Добавляет к управлению камерой контроль будущего лейаута: ты задаешь, что и где появится в финальном кадре. • Задаешь траекторию камеры + лейаут финального кадра рамками и подписями • Видео идет от первого кадра к заданному последнему, следуя камере • Работает при больших сменах ракурса, когда камера открывает невидимые в начале области • Боксы объектов в последнем кадре как явный сигнал управления • Два режима: только камера / камера + лейаут Гитхаб HF Демо #t2v #cameracontrol #layoutcontrol MAX

Исследование механизма «треугольника внимания» в аудио-видео моделях

Н@GreenNeuralRobotsAI-инженер
1 мес

Появились сервисы бесконечного ИИ-слоп-видео на модели MiniMax H3 Max

В сети запустили сразу два похожих проекта — бесконечные ИИ-генерируемые видеопотоки, которые предлагаются как замена коротких видео (рилсы, тикток). Зрители могут не просто смотреть, но и писать в чат, что хотят увидеть далее: промпт попадает в очередь, а нейросеть генерирует следующую сцену, пытаясь связать её с предыдущей.

Оба проекта работают на модели MiniMax H3 Maxi — она генерирует видео быстрее, чем человек успевает его просмотреть, что и позволяет организовать непрерывный стрим контента.

Полный разбор →

Code as Worlds: VLM-агент для генерации физических симуляций

Н@GreenNeuralRobotsAI-инженер
1 мес
Code as Worlds VLM-агент, который пишет код симуляции физики на каждом шаге генерации видео - Смотрит видео и пишет код сцены: объекты, их свойства, отношения, правила движения, камера, освещение - Код в симуляторе проверяет как изменится сцена если поменять параметры - Композиция: можно разобрать сцену на части и менять части - Отделяет физическое состояние от внешнего вида — знает, что тяжёлый предмет не зависит от того, какого он цвета Гитхаб HF Демо #vlm #simulation #t2v #physics VK | MAX

FastGen-PDD: ускорение генерации для LTX-2.3 и Wan2.1-14B

Н@GreenNeuralRobotsAI-инженер
2 мес
FastGen-PDD Дистилляция диффузных моделей с параллельным декодированием. Ускоряет генерацию изображений и видео без сильной потери качества. Прикручено к LTX-2.3 и Wan2.1-14B Гитхаб Спасибо @m_franz #optimization #t2v

Это всё на сейчас.