Speculative Sampling ускоряет интерактивные видеомодели без обучения
Н@GreenNeuralRobotsAI-инженер
вчераTencent обучает видеомодель предсказывать отдалённые фрагменты
Н@GreenNeuralRobotsAI-инженер
5 днLooking Ahead
Метод обучения авторегрессивных видеомоделей от Tencent
Заставляет их смотреть дальше текущего куска. Обычно модель дорисовывает кадр, опираясь на готовую историю, и выкручивается за счет похожести соседних кадров. Здесь добавлена задача предсказать куски через один, два и три шага вперед, не видя промежуточных
Смысл в физике: когда рядом нет готового продолжения, приходится выучить, как сцена меняется, а не как она выглядит
Прикручено к Wan2.2-TI2V-5B
huggingface.co/TencentARC/Looking-Ahead
github.com/TencentARC/Looking-Ahead
#training
MAX
System One: семейство видеомоделей от NJU и JD.com
Н@GreenNeuralRobotsAI-инженер
1 недVideoJev
Адаптировали #rlcd #decision для понимания видео
Семейство открытых «System One» видеомоделей от NJU и JD.com. Объединяют временную локализацию и видео-QA через общий интерфейс оценки кандидатов — без авторегрессивного декодирования.
Видео-QA до 100-129× быстрее Thinking-режима
На QA качество сравнимо с бэкбонами в Thinking-режиме, но в разы быстрее. Точность высокая, но уверенность модели переоценена — calibration error ~8 пунктов
Гитхаб
HF
#vlm
MAX
Black Forest Labs выпустила FLUX 3 Action — модель для управления роботами
Black Forest Labs (BFL) представила FLUX 3 Action — мировую модель действий с открытыми весами на 7B параметров, дообученную на основе видеомодели FLUX 3. Модель принимает кадры с камеры робота, текущее состояние робота (положения суставов) и текстовую инструкцию, а возвращает следующую порцию действий вместе с денойзенными будущими кадрами видео — предсказание действий и видеокадров происходит в одном проходе.
Это не готовая robot-policy, а компонент адаптации: для новой морфологии робота требуется собственный action headi, а приложение само задаёт ограничения по скорости, силе и рабочей зоне. Уже есть готовые политики для роботов SO-101 и DROID.
7Bпараметров модели
42.9%успешных попыток на RoboLab-120
36.8%результат конкурента Cosmos 3 Nano (16B)
SolarWM: открытый фреймворк для обучения интерактивных видеомоделей мира
Н@GreenNeuralRobotsAI-инженер
1 месSolarWM
Открытый фреймворк для обучения интерактивных видеомоделей мира
- Обучение на 5-сек клипах, но модель держит длинные роллауты
- Единый фреймворк на 4 бэкбонах: Wan 5B, Wan 14B, LTX-2.5, MiniMax-H3 — выбирай архитектуру
- Полностью открытый датасет: 1.43M клипов, 25 ТБ, с калибровкой камеры и фильтрацией
- Открытый стек: данные, код обучения, веса, препроцессинг
Гитхаб
HF
#world #training #dataset #intereactive
VK | MAX
Self Gradient Forcing: стратегия обучения видеомоделей
Н@GreenNeuralRobotsAI-инженер
3 месSelf Gradient Forcing
Двухпроходная стратегия обучения для видеомоделей. Работает с градиентами, чтобы точнее попадать в нужные детали.
Сравнение с Self-Forcing и другими методами см на сайте
Гитхаб
HF
#optimization
Это всё на сейчас.