Tencent обучает видеомодель предсказывать отдалённые фрагменты

Метод Looking Ahead учит авторегрессивные видеомодели предсказывать фрагменты через один, два и три шага, чтобы лучше усваивать динамику сцены.

Метод может помочь видеомоделям лучше понимать, как сцена развивается со временем.

Модель учится предсказывать отдалённые фрагменты, а не только продолжать соседние кадры.
Подход применён к Wan2.2-TI2V-5B.

Looking Ahead Метод обучения авторегрессивных видеомоделей от Tencent Заставляет их смотреть дальше текущего куска. Обычно модель дорисовывает кадр, опираясь на готовую историю, и выкручивается за счет похожести соседних кадров. Здесь добавлена задача предсказать куски через один, два и три шага вперед, не видя промежуточных Смысл в физике: когда рядом нет готового продолжения, приходится выучить, как сцена меняется, а не как она выглядит Прикручено к Wan2.2-TI2V-5B huggingface.co/TencentARC/Looking-Ahead github.com/TencentARC/Looking-Ahead #training MAX

Кратко (AI)

Tencent представила метод обучения авторегрессивных видеомоделей Looking Ahead. Он добавляет предсказание фрагментов через один, два и три шага без просмотра промежуточных, чтобы модель училась динамике сцены; метод применён к Wan2.2-TI2V-5B.

Tencent обучает видеомодель предсказывать отдалённые фрагменты

Кратко (AI)

Обсуждение