← к умной ленте

Tencent выпустила Hy-Nomas — модель интерактивного видеомира

Tencent опубликовала Hy-Nomas — опенсорс-модель, которая генерирует интерактивный видеомир сегментами по несколько секунд. Мир можно начать с изображения и затем менять текстовыми командами и траекторией камеры; модель сохраняет память предыдущих сегментов, позволяя продолжать сцену.

Hy-Nomas выдаёт видео 720x1280 при 24 кадрах в секунду. Модель можно запустить на одной RTX 4090, а для работы в узких областях, например робототехнике, предусмотрена адаптация LoRAi.

720x1280 при 24 кадрах в секундуразрешение и частота видео
10 с в 832x480 за 34 секундырезультат теста порта
12 ГБвидеопамять для порта
  • На RTX 4090 используются INT8-веса, INT8 KV-кэшi и выгрузка на CPU; штатная конфигурация рассчитана на 8 GPU.
  • Для модели появился порт ComfyUIi: по данным источника 2, ему хватает 12 ГБ видеопамяти, а скорость почти не падает.
  • В тестах порта генерация 10 секунд видео в 832x480 заняла 34 секунды, а 20 секунд в 720p — около 3 минут.
  • Режим управления WASD обрабатывает примерно 4,3 секунды на секунду движения.
  • Для продолжения сцены промпт нужно писать в формате Tencent, иначе продолжение игнорируется.
  • В репозитории доступны код обучения, инференса и демо; лицензия — Apache-2.0. Бенчмарков самой модели пока нет, технический отчёт обещан позже.
Что дальше

Ожидаются технический отчёт и бенчмарки самой модели; также стоит следить за развитием порта ComfyUI.

Здесь появится ссылка, когда это произойдёт.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖