Tencent опубликовала Hy-Nomas — опенсорс-модель, которая генерирует интерактивный видеомир сегментами по несколько секунд. Мир можно начать с изображения и затем менять текстовыми командами и траекторией камеры; модель сохраняет память предыдущих сегментов, позволяя продолжать сцену.
Hy-Nomas выдаёт видео 720x1280 при 24 кадрах в секунду. Модель можно запустить на одной RTX 4090, а для работы в узких областях, например робототехнике, предусмотрена адаптация LoRAi.
720x1280 при 24 кадрах в секундуразрешение и частота видео
10 с в 832x480 за 34 секундырезультат теста порта
12 ГБвидеопамять для порта
- На RTX 4090 используются INT8-веса, INT8 KV-кэшi и выгрузка на CPU; штатная конфигурация рассчитана на 8 GPU.
- Для модели появился порт ComfyUIi: по данным источника 2, ему хватает 12 ГБ видеопамяти, а скорость почти не падает.
- В тестах порта генерация 10 секунд видео в 832x480 заняла 34 секунды, а 20 секунд в 720p — около 3 минут.
- Режим управления WASD обрабатывает примерно 4,3 секунды на секунду движения.
- Для продолжения сцены промпт нужно писать в формате Tencent, иначе продолжение игнорируется.
- В репозитории доступны код обучения, инференса и демо; лицензия — Apache-2.0. Бенчмарков самой модели пока нет, технический отчёт обещан позже.
Ожидаются технический отчёт и бенчмарки самой модели; также стоит следить за развитием порта ComfyUI.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖