Tencent выпустила Hy-Nomas — модель интерактивного видеомира для одной RTX 4090
M@ai_machinelearning_big_dataAI-инженер
4 днОпенсорсная Hy-Nomas генерирует интерактивный видеомир сегментами, поддерживает управление текстом и камерой и запускается на одной RTX 4090.
Модель позволяет экспериментировать с интерактивной генерацией видео на одной потребительской видеокарте.
- Сценой, стилем, действием и ракурсом можно управлять текстом и движением камеры.
- Hy-Nomas запускается на одной RTX 4090 в сжатой конфигурации, хотя стандартная рассчитана на восемь GPU.
- Код и веса доступны по лицензии Apache-2.0, но бенчмарков пока нет.
Tencent выложила Hy-Nomas: опенсорс-модель интерактивного видеомира, которая запускается на одной RTX 4090 🌍
Модель строит мир по сегментам видео, а вы управляете ею текстом и траекторией камеры: на каждом шаге можно сменить сцену, стиль, действие или ракурс, и память мира сохраняется между сегментами. Выход 720x1280 при 24 fps. Для узких областей вроде робототехники есть лёгкая адаптация через LoRA.
На одной RTX 4090 модель идёт с INT8-весами, INT8 KV-кэшем и выгрузкой на CPU, стандартная конфигурация рассчитана на восемь GPU. В репозитории код обучения, инференса и демо, лицензия Apache-2.0.
Бенчмарков для самой модели пока нет, технический отчёт обещают позже.
Источник: https://github.com/Tencent-Hunyuan/Hy-Nomas
Демо: https://hy-nomas.hy.tencent.com/demo
Веса: https://huggingface.co/tencent/Hy-Nomas
@ai_machinelearning_big_data
Кратко (AI)
Tencent выпустила опенсорсную Hy-Nomas — модель интерактивного видеомира, которым можно управлять текстом и траекторией камеры. Она генерирует видео сегментами с сохранением памяти мира, а для запуска на одной RTX 4090 используются INT8-веса, INT8 KV-кэш и выгрузка на CPU; бенчмарков пока нет.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖