Исследователи AMAP-ML (Alibaba) выпустили DreamX-Creator — фреймворк, который по первому кадру и текстовому промпту нативно генерирует видео вместе с речью, музыкой и звуковыми эффектами, синхронизируя аудио и видео в обе стороны. Модель занимает всего 7B параметров, но по качеству A/V-синхронизации в тестах авторов обходит куда более крупные LTX-2.3 (22B) и MiniMax H3 (33B).

Главная приманка — обещанные открытые веса и инференс-код: для модели такого размера это открывает дорогу к квантованным версиям, LoRA и запуску через ComfyUI на обычном железе, а не только в дорогих облаках.

• Отдельный 1-step refineri доводит итоговое видео до 2K разрешения, сохраняя при этом движение и тайминг звука
• По качеству картинки DreamX-Creator уступает конкурентам — авторы честно признают этот минус
• Технически модель использует Gated Cross-Modal Attentioni: видеопоток и аудиопоток обмениваются информацией в обе стороны
• Разработка продолжает идеи Wan Team и OpenMOSS (в частности, проекта MOVA)
• Пока фреймворк исследовательский и не готов для продакшена: веса, инференс-код и инструменты оценки авторы обещают выложить позже
• Публикации: код на GitHub (AMAP-ML/DreamX-Creator) и статья на arXiv (2608.31106)