HiDream представили видеомодель HiDream-O1-Video-1.0
М@cgeventAI-инженер
1 месРазбор новой омнимодальной видеомодели HiDream-O1-Video-1.0: возможности, архитектура и доступность через API.
Появление новых моделей видеогенерации с упором на физическую точность меняет стандарты создания контента.
- Модель лучше сохраняет геометрию и персонажей в динамике.
- Поддержка мультимодального ввода (текст, фото, видео) расширяет возможности редактирования.
- Наличие API позволяет разработчикам интегрировать технологию в свои продукты до публичного релиза весов.
O1-Video-1.0: Вы будете смеяцца, но у нас новый видеогенератор.
HiDream бахнули HiDream-O1-Video-1.0 - новую нативно омнимодальную видеомодель. Модель принимает одновременно текст, изображения и видео и генерирует ролики 1080p длительностью от 5 до 20 секунд.
Спойлер: весов и кода пока нет. Но есть гипотеза, что будут, ибо их O1-Image опенсорснута: имеет официальные веса, Diffusers и поддержку ComfyUI.
Главный заявленный акцент не на качестве, а на temporal/physical consistency - сохранении объектов, персонажей, геометрии сцены и более правдоподобной физике во времени.
На видеоарене восьмое место. Пока.
Это продолжение архитектурной линии HiDream-O1. В O1-Image разные модальности кодируются в общем пространстве Pixel-level Unified Transformer без отдельного VAE и разрозненных энкодеров. Для O1-Video Хидрим теперь переносит идею unified multimodal generation на видео.
Пока нет нигде на попробовать.
Но я нашел API эндпойнт тут:
https://hiharness.ai/docs/hidream_o/video/introduction.html
Документация со всеми video_list, reference и editing:
https://hiharness.ai/docs/hidream_q/video/video_request.html
Причем на входе есть image_list, element_list, video_list, multi-shot и звук. И video_list принимает MP4/MOV и различает два типа видео: base - исходное видео для редактирования и feature - reference video, из которого модель берёт признаки/характеристики
Значат скоро появится на фалах.
@cgevent
Кратко (AI)
Компания HiDream анонсировала новую омнимодальную видеомодель HiDream-O1-Video-1.0, способную генерировать ролики на основе текста, изображений и видео. Основной упор сделан на временную и физическую согласованность объектов. На данный момент веса модели не опубликованы, но доступ к функционалу возможен через API.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖