← к ленте

HiDream представили видеомодель HiDream-O1-Video-1.0

М@cgeventAI-инженер
1 мес

Разбор новой омнимодальной видеомодели HiDream-O1-Video-1.0: возможности, архитектура и доступность через API.

Появление новых моделей видеогенерации с упором на физическую точность меняет стандарты создания контента.

  • Модель лучше сохраняет геометрию и персонажей в динамике.
  • Поддержка мультимодального ввода (текст, фото, видео) расширяет возможности редактирования.
  • Наличие API позволяет разработчикам интегрировать технологию в свои продукты до публичного релиза весов.
O1-Video-1.0: Вы будете смеяцца, но у нас новый видеогенератор. HiDream бахнули HiDream-O1-Video-1.0 - новую нативно омнимодальную видеомодель. Модель принимает одновременно текст, изображения и видео и генерирует ролики 1080p длительностью от 5 до 20 секунд. Спойлер: весов и кода пока нет. Но есть гипотеза, что будут, ибо их O1-Image опенсорснута: имеет официальные веса, Diffusers и поддержку ComfyUI. Главный заявленный акцент не на качестве, а на temporal/physical consistency - сохранении объектов, персонажей, геометрии сцены и более правдоподобной физике во времени. На видеоарене восьмое место. Пока. Это продолжение архитектурной линии HiDream-O1. В O1-Image разные модальности кодируются в общем пространстве Pixel-level Unified Transformer без отдельного VAE и разрозненных энкодеров. Для O1-Video Хидрим теперь переносит идею unified multimodal generation на видео. Пока нет нигде на попробовать. Но я нашел API эндпойнт тут: https://hiharness.ai/docs/hidream_o/video/introduction.html Документация со всеми video_list, reference и editing: https://hiharness.ai/docs/hidream_q/video/video_request.html Причем на входе есть image_list, element_list, video_list, multi-shot и звук. И video_list принимает MP4/MOV и различает два типа видео: base - исходное видео для редактирования и feature - reference video, из которого модель берёт признаки/характеристики Значат скоро появится на фалах. @cgevent

Кратко (AI)

Компания HiDream анонсировала новую омнимодальную видеомодель HiDream-O1-Video-1.0, способную генерировать ролики на основе текста, изображений и видео. Основной упор сделан на временную и физическую согласованность объектов. На данный момент веса модели не опубликованы, но доступ к функционалу возможен через API.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖