← к ленте

HiDream представили видеомодель HiDream-O1-Video-1.0

М@cgeventAI-инженер
1 мес

HiDream анонсировали омнимодальную видеомодель HiDream-O1-Video-1.0 с фокусом на физической консистентности, доступную через API.

Появление новых моделей видеогенерации с улучшенной физикой объектов меняет стандарты качества для создания контента.

  • Улучшенная временная консистентность позволяет сохранять стабильность персонажей и объектов в видео.
  • Мультимодальный подход упрощает редактирование видео на основе референсов и текстовых описаний.
  • Доступ к API позволяет разработчикам интегрировать возможности генерации в сторонние сервисы до выхода открытых весов.
O1-Video-1.0: Вы будете смеяцца, но у нас новый видеогенератор. HiDream бахнули HiDream-O1-Video-1.0 - новую нативно омнимодальную видеомодель. Модель принимает одновременно текст, изображения и видео и генерирует ролики 1080p длительностью от 5 до 20 секунд. Спойлер: весов и кода пока нет. Но есть гипотеза, что будут, ибо их O1-Image опенсорснута: имеет официальные веса, Diffusers и поддержку ComfyUI. Главный заявленный акцент не а качестве, а на temporal/physical consistency - сохранении объектов, персонажей, геометрии сцены и более правдоподобной физике во времени. На видеоарене восьмое место. Пока. Это продолжение архитектурной линии HiDream-O1. В O1-Image разные модальности кодируются в общем пространстве Pixel-level Unified Transformer без отдельного VAE и разрозненных энкодеров. Для O1-Video Хидрим теперь переносит идею unified multimodal generation на видео. Пока нет нигде на попробовать. Но я нашел API эндпойнт тут: https://hiharness.ai/docs/hidream_o/video/introduction.html Документация со всеми video_list, reference и editing: https://hiharness.ai/docs/hidream_q/video/video_request.html Причем на входе есть image_list, element_list, video_list, multi-shot и звук. И video_list принимает MP4/MOV и различает два типа видео: base - исходное видео для редактирования и feature - reference video, из которого модель берёт признаки/характеристики Значат скоро появится на фалах. @cgevent

Кратко (AI)

Компания HiDream представила новую омнимодальную видеомодель HiDream-O1-Video-1.0, способную обрабатывать текст, изображения и видео. Основной упор сделан на временную и физическую консистентность объектов. На данный момент модель доступна через API, открытые веса пока не опубликованы.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖