Runway бахнул Ruby: еще один SDR в HDR Разбираемсо, сравниваем, ботанствуем. Ruby принимает уже существующее SDR-видео и расширяет его яркостный диапазон до HDR. Можно скормить как свой загруженный ролик, так и результат любой модели Runway. Ruby сохраняет исходные пиксели и аудио, ничего заново не рендерит, а расширяет яркость в HDR headroom с color-preserving обработкой. То есть это скорее очень умный нейросетевой inverse tone mapping, чем генеративная перерисовка видео. Через API принимаются SDR-ролики до 40 секунд и менее 4096 px по каждой стороне, хотя в первоначальном анонсе интерфейса Runway фигурировал лимит 30 секунд. 12 бит и 16 бит - тут есть важная тонкость. Фраза Runway "up to 16-bit HDR" звучит круто, но 16 бит относится прежде всего к EXR. Это OpenEXR с half-float: 16-битное floating-point значение на канал, а не обычные 65 536 равномерных целочисленных уровней. Float16 имеет огромный диапазон значений и отлично подходит для scene-linear света, композа и грейдинга. Но это не означает, что Ruby каким-то чудом превращает исходный 8-bit SDR в 16 бит реально измеренной камерой информации. Новая информация синтезирована моделью. Для готовых видеокодеков Runway заявляет 10- и 12-bit ProRes/HEVC. Причём есть небольшой нюанс документации: публичный анонс говорит о 10/12 bit ProRes и HEVC, тогда как текущая API-документация явно описывает стандартный HEVC HDR10 как 10-bit, а для профессионального ProRes предлагает 422, 422 HQ и 4444. Поэтому "12-bit" я бы пока воспринимал прежде всего как максимальную доступную глубину некоторых export-профилей, а не как обязательную характеристику EXR и остальные форматы. Самый RAW-профессиональный вариант Ruby - ZIP с последовательностью OpenEXR half-float кадров. Причём API уточняет интересную вещь: внутри это linear BT.2020 light, плюс sidecar-файлы с colorimetry/provenance и отдельный audio.wav, если в источнике был звук. Это вариант для Nuke, Fusion, Resolve и VFX-пайплайна, где ты потом сам решаешь, как делать mastering. Второй вариант - ProRes MOV, BT.2020 + PQ, с профилями 422, 422 HQ или 4444. Третий - HEVC HDR10, то есть 10-bit, BT.2020 + PQ, уже почти готовый delivery-файл для HDR-телевизора, YouTube и т.п. Есть также HLG, удобный прежде всего для broadcast. Вот это, на мой взгляд, одна из самых сильных сторон Ruby: он выдаёт не только "HDR EXR для технарей", но и сразу практические HDR master/delivery форматы. Первые отзывы. Появился и первый содержательный негативный тест: один пользователь пишет, что в полученном EXR всё ещё видит заметный banding, а в тенях и светах не появляется ожидаемого объёма информации - по его впечатлению это больше похоже на качественное расширение диапазона, чем на настоящую реконструкцию 16-bit материала. Это пока единичный отзыв, а не нормальный A/B тест. На Reddit ситуация ещё показательнее: обсуждение Ruby только начинается, люди в основном спрашивают, кто уже успел сравнить его с Topaz. Поэтому делать вывод «Ruby лучше/хуже» пока рано. @cgevent

Китайский креатор превратил Red Alert 2 в тот самый кинематографичный военный эпос, который я всегда представлял себе в детстве... и получилось довольно реалистично Каждый, кто вырос на Red Alert 2, представлял себе игру именно такой, и китайский автор воплотил это в реальность. Юниты из игры, показанные как настоящий военный фильм. Таня, в одиночку расправляющаяся с солдатами. Дирижабли «Киров», нависающие над полем боя. Призматические танки, танки «Апокалипсис» — весь арсенал, взятый прямиком из RTS 2000 года и перенесённый в кинематографичный live-action. Больше всего меня поражает то, насколько всё это достоверно. Это не просто «вдохновлено» игрой. Это те самые юниты, та самая атмосфера, воплощённые именно так, как наш мозг всегда «дорисовывал» их, пока мы играли. 25-летняя стратегия наконец-то получила экранизацию, созданную одним человеком с помощью ИИ, а не целой студией. #интересное

MaskVidExperiments Кастом пак #ComfyUI по работе с масками в видео. Обработка замаскированного объекта внутри движущегося кропа, с последующей вставкой обратно в кадр без дерганья и видимых швов - Subject Crop: стабильный кроп вокруг объекта по всему клипу — не дёргается от шума маски, окклюзий и кратких уходов, следует только за устойчивым движением - Subject Uncrop: пиксельно точная вставка результата обратно с мягкой кромкой - Mask Cleanup: чистит мусор и мерцающие пятна из видеомаски, сохраняя настоящий объект - Mask To Latent Space: честно приводит маску к латентному разрешению через VAE - без размазывания трилинейным resize, чистая инпейнт-область (пример: машина → овчарка в LTX) - Audio Mask To Latent: регенерация выбранных временных отрезков в аудио-латент (для MiniMax H3, LTX-2) - Differential Diffusion (Soft): мягкие кромки в масках денойза на каждом шаге, стабильно по времени Спасибо @m_franz #segmentation

#Нейропрожарка Музыкальное видео-эксперимент на тему: А что, если бы современные брейкеры и диджей(ка) оказались в средневековом сеттинге? Автор: Виталий Мостовой Заняло пару выходных и еще один день. Идею вынашивал до этого пару месяцев. В итоге решил затестить, как Сиденс справляется со сложными танцами, и несколькими людьми в кадре. Благо, есть тариф с анлимом на Сиданс в Ранвее, иначе на кредиты пришлось бы оформлять микрокредит) Статировал в ГПТ, анимировал в Сидансе, монтировал в Премьере, саундтречил в Суно. Возни было много, только на монтаж день ушел, уже под конец начало накрывать, но отступать было некуда. Хотелось не делать серьезный видос, и чтобы немного настроение поднимал, ну вот получилось, что получилось) @cgevent

Hyperion 2.5: Довольно огненная модель от Топазянского. TLDR: это немного больше, чем просто «Topaz научился сохранять в 10-bit». Topaz выпустил Hyperion 2.5 - модель SDR→HDR, специально заточенную в том числе под 8-битное AI-видео. Она принимает обычный SDR/GenAI ролик и не просто перекладывает его в 10-битный контейнер, а пытается реконструировать дополнительный диапазон яркости и цвета, после чего может вывести результат в(!): ProRes 10-bit, H.265 10-bit или 16-bit half-float EXR. Все эти ваши\наши видеогенераторы отдают сильно пережатый 8-bit материал. Если потом начать агрессивно красить его, например, в Resolve, вытягивать свет, делать маски, композ или HDR-master, быстро вылезают бендинг и ступеньки в градиентах и разваливающиеся цвета. Hyperion пытается восстановить недостающую информацию *до* грейда, чтобы материал вел себя ближе к нормальному high-bit-depth-исходнику. Topaz уже показывает production-кейс студии Primordial Soup Даррена Аронофски: они прогоняли GenAI через Hyperion 2.5 в 10-bit ProRes именно перед тяжелым цветокором, а в другом шоте использовали его для подавления заметного бендинга. Но важная оговорка: Hyperion не может физически вернуть цвета, которые генератор никогда не в жизни не видел. Это AI-реконструкция/предсказание дополнительной информации. То есть это скорее «умный HDR remaster», чем магическое превращение 8-bit в настоящий camera RAW. Галлюцинация в более пригодный для поста dynamic range. Из любопытного: с новым 16-bit EXR пока есть вопросы к color management. Юзеры уже обнаружили несоответствие между заявленным ACES2065-1 и метаданными Linear Rec.2020, плюс жалуются на пересвеченный результат во Fusion. Но процесс адаптации убогого генератива для лухари-поста уже пошел, это очень круто. Ждем нативные 4К во всех генераторах и ну композить. Hyperion 2.5 доступен в актуальном Topaz Video, не в старом прекращенном Topaz Video AI. Работать можно локально или через облачный рендер. Сейчас отдельный план Topaz Video указан как $19/месяц по акции вместо $39, в него входит 400 cloud credits, дополнительные кредиты стоят $0.10 за штуку. Есть и Topaz Studio за $34/месяц при оплате $399 за год, куда также входит Video и ежемесячные кредиты. https://developer.topazlabs.com/video-models/video-utilities/hyperion-2.5-sdr-to-hdr-new https://www.topazlabs.com/news/primordial-soup-uses-topaz-hyperion-2-5-to-bring-8-bit-genai-into-10-bit-pro-video-finishing-workflows Видос полезный, кстати, там Сиденский, Астра и прочие инструменты. @cgevent