Runway представил модель Ruby для конвертации SDR в HDR

Runway бахнул Ruby: еще один SDR в HDR Разбираемсо, сравниваем, ботанствуем. Ruby принимает уже существующее SDR-видео и расширяет его яркостный диапазон до HDR. Можно скормить как свой загруженный ролик, так и результат любой модели Runway. Ruby сохраняет исходные пиксели и аудио, ничего заново не рендерит, а расширяет яркость в HDR headroom с color-preserving обработкой. То есть это скорее очень умный нейросетевой inverse tone mapping, чем генеративная перерисовка видео. Через API принимаются SDR-ролики до 40 секунд и менее 4096 px по каждой стороне, хотя в первоначальном анонсе интерфейса Runway фигурировал лимит 30 секунд. 12 бит и 16 бит - тут есть важная тонкость. Фраза Runway "up to 16-bit HDR" звучит круто, но 16 бит относится прежде всего к EXR. Это OpenEXR с half-float: 16-битное floating-point значение на канал, а не обычные 65 536 равномерных целочисленных уровней. Float16 имеет огромный диапазон значений и отлично подходит для scene-linear света, композа и грейдинга. Но это не означает, что Ruby каким-то чудом превращает исходный 8-bit SDR в 16 бит реально измеренной камерой информации. Новая информация синтезирована моделью. Для готовых видеокодеков Runway заявляет 10- и 12-bit ProRes/HEVC. Причём есть небольшой нюанс документации: публичный анонс говорит о 10/12 bit ProRes и HEVC, тогда как текущая API-документация явно описывает стандартный HEVC HDR10 как 10-bit, а для профессионального ProRes предлагает 422, 422 HQ и 4444. Поэтому "12-bit" я бы пока воспринимал прежде всего как максимальную доступную глубину некоторых export-профилей, а не как обязательную характеристику EXR и остальные форматы. Самый RAW-профессиональный вариант Ruby - ZIP с последовательностью OpenEXR half-float кадров. Причём API уточняет интересную вещь: внутри это linear BT.2020 light, плюс sidecar-файлы с colorimetry/provenance и отдельный audio.wav, если в источнике был звук. Это вариант для Nuke, Fusion, Resolve и VFX-пайплайна, где ты потом сам решаешь, как делать mastering. Второй вариант - ProRes MOV, BT.2020 + PQ, с профилями 422, 422 HQ или 4444. Третий - HEVC HDR10, то есть 10-bit, BT.2020 + PQ, уже почти готовый delivery-файл для HDR-телевизора, YouTube и т.п. Есть также HLG, удобный прежде всего для broadcast. Вот это, на мой взгляд, одна из самых сильных сторон Ruby: он выдаёт не только "HDR EXR для технарей", но и сразу практические HDR master/delivery форматы. Первые отзывы. Появился и первый содержательный негативный тест: один пользователь пишет, что в полученном EXR всё ещё видит заметный banding, а в тенях и светах не появляется ожидаемого объёма информации - по его впечатлению это больше похоже на качественное расширение диапазона, чем на настоящую реконструкцию 16-bit материала. Это пока единичный отзыв, а не нормальный A/B тест. На Reddit ситуация ещё показательнее: обсуждение Ruby только начинается, люди в основном спрашивают, кто уже успел сравнить его с Topaz. Поэтому делать вывод «Ruby лучше/хуже» пока рано. @cgevent