Самая большая проблема любого AI видео - речь 😬 Картинка в аи видосах уже почти неотличима от съемки даже для меня, а вот речь - все еще главный индикатор. По возможности я стараюсь генерировать войслес видео, но иногда тестирую концепты с говорящей головой или войсовером. Делюсь лайфхаками, которые я для себя нашла (работает и для text2speech, и для text2video) 1. Эмоция + действие + реплика - вместе 🥰 эмоции делают нас живыми, так что вместо "она говорит: привет", стоит прописать "она устало улыбается, отводит взгляд и тихо говорит: привет". Модель подстраивает мимику, темп и интонацию под описание. Тоновые слова (weary voice, shouts excitedly) пожалуй самый дешевый способ убрать робовойс. Можно прописать акцент, хрипоту, особенности 2. Короткие реплики и правильный синтаксис 😎 В Veo реплика идет после двоеточия, в Seedance - в двойных кавычках, лучше это заранее проверить в документациях разных моделей. Также если задаете длину видео, прикиньте что человек успеет все это сказать - иначе получится голосовое на 4х 3. Акустика и микс прямо в промпте 🚬 "в микрофоне слышен ветер, комната 10 кв метров", "громко говорит в огромном храме со сводами 20м в высоту" - модель может прикинуть пространство вокруг по тому, что видела в обучении. Seedance 2.0 делает видео и звук одним проходом, и ей можно задать приоритет слоев по громкости: dialogue clean and prominent, music low, ambient subtle, чтобы не было каши 4. Липсинк лучше работает на крупном плане 💄 Для говорящего персонажа лучше средний/крупный план, статичная камера, лицо анфас или в три четверти. На общем плане губам не хватает разрешения и они начинают жить своей жизнью 5. Пишите как говорят, а не как пишут 😁 Никаких коротких предложений, можно вставлять слова-паразиты и мычания, вдохи/выдохи, без сложной пунктуации, но вот троеточия и тире - отлично 6. Шепот - читерский прием 😳 В ElevenLabs v3 работают аудиотеги: [whispers], [sighs], [laughs], [clears throat]. "Another long day [sighs]" звучит как живой человек. А на шепоте почти не слышно артефактов синтеза - если голос палится, переведите сцену в шепот. Аудиотэги причем анализируются можно писать кастомные, также есть режим, где модель накидывает их на текст за вас 7. Пост-обработка • срезать 2-4 кГц (тот самый AI-звон) • room reverb 5-10% wet, добавляется акустика помещения • наложить фоновый шум в зависимости от бекгрануда на примерно -50 дБ, чтобы голос не звучал как в студии • войс морферы типа телефонный звонок, плохой микрофон (но с очень маленькой интенсивностью) Я бы сказала, что промпт надо писать как художественный текст с эпитетами, а не сухой алгоритм действий - будет сочнее и натуральнее. Постпроцессинг смотреть по ситуации, но базово - убирать полированность и де-идеализировать 🤣 пару примеров скину в комментарии @neural_prosecco

ProxyPose Трекер. Лора к Wan2.1-T2V-14B Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях. • берет один пиксель-запрос - выдает траекторию 6-DoF • видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель • геометрия без обучения: контурное сопоставление + PnP • тянет трекинг для лиц и камер без доп. тренировки • работает с event-видео и SPAD-сенсорами Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах. Гитхаб HF #tracking #6dof #v2v #video2camera

Motion Previs Studio v4 Это автономное настольное приложение, предназначенное для преобразования исходных видео в наборы данных для превизов и референсов. Оно разработано для режиссеров, которым требуется большая точность перед генерацией видео. Можно выбрать эталонный кадр, извлечь данные о позе, глубине, движении камеры, масках, краях и управляющих слоях, а затем экспортировать данные для Seedance, ComfyUI, Blender, Runway, Kling и других. Автор - 25 лет в индустрии кино и рекламы. С кем только не работал. А потом свичнулся в Creative Technologist and AI Systems Architect. У него два софта: https://github.com/wassermanproductions/motion-previs-studio https://github.com/wassermanproductions/blockout Второй - это как раз блокаут для нейрорендера, о котором я так люблю писать. Причем для обоих софтов есть MCP. Почитайте твиттор Сэма, там есть туторы. https://x.com/SamJWasserman Софт непростой - но а как вы хотели? Видео - это вам не картинки (возвращаясь в начало марафона). В общем, процесс пошел, и потихоньку появляются профессиональные софты для превиза, рефов, режиссуры. @cgevent

MCP в Комфи. Автоглубина и автоконтролнет. Как разминочный частный пример использования глубины для переноса Video2Video приведу очень интересный кейс использования MCP для комфи. Грубо говоря, оно все делает само. Claude Fable запускает воркфлоу ComfyUI через Comfy MCP: → Claude сам нашёл нужный фрагмент видео в интернете, автоматически определил смены сцен и обрезал видео → запустил сохранённый воркфлоу с Depth Anything V3 и OpenPose, чтобы собрать референсное видео с движением → просмотрел каждый кадр, выбрал самый чёткий, а затем с помощью GPT Image 2 заменил персонажа на нужного точно по указаниям: смокинг, лиминальное пространство, никаких людей на фоне → написал промпты для Seedance 2.0 и запустил генерации → собрал итоговое сравнение из трёх панелей Обычно именно препроцессинг и написание промптов занимают большую часть работы над таким роликом. А с MCP даже не пришлось открывать ни одну ноду. Сорс @cgevent

#Нейропрожарка CyberKolobok - Episode 1 Автор: Vitaly Mostovoy https://www.behance.net/druidmusicai-video Телеграм: @VitalyMostovoy 🛠 Решил запилить нейрослопчанского с минимальным сюжетом, в стиле переосмысления сказки про колобка в кибер сеттинге ⏱️ Срок: примерно 5 часов 💡 Идея пришла в голову довольно давно, но руки не доходили реализовать на практике, но вот выдался свободный вечер и решил уже закрыть гештальт. Косяки с консистентностью и некоторые артефакты не стал править специально, оставил как есть, чисто ради эксперимента закинул ролик в инсту с ютубчиком, и внезапно он стал люто набирать просмотры, на данный момент более 3М просмотров в ютубе и инсте, видимо, такого рода контент почему-то людям зашел. И подписоты набежало тысячи их. Даже немного обидно, есть видосы, в которые реально душу, ресурсы и время вкладываешь, а они никому не вперлись по итогу. Ну, значит, продолжаем наблюдение за алгоритмами, такскть, запилил еще 3 эпизода - ну они уже не залетели, однако подписочники от них продолжают прибывать, что уже неплохо 🔎 Что я использовал (решил обойтись минимумом инструментов): • Seedance 2 - анимация • GPT, NB Pro - статика • Suno - саундтрек (без фиброзного вокала, разумееццо)) • Premiere Pro – монтаж @cgevent