"Отстойный промпт" © Нравится, как Gemini 3.8 Flash решает задачи в video-to-text. Посмотрел на неделе фильм "Удачи, веселья, не сдохни". Отдыхаю от взаимодействия с AI за просмотром фильма про взаимодействие с AI. Понравился эпизод, который, как мне кажется, наглядно показывает проблемы контекст-менеджмента. Чтобы его вытащить отдельным видео, нужно найти несколько конкретных отрывков в 2-часовом материале, правильно обозначить таймкоды, вырезать отрывки и сделать кадрирование. Как выглядит пайплайн, чтобы не делать это руками: 1. Ужать до 720p видеоряд и оставить только целевую аудиодорожку. 2. Через свой проект Video Analyzer с подключённым Gemini 3.8 Flash закинул промпт, прогнал через улучшайзер и проанализировал видеоряд. 3. Текст, который получил от Gemini, передал в Codex с GPT-6 Sol. Он вырезал конкретные куски, соединил их и сделал кадрирование под 9:16. 4. Потом загнал в свою AI-монтажку и через модуль генерации субтитров (работает на базе on-prem Whisper) добавил субтитры. 5. Короткое видео от человека, который не разбирается в формате reels/shorts, готово. Для коротких исходных материалов, вместо Gemini, можно использовать Codex/Claude Code. Но в ситуации, когда у вас длинное видео или сложные связи между визуальным рядом и звуком, лучше использовать модель, нативно работающую с видео на вход. Сейчас лучше всего с задачей справляется Gemini 3.8 Flash.

ComfyMax MusicLab подготовка аудио для музыкальных видео в ComfyUI Локальный воркспейс анализа песен и нарезки сцен для музыкальных видео воркфлоу • редактирование маркеров на волновой форме - границы сцен • разделение вокала через Demucs, классификация вокальных и инструментальных отрезков • анализ музыки: ритм, аккорды, таймшты • транскрипция слов через Whisper, редактируемые текст • экспорт сцен для видео-генерации • опционально SheetSage2 - нотная транскрипция ABC и экспорт MIDI Пайплайн: загрузка трека, локальная сепарация, правка маркеров, создание сцен, экспорт. Отдельное окружение Python 3.11, ComfyUI не трогает. SheetSage2 ставится отдельно (10 ГБ, лицензия только для некоммерческого использования) #music2video #song2video MAX

Или вот, пример, взял видео которое я уже постил в канал (https://t.me/denissexy/6193), с интерактивным механическим экраном из Амстердама, конвертировал в текст и попросил сделать мне интерактивный веб-механизм который покажет как экран устроен То есть я взял видео, прогнал через Whisper, получил голландский текст, и в итоге она собрала мне этот же механизм – за 15 минут в Codex Я не знаю что будет дальше, но это уже больше чем мне нужно для любого проекта в любом виде И так в любой задаче: – она может и потренировать модели сама – и уйти использовать компьютер на ночь ковыряя там какие-то вещи решая задачу через Computer Use – и разобраться в монорепе легаси без дополнительных каких-то спек Мне кажется, разработка софта постепенно умирает – теперь и уже какое-то вопрос, не вопрос как получить софт, а за что именно платит пользователь и где пользователь увидел рекламу этого софта С каждым релизом все больше в этом убеждаюсь – наверное, начало сингулярности выглядит как-то так иначе как оно еще моглы бы выглядеть

Если вы как-то ориентируетесь на разработку TTS решений, то обратите внимание на интересный тест точности нового Apple API SpeechAnalyzer (iOS/macOS 26) с моделями Whisper. На корпусе LibriSpeech в тесте встроенный движок Apple показал 2,12% ошибок на чистой речи против 3,74% у Whisper Small, работая примерно втрое быстрее. Устаревший SFSpeechRecognizer занял последнее место с 9,02%, уступив даже Whisper Tiny размером 40 МБ. Учитывайте, конечно, что тест шел на английском, да и количество языков в движке Apple заметно меньше — 30 против 100+ у Whisper. Кстати, сегодня стали доступны публичные беты новых операционных систем, а могу сказать, что на iOS распознавание очень даже неплохое. https://get-inscribe.com/blog/apple-speech-api-benchmark.html