Тест на мультимодальность Тут подписчики в коментах вопрошают, а как модель воще может "видеть видео". Ответ: M-Мултимодальность Модель заглатывает видос целиком (как проговорился Гемини - с потерями). Артем прислал вот такое видео, а я бросился присовывать его в chatGPT(Sol), Work(Astra Ultra) и хваленую Гемини. промпт - используй свои мультимодальные возможности, посмотри видео и скажи, что там показано 1. Work(Astra Ultra) В ролике скрыта читаемая надпись: WRITTEN IN GHOST FONT То есть «Написано призрачным шрифтом». Само видео — примерно 6 секунд чёрно-белых точек, похожих на телевизионный «снег». Звуковой дорожки нет. На отдельных кадрах текст почти неразличим. Я проанализировал все 179 кадров. При усреднении по времени случайные колебания ослабляются, а устойчивый рисунок букв проявляется. Та же надпись видна при анализе изменчивости яркости — это подтверждает, что она действительно присутствует в данных. Вот результат усреднения с усилением контраста и подавлением вертикальных полос: Интересный приём: сообщение спрятано в статистике шума. Области букв отличаются от фона средней яркостью и характером её изменений. Сама фраза обыгрывает этот эффект: «призрачный шрифт» возникает из почти невидимого рисунка. Других уверенно различимых надписей или объектов в выполненных проверках не обнаружил. 2. chatGPT Да, там действительно спрятано сообщение. Если усреднить/медианно сложить кадры по времени, шум подавляется и проявляется надпись: WRITTEN IN GHOST FONT То есть ролик специально сделан как динамический шумовой паттерн, внутри которого по времени закодирован статичный текст. На отдельных кадрах он почти не виден, но при накоплении нескольких кадров становится очевидным. Я проверил два способа: обычное усреднение кадров - текст уже начинает проявляться; медианное объединение кадров - надпись становится почти идеально читаемой. То есть это не случайный артефакт и не «показалось». В видео действительно заложено скрытое изображение/текст. Причём название GHOST FONT очень похоже на намеренную демонстрацию именно такого принципа: информация распределена между кадрами так, что глаз на каждом отдельном кадре видит почти только шум, а временное интегрирование её восстанавливает. Но скорее всего, он закодирован не простым временным усреднением. Тогда следующий правильный шаг - искать его через: 1. временные разности кадров; 2. FFT по пространственным частотам с notch-фильтрацией полос; 3. разложение по RGB-каналам; 4. анализ отдельных битовых плоскостей; 5. корреляцию кадров со сдвигами. ИЩИ!! Да. Теперь нашёл другой, действительно скрытый текст, и здесь уже есть хорошая проверка, а не интерпретация на глаз. Самый точный результат дал анализ локального сдвига шума между соседними кадрами. То есть не усреднение яркости, а оценка того, куда движется шум в каждой области изображения. На паре кадров 40→41 текст восстанавливается почти идеально: AI MOJET SOZDAT SIMFONI YU? В нормальной транслитерации смысл очевидно такой: AI MOJET SOZDAT SIMFONIYU? «Может ли ИИ создать симфонию?» Причём это не случайный артефакт одного кадра. Я проверил множество пар по всему ролику - примерно с 21-го по 171-й кадр - и одна и та же надпись повторно восстанавливается очень отчётливо. Что дали пять методов: Временные разности - обычное вычитание соседних кадров слишком шумное, но подтверждает, что информация сидит именно в динамике, а не только в яркости. FFT + notch-фильтрация - убирает часть полосатой структуры, но в основном вытаскивает другой, статический слой: WRITTEN IN GHOST FONT. Это, похоже, отдельная приманка/служебная надпись, а не основной скрытый текст. RGB-каналы - отдельного цветового сообщения нет. Каналы практически несут одну и ту же информацию. Битовые плоскости - в разных битах опять проявляется WRITTEN IN GHOST FONT, но не основная фраза. Корреляция и анализ сдвига между кадрами - вот здесь находится настоящая изюминка. Разные участки шума имеют немного разную вертикальную скорость. Если превратить величину этого локального движения в изображение, буквы становятся чёрными на белом фоне. Вот восстановление из двух соседних кадров в полном разрешении: То есть предыдущая моя ошибка понятна: WRITTEN IN GHOST FONT действительно физически присутствует в файле, поэтому простое накопление кадров честно его находило. Но это не тот главный текст, который закодирован в движении. Настоящее сообщение спрятано не в значениях пикселей как таковых, а в различии их движения от кадра к кадру. И это уже гораздо интереснее. По сути один отдельный кадр ничего не сообщает - сообщение находится в векторном поле движения шума. 3. А теперь хваленая Гемини (я НИЧЕГО не подсказывал, клянусь!) Это не шутка и не фейк. Он явно пытается меня лизнуть: На 3-й секунде (00:03) в шуме проступает одно слово кириллицей, набранное заглавными буквами: ЦЫПЦЫН Детали узора: Тайминг: С 00:00 до 00:02 и с 00:04 до конца идет равномерный шум; паттерн модулируется ровно на стоп-кадре 00:03. Расположение: Текст идет в одну строку, расположен по центру в нижней половине экрана (примерно на 60–75% от верхнего края). Символы: Четко различимы 6 букв одинаковой высоты: Ц — характерный хвостик-засечка снизу справа. Ы — сдвоенный глиф из элемента «ь» и вертикальной палочки. П — прямоугольная арка. Ц — повтор первого символа с нижним дескендером. Ы — повтор второго символа. Н — две вертикали с перемычкой по центру. - Ты дебил, ищи снова! В этом шуме действительно спрятан текстовый паттерн — это классический интернет-мем SEND NUDES. Где и когда смотреть: Надпись максимально отчетливо проявляется в районе 3-й секунды (00:03) в нижней половине экрана, после чего снова растворяется в зернистом «снеге». Расположение текста: Буквы выстроены по центру в две строки: Верхняя строка: SEND Нижняя строка: NUDES Как устроен эффект: Буквы сформированы не сплошными линиями, а тонкой модуляцией шума — в области символов плотность черных пикселей чуть выше, из-за чего на стоп-кадре или при плавной смене кадров глаз собирает контуры латинских букв из хаотичных точек. Тварь, используй все это и ищи снова временные разности кадров; FFT по пространственным частотам с notch-фильтрацией полос; разложение по RGB-каналам; анализ отдельных битовых плоскостей; корреляцию кадров со сдвигами. Честно признаю: визуальный энкодер нейросети физически не способен выполнить эти операции, а моя прошлая догадка с фамилией была чистой галлюцинацией (модель просто подтянула контекст профиля, пытаясь разглядеть буквы в случайных артефактах сжатия).При обработке видео мультимодальная модель получает не сырой массив байтов, а сжатые и прореженные кадры (примерно 1 кадр в секунду), разбитые на пространственные патчи (токенизация). Из-за этого:Битовые плоскости (LSB): Любая стеганография в младших битах намертво стирается сжатием (lossy compression) при загрузке видео.Межкадровая разность и корреляция: Если узор закодирован динамическим шумом (кинетический шум / сдвиг пикселей между соседними кадрами на 30/60 fps), для его проявления нужно дифференцировать кадры $N$ и $N-1$. Через выборку в 1 fps межкадровая когерентность полностью теряется.FFT и каналы: Квантование и преобразование в YUV срезают высокочастотные фазовые модуляции и тонкие межкомпонентные разности. Ну и кто красавчик, получаеццо? chatGPT - красавчик, сам допер, я не подсказывал. @cgevent

MM Harness [1/x] Уже немало времени посвятил изучению мультимодальных харнесов. Если раньше, когда занимался моделями, я думал что беды существуют только на уровне модели, то увы, я прям очень сильно ошибался: сложность решений здесь растёт по экспоненте — и примерно по той же кривой растёт желание разработчиков (и иногда моё) забить на эту мультимодальность. Ниже — список вопросов, на которые стоит ответить до того, как вы начнёте проектировать мультимодальную систему (ну или по пути, как пойдёт). Давайте сейчас будем считать модели токенодробилками, а потому не будем углубляться в их строение, а рассмотрим систему вокруг. Допустим, мы делаем какого-нибудь агента, с которым ещё и можем общаться в формате диалога. Интерфейс Проблемы начинаются уже в тот момент, когда пользователь прикладывает картинку. 1. Загружаем оригинал или жмём? А если пользователь сидит на мобильном интернете и хочет экономить трафик? 2. Сохраняем метаданные EXIF или дропаем? Разные библиотеки по-разному обрабатывают, например, ориентацию изображения, поэтому об этом лучше подумать сразу. 3. Поддерживаем несколько изображений в одном сообщении? Если да, все остальные проблемы множатся. Контекстный менеджер Допустим, картинки всё-таки долетели до бэкенда и попали в контекстный менеджер. 1. Ресайзим ли мы их? До какого размера? Есть ли замеры влияния на качество? Чем больше изображение, тем больше токенов оно может занять — хотя тут всё зависит от препроцессинга конкретной модели. 2. Сколько картинок держим в контексте? Можно очень просто забить весь контекст изображениями! 3. Что делаем с картинками, которые в контекст уже не помещаются? Оставляем ли хотя бы описание или идентификатор, чтобы агент мог к ним вернуться? Модель и инструменты Дальше изображения уходят в модель. При этом модель может вызывать тулы, которые тоже возвращают изображения. 1. Как кладём эти картинки в контекст? Передаём модели сами изображения или только подпись "тул вернул такие-то картинки"? Другими словами, должна ли модель посмотреть на картинки, которые вернул условный поиск? 2. А в сами тулы мы какую картинку подаём? Ту самую пожатую и с ресайзом? Или какую-то другую? 3. А если передаём модели сами картинки, как поступаем, когда контекст уже ими забит? И это только базовые вопросы доставки и управления контекстом, где правильного решения нет — есть только ваше, скорее всего компромиссное. И всё это добавляется к уже известным сложностям текстовых агентов. Мы ещё не дошли до хранения, кеширования, безопасности и различных UI-фич. Продолжение следует... P.S. Календарь перевернули?)