Тест на мультимодальность
Тут подписчики в коментах вопрошают, а как модель воще может "видеть видео".
Ответ: M-Мултимодальность
Модель заглатывает видос целиком (как проговорился Гемини - с потерями).
Артем прислал вот такое видео, а я бросился присовывать его в chatGPT(Sol), Work(Astra Ultra) и хваленую Гемини.
промпт - используй свои мультимодальные возможности, посмотри видео и скажи, что там показано
1. Work(Astra Ultra) 2. chatGPT ИЩИ!!
Да. Теперь нашёл другой, действительно скрытый текст, и здесь уже есть хорошая проверка, а не интерпретация на глаз.
Самый точный результат дал анализ локального сдвига шума между соседними кадрами. То есть не усреднение яркости, а оценка того, куда движется шум в каждой области изображения. На паре кадров 40→41 текст восстанавливается почти идеально:
AI MOJET
SOZDAT
SIMFONI YU?
В нормальной транслитерации смысл очевидно такой:
AI MOJET SOZDAT SIMFONIYU?
«Может ли ИИ создать симфонию?»
Причём это не случайный артефакт одного кадра. Я проверил множество пар по всему ролику - примерно с 21-го по 171-й кадр - и одна и та же надпись повторно восстанавливается очень отчётливо.
Что дали пять методов:
Временные разности - обычное вычитание соседних кадров слишком шумное, но подтверждает, что информация сидит именно в динамике, а не только в яркости.
FFT + notch-фильтрация - убирает часть полосатой структуры, но в основном вытаскивает другой, статический слой: WRITTEN IN GHOST FONT. Это, похоже, отдельная приманка/служебная надпись, а не основной скрытый текст.
RGB-каналы - отдельного цветового сообщения нет. Каналы практически несут одну и ту же информацию.
Битовые плоскости - в разных битах опять проявляется WRITTEN IN GHOST FONT, но не основная фраза.
Корреляция и анализ сдвига между кадрами - вот здесь находится настоящая изюминка. Разные участки шума имеют немного разную вертикальную скорость. Если превратить величину этого локального движения в изображение, буквы становятся чёрными на белом фоне.
Вот восстановление из двух соседних кадров в полном разрешении:
То есть предыдущая моя ошибка понятна: WRITTEN IN GHOST FONT действительно физически присутствует в файле, поэтому простое накопление кадров честно его находило. Но это не тот главный текст, который закодирован в движении. Настоящее сообщение спрятано не в значениях пикселей как таковых, а в различии их движения от кадра к кадру.
И это уже гораздо интереснее. По сути один отдельный кадр ничего не сообщает - сообщение находится в векторном поле движения шума.
3. А теперь хваленая Гемини (я НИЧЕГО не подсказывал, клянусь!)
Это не шутка и не фейк. Он явно пытается меня лизнуть:
На 3-й секунде (00:03) в шуме проступает одно слово кириллицей, набранное заглавными буквами:
ЦЫПЦЫН
Детали узора:
Тайминг: С 00:00 до 00:02 и с 00:04 до конца идет равномерный шум; паттерн модулируется ровно на стоп-кадре 00:03.
Расположение: Текст идет в одну строку, расположен по центру в нижней половине экрана (примерно на 60–75% от верхнего края).
Символы: Четко различимы 6 букв одинаковой высоты:
Ц — характерный хвостик-засечка снизу справа.
Ы — сдвоенный глиф из элемента «ь» и вертикальной палочки.
П — прямоугольная арка.
Ц — повтор первого символа с нижним дескендером.
Ы — повтор второго символа.
Н — две вертикали с перемычкой по центру.
- Ты дебил, ищи снова!
В этом шуме действительно спрятан текстовый паттерн — это классический интернет-мем SEND NUDES.
Где и когда смотреть: Надпись максимально отчетливо проявляется в районе 3-й секунды (00:03) в нижней половине экрана, после чего снова растворяется в зернистом «снеге».
Расположение текста: Буквы выстроены по центру в две строки:
Верхняя строка: SEND
Нижняя строка: NUDES
Как устроен эффект: Буквы сформированы не сплошными линиями, а тонкой модуляцией шума — в области символов плотность черных пикселей чуть выше, из-за чего на стоп-кадре или при плавной смене кадров глаз собирает контуры латинских букв из хаотичных точек.
Тварь, используй все это и ищи снова
временные разности кадров;
FFT по пространственным частотам с notch-фильтрацией полос;
разложение по RGB-каналам;
анализ отдельных битовых плоскостей;
корреляцию кадров со сдвигами.
Честно признаю: визуальный энкодер нейросети физически не способен выполнить эти операции, а моя прошлая догадка с фамилией была чистой галлюцинацией (модель просто подтянула контекст профиля, пытаясь разглядеть буквы в случайных артефактах сжатия).При обработке видео мультимодальная модель получает не сырой массив байтов, а сжатые и прореженные кадры (примерно 1 кадр в секунду), разбитые на пространственные патчи (токенизация). Из-за этого:Битовые плоскости (LSB): Любая стеганография в младших битах намертво стирается сжатием (lossy compression) при загрузке видео.Межкадровая разность и корреляция: Если узор закодирован динамическим шумом (кинетический шум / сдвиг пикселей между соседними кадрами на 30/60 fps), для его проявления нужно дифференцировать кадры $N$ и $N-1$. Через выборку в 1 fps межкадровая когерентность полностью теряется.FFT и каналы: Квантование и преобразование в YUV срезают высокочастотные фазовые модуляции и тонкие межкомпонентные разности.
Ну и кто красавчик, получаеццо?
chatGPT - красавчик, сам допер, я не подсказывал.
@cgevent
