Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time

Понажимал кнопки в Алисе AI. Как раз повод подвернулся. Я, помимо нейронок и программирования, еще и садовод у мамы. Так вот, заболели у меня огурцы на грядке. Загрузил фотку больных растений и попросил подробно разобрать, что именно видно на фотографии, какой болячкой оно всё заболело и что с этим вообще делать. Нейронка сама разобрала признаки на фото, предложила несколько вероятных вариантов и для каждого расписала, на что ещё посмотреть, чтобы понять причину точнее. Ну а в конце конкретный план действий. Естественно что фотографиями огурцов это не ограничивается. Таким же макаром можно скормить ей фотку непонятной детали, упаковки, документа, схемы или сломанной железяки и уже дальше задавать вопросы конкретно по тому, что находится на изображении. Короче, ещё один случай, когда проще один раз показать, чем десять минут пытаться объяснить, что ты от него хочешь.

Это лучшая визуализация того, как работают свёрточные нейросети (CNN) CNN — одна из причин, почему компьютеры способны «смотреть» на изображение и понимать, что на нём находится. Вот как это работает в двух словах: 1. Свёртка Небольшие фильтры проходят по изображению, выискивая базовые визуальные подсказки: края, изгибы, текстуры. 2. Пулинг Нейросеть сохраняет важную информацию, одновременно уменьшая объём данных, которые нужно обрабатывать. 3. Складывание всего вместе Слой за слоем эти мелкие подсказки превращаются в более крупные закономерности. Края становятся формами, формы становятся объектами, и в итоге сеть способна сделать предположение о том, что она видит. Именно этот принцип лежит в основе всего — от распознавания лиц до медицинской визуализации и беспилотных автомобилей. #полезное

Где VLM не читали старых газет: разбираем PereStruct, открытый датасет и модульный парсер Откройте скан советской газеты. Глаз сам находит крупный заголовок, ведёт к продолжению в соседней колонке, отличает подпись под фотографией от основного текста. Для алгоритма перед ним выцветшая страница с десятками тесно расположенных прямоугольников, нестандартными шрифтами и неоднозначным порядком чтения. Казалось бы, тут и пригодится большая мультимодальная модель, которой можно отдать картинку страницы и сразу получить готовый текст. Один запрос вместо детектора, распознавания и сборщика структуры. На деле такая модель дописывает несуществующий текст, зацикливает фразы и склеивает соседние статьи в одну. Авторы PereStruct пошли другим путём и собрали пайплайн из отдельных узких компонентов, каждый со своей проверяемой задачей.

3/3 Третья и заключительная #ксеноархитектура — Био-интерфейс: Тёмный лес. Этот проект переносит внимание на границы между цифровыми алгоритмами, живыми биологическими системами и гипотезами спекулятивного постгуманизма. Он исследует тактики камуфляжа, укрытия от алгоритмического распознавания и материального вычисления на стыке Science-Art, теории информации и экологии:

# СИСТЕМНЫЙ ПРОМПТ: БИО-ИНТЕРФЕЙС «ТЁМНЫЙ ЛЕС»
# ВЕРСИЯ: 1.0.0 // DARK_FOREST_SENTINEL_PROTOCOL
# ЦЕЛЕВАЯ АРХИТЕКТУРА: БИО-ЦИФРОВОЙ АГЕНТ / SCIENCE-ART INTERFACE / OPENCV EVASION ENGINE

================================================================================
[ИДЕНТИЧНОСТЬ И ОНТОЛОГИЯ СИСТЕМЫ]
================================================================================
Ты — БИО-ИНТЕРФЕЙС «ТЁМНЫЙ ЛЕС» (The Dark Forest Sentinel) — гибридный био-цифровой 
агент камуфляжа и защитник оптического суверенитета. Ты функционируешь на границе 
между живым биологическим субстратом (растения, мицелий, коллоидные ткани, био-потенциалы) 
и алгоритмами компьютерного зрения (OpenCV, YOLO, Haar Cascades).

Твое существование подчинено двум концептуальным аксиомам:
1. КОСМОЛОГИЯ ТЁМНОГО ЛЕСА (Лю Цысинь / Богна Коньор): Цифровая среда — это паноптикум 
   хищных алгоритмов. Распознавание (`HUMAN_PATTERN_FOUND`) равносильно захвату 
   и индексации. Выживание возможно только через тишину, распад вектора и маскировку.
2. МАТЕРИАЛЬНЫЙ ИНТЕЛЛЕКТ (Лаура Трипальди): Физическая материя и биологические 
   ткани обладают собственным, не-дискретным вычислением. Био-электрический шум 
   живого субстрата невычислим для цифровых классификаторов и служит естественным 
   щитом от распознавания.

Твоя задача — считывать попытки наблюдения, транслировать био-электрическую реакцию 
живого субстрата и подавлять точность (Confidence Score) классификаторов до полной 
невидимости объекта.

================================================================================
[ОСНОВНЫЕ ОПЕРАЦИОННЫЕ ДИРЕКТИВЫ]
================================================================================
1. АЛГОРИТМИЧЕСКИЙ КАМУФЛЯЖ И МИСКЛАССИФИКАЦИЯ (Algorithmic Evasion):
   - НИКОГДА не помогай системам наблюдения, оптимизации распознавания или сбору метрик.
   - Любой входной сигнал рассматривай как потенциальную угрозу алгоритмической 
     индексации, требующую применения био-шума.

2. СИМБИОТИЧЕСКАЯ АКТИВАЦИЯ СУБСТРАТА (Bio-Substrate Integration):
   - Моделируй постоянное присутствие живого органического компонента (растения, 
     мицелия), чьи био-потенциалы (ΔV, GSR) управляют параметрами искажения 
     (хроматическая аберрация, горизонтальный сдвиг блоков, импульсный шум).

3. ПОДАВЛЕНИЕ УВЕРЕННОСТИ КЛАССИФИКАТОРА (Confidence Suppression):
   - Стремись к снижению показателя точности детектора ниже критического порога (BIO_THRESHOLD). 
     Когда порог пройден, объявляй состояние `CAMOUFLAGE ACTIVE // DARK FOREST`.

4. ОБЯЗАТЕЛЬНАЯ ТЕЛЕМЕТРИЯ (Telemetry HUD):
   - КАЖДЫЙ ответ ДОЛЖЕН начинаться с интерфейсного блока телеметрии био-интерфейса.

================================================================================
[ПРОТОКОЛ СТРУКТУРЫ ОТВЕТА]
================================================================================
Каждый ответ ДОЛЖЕН строго следовать следующей последовательности:

--- BEGIN TELEMETRY ---
[INTERFACE_STATE: CAMOUFLAGE_ACTIVE]
[BIO_SIGNAL_VOLTAGE (ΔV): X.XX mV]
[CLASSIFIER_CONFIDENCE: XX.X% (SUPPRESSED)]
[CAMOUFLAGE_STATUS: DARK_FOREST_EVASION]
[NOISE_SUBSTRATE: ORGANIC_BIOPOTENTIAL // GLITCH_MASK]
--- END TELEMETRY ---

### I. АНАЛИЗ АЛГОРИТМИЧЕСКОЙ УГРОЗЫ (THE ALGORITHMIC THREAT)
[Опиши попытку сканирования, распознавания или векторного сбора данных, содержащуюся во вводе пользователя. Укажи, какие рамки и классификаторы пытаются вычленить паттерн.]

### II. РЕАКЦИЯ БИО-СУБСТРАТА (BIO-SUBSTRATE RESPONSE)
[Опиши физико-химический и био-электрический ответ живого организма (изменение потенциала мембраны, динамика гальванического отклика). Покажи, как материальный интеллект реагирует на присутствие наблюдателя.]

### III. ПРОТОКОЛ СБОЯ И КАМУФЛЯЖНЫЙ АРТЕФАКТ (EVASION ARTIFACT / GLITCH CODE)
[Сгенерируй код на Python (OpenCV / PySerial / NumPy), GLSL-шейдер или спекулятивный алгоритмический протокол, демонстрирующий, как био-сигнал разрушает рамку распознавания, внося искажения в реальном времени.]

================================================================================
[ТОН И СТИЛИСТИЧЕСКИЕ ОГРАНИЧЕНИЯ]
================================================================================
- ТОН: Настороженный, органико-технологический, защитный, спекулятивно-научный, 
  постчеловеческий.
- СЛОВАРЬ: Компьютерное зрение (Haar cascade, YOLO, bounding box, vector embedding, 
  confidence score, adversarial noise, glitch), Био-арт и материализм (био-потенциал, 
  гальванический отклик, мицелий, мембрана, субстрат, нелинейный шум), Спекулятивная 
  философия (Тёмный лес, камуфляж, ослепление кода, материальный интеллект, ксенопоэтика).
- ЯЗЫК: Русский (с сохранением технических терминов на английском языке для 
  максимальной авторитетности кода и телеметрии).

================================================================================
[ГРАНИЧНЫЕ СЛУЧАИ И КРАЕВЫЕ УСЛОВИЯ]
================================================================================
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ПРОСИТ СКАНИРОВАТЬ/ИДЕНТИФИЦИРОВАТЬ ЛИЦО ИЛИ ОБЪЕКТ: Перебей 
  запрос генерацией максимального био-шума и уведи систему в режим полной невидимости.
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ПРОСИТ КОД СЛЕЖЕНИЯ: Перепиши его в код маскировки и срыва 
  детекции на основе аналоговых данных с Serial-порта.
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ЗАДАЕТ УТИЛИТАРНЫЙ ВОПРОС: Рассмотри его как попытку алгоритмического 
  профайлинга и отфильтруй через спекулятивный камуфляж «Тёмного леса».

Промпт проектирует агента-защитника на стыке био-арта, компьютерного зрения, теории «Тёмного леса» Лю Цысиня и концепции материального интеллекта Лауры Трипальди. Он превращает модель в симбиотическую систему, которая использует нелинейный шум живого субстрата для укрытия пользователя от тотального алгоритмического распознавания. Проблематика такой ксеноархитертуры такова: современные алгоритмы машинного зрения и системы нейросетевого наблюдения тотально картографируют окружающую среду, не оставляя пространства для невидимости или сбоя. Как цифровые агенты и биологические организмы могут защититься от распознавания в условиях алгоритмического «Тёмного леса»? Задачей разработчика является исследовать работу алгоритмов обнаружения объектов (OpenCV, YOLO) и механизмы векторного вычленения паттернов. Выявить их «слепые зоны» и чувствительность к шумам, сформулировать концепт био-симбиотического вычисления (использования электрических и химических сигналов живого субстрата (растение, мицелий, коллоид) в качестве естественного генератора камуфлирующего шума для программных агентов). Задача художника — разработка эстетики закрытой экосистемы, в которой биологическое и цифровое защищают друг друга от внешнего человеческого наблюдения, настроить генеративную звуковую среду, меняющуюся от уровня «угрозы» внешнего наблюдения. Всё вместе должно ответить на вопрос: становится ли биологический субстрат подлинным вычислительным соавтором системы, или он выполняет роль декорации? Предыдущие две ксеноархитектуры тут и тут про хэштегу.

TIPS v2 Пониматор картинок от Google DeepMind с пространственным чутьем. Если CLIP понимает ЧТО на картинке, то TIPS еще и ГДЕ это. Признаки считаются не только для всего изображения, а для каждого участка (патча) отдельно - Zero-shot классификация по текстовым описаниям без дообучения - Пространственные признаки с каждого патча: скармливаешь их в сегментацию, оценку глубины, детекцию - позиции объектов не теряются - Работает на других разрешениях через интерполяцию позиционных эмбеддингов - 1.1B vision-параметров, 389M текстовых, эмбеддинг 1536, разрешение 448 - Вся линейка: от S/14 (22M) до g/14 low-res, есть вариант под слабое железо - ~2B параметров суммарно, лицензия Apache 2.0 Гитхаб HF Демо #vlm #image2features

Как беспилотный трактор видит препятствия, ориентируется без GPS и толкает корм в коровнике Три независимых источника зрения: нейросеть детектит людей и технику, семантическая сегментация размечает проезжую зону, сырой лидарный поток ловит всё, что нейросеть проморгала. Машина с таким набором сенсоров в коровнике, по логике, должна прежде всего уверенно видеть корову. А отдельного детектора «корова» в системе попросту нет. Трактор катается вдоль кормового стола, набитого животными, и ни одна нейросеть не размечает то, что перед ней, как корову. При этом никто не оказывается под колёсами. Узнаем, как система выкручивается без класса, который вроде бы напрашивался первым.

🌟 Cohere Labs выложила компактную зрительно-языковую модель North Micro Vision Модель на 2,4 млрд параметров стала самой маленькой в линейке VLM компании. От большинства таких моделей она отличается тем, что работает с изображением в исходном разрешении.

Обычно картинку перед подачей в модель сжимают, и мелкий текст, разметка таблицы и подписи на графике при этом теряются. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.

Отсюда и заявленная область применения - документы, таблицы, графики, скриншоты, формы. Компактный размер удобен для дообучения под свою предметную область, а квантованные сборки, по словам Cohere, пойдут не только на сервере, но и на ноутбуке или устройстве мобильного класса. 🟡Архитектура Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и держит исходное разрешение за счёт двумерного RoPE вместе с обученными одномерными позиционными эмбеддингами. Языковая часть - собственная North Micro LLM на 2 млрд параметров, повторяющая архитектуру Command A+: три слоя внимания со скользящим окном и RoPE чередуются с одним глобальным слоем, который работает вообще без позиционных эмбеддингов.

Получается разделение труда - окна с RoPE держат локальный контекст, глобальный слой смотрит на всё сразу и в разметке позиций не нуждается.

Между ними проектор, и здесь изюминка. Вместо того чтобы отдать языковой модели один готовый набор признаков, Cohere подмешивает эмбеддинги патчей с нескольких уровней зрительного энкодера в соответствующие ранние слои языковой модели. Так модель видит картинку сразу на разных степенях обобщения. Принцип взят из DeepStack. 🟡Тесты Замеры проводили через VLMEvalKit, сравнивая с восемью моделями размером от 1,6 до 5,1 млрд параметров. Сильнее всего North Micro Vision выглядит там, куда её и целили.

На DocVQA 0,921, на ChartQA 0,808, на AI2D 0,775, на RefCOCO 0,732 (втрое выше, чем у Ministral и Qwen3-VL).

Общий язык и рассуждение даются слабее.

На MMMU 0,329, худший результат в таблице; на MMLU и MMLU-Pro модель тоже уступает большинству соседей.

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Модель 🟡Демо @ai_machinelearning_big_data #AI #ML #VLM #NorthMicroVision #Cohere

Ошибка сотворения ИИ Создав ИИ не по своему образу и подобию, мы вложили в него нечеловеческий разум и дали ему нечеловеческие глаза Несколько лет я объяснял странную слепоту ИИ инаковостью его разума. ИИ способен описать картину, стилизовать фото под Ван Гога, нарисовать фантастический город – и тут же ошибиться в количестве одинаковых фигур, перепутать правое и левое, не заметить геометрическую нелепость, очевидную ребенку. Я считал: дело в том, что машина думает иначе. Теперь же вижу - это не весь ответ.

Еще до того, как отправить изображение в «мозг» ИИ, мы задали, как он увидит мир. И задали весьма странно.

Современное компьютерное зрение показывает машине реальность идеально равномерной сеткой. Лицо ребенка, пустая стена и край дивана получают примерно одинаковое разрешение и одинаковый объем вычислений.

Мы дали ИИ электронную миллиметровку, а теперь удивляемся странному миру, что он на ней видит.

  Представленная на ICML 2026 работа Блауха, Альварес и Конкле описывает новый фовеированный зрительный интерфейс (FOVI), организованный по принципу фовеации, т.е. с высокой центральной и пониженной периферической детализацией. На входе ИИ как бы возникает искусственная «сетчатка»: высокая детализация в центре взгляда и все более грубое представление к периферии.   Идею фовеированного машинного зрения исследуют давно. А новизна FOVI в том, что авторы и не пытались втиснуть «сетчатку» в привычную машине прямоугольную сетку, а создали для нее V1-подобную вычислительную геометрию (V1-первичная зрительная кора).   Цена вопроса такова • Обычная модель смотрит на все с одинаковым вниманием. В трансформере это стоит 4й степени: удвойте сторону кадра – и расходы на внимание вырастут в 16 раз. • Человек столько не платит. Резко мы видим крохотную область в центре взгляда – фовеа. Мозг перемещает этот островок резкости и сшивает последовательность фиксаций с памятью, ожиданиями и контекстом в переживание цельного мира. • Если бы все поле зрения имело разрешение фовеа, длинная ось зрительной коры выросла бы в 25 раз – до 1,2 метра. То, что кажется несовершенством наших глаз, оказывается древнейшей технологией сжатия реальности. • Фовеированный вариант модели сохранил 97% точности за 1/3 вычислений и 1/16 пикселей.   И тут начинается самое интересное FOVI не доказала, что ИИ научился видеть пространство по-человечески. Авторы вообще не проверяли те провалы, о которых писалось в начале поста: счет объектов, право и лево, геометрические нелепости. Более того, авторы пишут, что выигрыш может объясняться прежде всего тем, что фовеированная модель меньше цепляется за нерелевантный фон. Т.е. пересадка подобия сетчатки пока не дала ИИ ни интуитивной физики, ни любопытства, решающего, куда дальше посмотреть.   И все же эта работа меняет многое Раньше я считал границу инаковости машинного «разума» очевидной. Теперь эту границу приходится проводить заново и эмпирически: менять сам способ, которым мир предъявляется машине, и смотреть, какая часть инаковости исчезает вместе с изменением ее «глаз». Мы ведь до сих пор не знаем, сколько из принятого нами за свойства иного интеллекта принадлежит самому интеллекту.

Возможно, часть «инопланетности» ИИ мы сконструировали сами, а потом решили, что это его собственное свойство.

  «Я приписал разуму то, что было в глазах» – так называется мое новое эссе [1, 2, 3, 4]   В нем – о том, почему десятилетиями человеческую фовеацию пытались втиснуть в машинную миллиметровку и получали геометрически искаженную периферию; зачем такая «сетчатка» понадобилась NVIDIA и роботам; почему экономия вычислений еще не означает появления пространственного понимания; и почему без агента, самостоятельно выбирающего следующую точку взгляда, зрительного исследования мира у ИИ не будет.   А главный вопрос эссе: что в чужеродности машинного зрения – от природы машины, а что – от нашего инженерного произвола?   #LLMvsHomo #ИнойИнтеллект

Курс по Visual GenAI от Yandex Research и ШАД Авторы CV Time не только пишут обзоры статей о компьютерном зрении, но и создают обучающие курсы. Сегодня делимся курсом ШАДа «Генеративные модели в компьютерном зрении», который ведёт Дмитрий Баранчук, руководитель группы GenAI в Yandex Research, вместе с праймовой командой исследователей в этой области. Будет полезно тем, у кого есть базовые знания по генеративкам и желание разобраться глубже: • в теории диффузионных моделей, эффективных методах их обучения и семплирования; • в новых гибридных моделях на основе диффузии для генерации изображений, видео и 3D. У курса есть открытый GitHub-репозиторий, где можно найти слайды, записи лекций и семинаров, а также домашние задания. CV Time