Большие языковые модели хорошо распознают изображения. Могут подробно описать, что они там видят и даже где оно примерно находится на листе. Но с точным позиционированием элементов на картинке всё ещё справляются не идеально. Для этого существует отдельный класс моделей. Нашёл на Hugging Face маленькую узкоспециализированную модель для разметки скриншотов веб-страниц. Называется ScreenParser. По факту, это YOLO, дообученный на вот этом датасете из 1,45 миллионов веб-страниц. Модель крошечная (25 миллионов параметров), поэтому без проблем запустится на вашем рабочем ноутбуке. Размечает на bbox-ы и класс элемента. Всего есть 55 классов, которые могут существовать на веб-странице. В JSON складывает также уверенность в том, что элемент распознан верно. Если уверенность низкая, то всегда можно сделать кроп нужной области и отправить на распознание ещё раз. Я уже попробовал модель в качестве одного из инструментов при вёрстке макетов по картинке. Пример разметки можете увидеть в медиа поста. Ставьте 🔥 , если хотите скилл по вёрстке из картинки/скриншота с помощью ScreenParser. Думаю, её также можно добавить к какой-нибудь мелкой on-prem-модели для того, чтобы улучшить навык browser-use.

SHELLS: Facebuilder от Гугла. Но не совсем. SHELLS - исследовательская система Google для автоматической реконструкции 3D-головы по нескольким фотографиям с известных ракурсов. Она создает сетку примерно из 18 тысяч вершин с единой топологией и обрабатывает один набор изображений примерно за 0,08 секунды(!) Главное преимущество SHELLS - скорость и стабильность. Система подходит для многокамерной съемки, захвата мимики и массовой обработки видео. При этом она требует откалиброванных камер и пока не является готовым продуктом: публичного кода нет, текстуры, волосы и мелкие детали кожи нужно восстанавливать отдельно. С FaceBuilder от KeenTools задачи пересекаются, но сценарии разные. FaceBuilder - инструмент для Blender и Nuke, рассчитанный на художника. Он работает даже с обычными фотографиями, позволяет вручную корректировать модель, строить текстуры и экспортировать результат в другие 3D-пакеты. SHELLS больше подходит студиям с многокамерными установками и автоматизированным производством. FaceBuilder - создание конкретного персонажа из нескольких фотографий с ручной доводкой. Страница проекта SHELLS https://syntec-research.github.io/SHELLS/ Статья на arXiv https://arxiv.org/abs/2605.31283 "FaceBuilder для Blender" https://keentools.io/products/facebuilder-for-blender "FaceBuilder для Nuke" https://keentools.io/products/facebuilder-for-nuke @cgevent

🌟 SenseNova-Vision: CV-комбайн в едином генеративном интерфейсе SenseTime открыла веса единой модели зрения SenseNova-Vision. Обычно под каждую задачу (найти объекты, выделить их контуры, оценить глубину сцены) строят отдельную систему или встраивают в модель специальный модуль. Здесь от этого отказались - все задачи модель решает как генерацию текста, картинки или их смеси.

Компания основана в 2014 году и выросла из университетской лаборатории MMLab - оттуда вышла заметная часть китайских специалистов по компьютерному зрению. Известность пришла в 2015-м, когда алгоритм распознавания лиц SenseTime обошёл по точности человеческий глаз. В 2026 году Gartner назвала компанию визионером в генеративном CV.

🟡Механика Рамки объектов и распознанный текст модель выдаёт текстом с координатами, карты глубины и нормалей поверхностей - картинками, а сложную сегментацию - смешанным ответом, где текстовая легенда задаёт цвета маски.

Авторы сравнивают подход с тем, что GPT сделал для текста: вместо зоопарка специализированных систем - один генеративный интерфейс.

Под капотом - открытая мультимодальная модель Bagel-7B-MoT от ByteDance, дообученная без изменений архитектуры. MoT - это смесь трансформеров. Внутри модели живут 2 эксперта с собственными весами - один отвечает за понимание текста и изображений, второй за генерацию картинок, а внимание у них общее, так что оба смотрят на один контекст. Токены распределяются между экспертами жёстко, по типу данных, а не обучаемым маршрутизатором, как в MoE. Для SenseNova-Vision такое устройство пришлось кстати - модель чередует текстовые ответы вроде координат и картиночные вроде масок, и у каждой ветки свой набор весов. 🟡Тесты SenseNova-Vision лидирует среди сопоставимых систем там, где ответ - структурированный текст (детекция, в том числе в плотных сценах с десятками объектов, локализация текста на изображении, ключевые точки). В оценке глубины и нормалей она близка к лучшим генеративным методам, в сегментации держится на уровне конкурентов.

Слабые места тоже есть. В многовидовой 3D-геометрии модель отстаёт от специализированных VGGT и Depth Anything 3, а текст на русском распознаёт заметно хуже, чем на английском.

Вместе с моделью опубликован корпус SN-VC-50M - 50 млн обучающих примеров из открытых наборов: 18,9 млн кадров для структурного понимания, 17,3 млн для плотной геометрии, 12,5 млн для многовидовой геометрии и 1,3 млн для сегментации. 📌Лицензирование: CC-BY-NC-4.0 🟡Модель 🟡Arxiv 🟡Датасет 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #СV #MoT #SenseNovaVision #SenseTime

Glob3R Реконструкция 3Д-сцен Берёт набор снимков и анализирует их по частям. В каждом участке (окне) система предсказывает геометрию сцены. Находит, как изображения связаны друг с другом. Определяет, как точки на фото соотносятся между собой Потом собирает надёжные связи между точками в общую карту, усредняет повороты камер, усредняет перемещения. Уточняет все параметры и строит детальную 3D-модель сцены • глобальная реконструкция больших сцен • работа с плотными треками и геометрией • синтез новых видов с улучшенным рендерингом • на выходе 3D-карты точек Код/веса ждем #scenereconstruction #imageto2d #image2scene #novelview

Ну, за покерфейс! Сам регулярно поигрываю в Холдем. Оффлайн, на катране. Давно перестал играть онлайн, ибо боты и нет удовольствия, как от китайских поддельных елочных игрушек. То ли дело с шуточками и троллингом с кругу таких же кожаных лудоманов. Но есть плохие новости. ИИ читает ваши лудоманские рожи как открытую книгу. Ибо. На покерных трансляциях появился новый слой аналитики: модель компьютерного зрения пытается считывать поведение игроков и определять, блефуют они или держат сильную руку. Например, такую систему добавили в трансляции ESPN при участии Omaha Productions. Сорс: https://www.instagram.com/p/Dapvu1TgMX8/ (независимого технического описания модели или пресс-релиза ESPN мне найти не удалось) Модель анализирует микроповедение: частоту моргания, направление взгляда, позу, движения с фишками и другие телесные сигналы. На основе этого она помечает ситуации, где игрок может блефовать или, наоборот, иметь максимально сильную комбинацию. Чтобы не влиять на саму игру, такие подсказки показывают только после вылета игрока. Главный спор вокруг технологии не в том, работает ли она, а нужна ли она вообще. В покерных трансляциях зрители и так часто видят карты игроков, поэтому часть сообщества считает AI-анализ “решением проблемы, которой нет”. Другие, (и я в том числе топлю за это уже 4 с лишним года) видят в этом начало новой эпохи: если алгоритмы научатся читать телесные паттерны в покере, похожие системы могут появиться в переговорах, собеседованиях, службах безопасности, тиндерах(!) и других сферах, где поведение человека становится кожаными данными. Это не столько про покерок, сколько про то, как AI начинает превращать человеческие “теллсы” в интерфейс. Мы для него UI с всплывающими типсами. Минорити репорт Reloaded 2026 @cgevent

ProxyPose Трекер. Лора к Wan2.1-T2V-14B Отслеживает 6-DoF позу по монокулярному видео. Решает проблему точного трекинга при слабой текстуре, отражениях, перекрытиях. • берет один пиксель-запрос - выдает траекторию 6-DoF • видео-в-видео трансформация через VAE и LoRA-дообученную видеомодель • геометрия без обучения: контурное сопоставление + PnP • тянет трекинг для лиц и камер без доп. тренировки • работает с event-видео и SPAD-сенсорами Использует VAE в латентном пространстве, шум по токенам для прокси-видео. Стабилен в сложных сценах, но может дрейфовать на быстрых/текстурно бедных объектах. Гитхаб HF #tracking #6dof #v2v #video2camera