21 августа DeepSeek анонсировала экспериментальную мультимодальную версию своего флагмана — deepseek-v4-flash-vision-expi. Модель научилась работать с изображениями (скриншоты, документы, графики, диаграммы) в паре с текстом, при этом текстовые способности (агентность, reasoning, знания) остались на уровне обычной V4-Flash.

Главный фокус — агентные сценарии, где ИИ нужно «видеть» экран. По мультимодальным агентским бенчмаркам новинка сделала большой скачок и подошла вплотную к Claude Opus 4.8, а по некоторым тестам даже опередила её — и всё это по ценам обычной Flash-модели.

Полный разбор →

Команда Qwen опубликовала на GitHub репозиторий Qwen-MM-Plugins — набор плагинов, который добавляет мультимодальные возможности любому агентскому harnessi'у не через встроенную в модель мультимодальность, а через набор вызываемых инструментов. Агент сам обнаруживает нужный capability, вызывает его и встраивает результат в более длинную цепочку действий.

Вместо схемы «агент → одна мультимодальная модель» получается «агент → набор специализированных multimodal tools → цепочка действий»: агент может прочитать изображение, найти объект, вырезать область, прогнать OCR, сопоставить с видео, транскрибировать аудио и собрать всё в единый ответ.

Полный разбор →

ByteDance Seed анонсировала SeedRealtimei — нативную аудиовизуальную full-duplexi-модель, которая одновременно смотрит видео, слушает пользователя и отвечает голосом без классической паузы «сначала договорите, потом отвечу». Релиз рассматривается как ответ Alibaba и её Wan Streameri — конкуренция среди мультимодальных моделей смещается от качества ответов к скорости и естественности взаимодействия, то есть к тому, «кто меньше похож на бота с задержкой».

Ключевая архитектурная особенность — единая модель для аудио, видео и текста, учитывающая временную последовательность событий, а не только отдельные кадры. Это позволяет связывать сказанное с происходящим в кадре и понимать, обращаются ли вообще к модели.

Полный разбор →

Французский стартап Mistral 4 августа выпустил Shieldstrali — мультимодальный классификатор безопасности контента на 3 млрд параметров с открытыми весами. В отличие от обычных guardrail-моделей (типа Llama Guard), где таксономия вреда зашита прямо в веса и для смены категорий нужен дообучение, Shieldstral переносит политику модерации в системный промпт: критерии задаются текстом, а не переобучением.

Модель не генерирует текст, а работает как бинарный классификатор да/нет по заданному вопросу, что делает её быстрой и универсальной — один и тот же чекпоинт можно использовать и для детского приложения, и для пентест-инструмента, просто переписав вопрос.

Полный разбор →