ИИ

Агентские системы на ICML 2026 Oral Session Benchmarking at the Edge of Comprehension Авторы предложили процедуру бенчмаркинга с участием двух моделей: модель-бенчмаркер (Alice) и тестируемая модель (Bob). Alice генерирует вопрос q на заданную тему и ответ a_A, после чего сгенерированный пример проходит верификацию Bob'ом. Если вопрос после нескольких попыток генерации остаётся некорректным, процедура возвращает NULL. Затем Bob генерирует ответ a_B, а Alice критикует его, указывая на конкретное место, где в рассуждении содержится ошибка (если она есть). Найденные «ошибки» эскалируются на моделей-судей, а при отсутствии единогласия — на асессоров-людей. Если ошибки действительно есть, процедура возвращает ALICE WINS. В противном случае — BOB WINS. Исследователи утверждают, что с работой Alice-судьи справляются даже лёгкие модели вроде GPT 3.5: ответы всех моделей высоко коррелируют с людьми. Правда нас оставили без ответа насколько вопросы, сгенерированные GPT 3.5, являются сложными сами по себе. Бенчмарк оказался довольно простым для фронтир-моделей: например, Bob на GPT 5.2 побеждает в 100% случаев против всех моделей за исключением одной. Из этого можно сделать вывод, что вопросы получились не очень сложными, и Alice как problem creator со своей работой не справилась. Также в работе не было оценки целых диалогов, что является немаловажным ограничением. daVinci-Dev: Agent-native Mid-training for Software Engineering Стандартный пайплайн обучения агентских моделей выглядит так: тушка -> SFT -> RL (например, GRPO). Авторы доклада о мид-трейнинге добавили дополнительный шаг перед SFT: они обучают модель на идеальных агентских трейсах на задачу Next Token Prediction и благодаря этому получают SOTA-результат среди открытых моделей на SWE-Bench Verified. Исследователи утверждают, что потратили существенно меньше компьюта, чем предыдущая SOTA, но получилось всё равно много: около 70b токенов на 32b/72b модели. Strategic Navigation or Stochastic Search? How agents and humans reason over document collections Исследователи разработали бенчмарк, который замеряет, насколько эффективно агенты решают задачу поиска по большой коллекции документов для ответа на вопросы. Неожиданно лучшая модель достигает всего 82% качества! При этом оказалось, что агентские пайплайны без ограничений тратят на порядки больше денег, чем пайплайны с разумными ограничениями ($850 против ~$40), и дают более слабый результат. Ещё один любопытный факт: даже лучшие пайплайны тратят в 5 раз больше действий, чем человек, снабжённый теми же инструментами. Также авторы отмечают, что лучшие агентские пайплайны и люди дают примерно одинаковое качество ответов (~80%), но ошибаются по-разному: люди торопятся с неверными решениями, а модели, наоборот, «закапываются» там, где в этом нет необходимости. Увидел интересное ❣ Юрий Яровиков #YaICML2026 Душный NLP

Внедрение AI в компаниях приводит к росту(!) числа сотрудников — исследование «Их заменил AI» — довольно частое объяснение при сокращении сотрудников в последнее время. Да и вообще есть страх, что AI приведет к массовой безработице. Но недавнее исследование Ramp и Revelio Labs показало, что связь, скорее, обратная. Ramp и Revelio Labs изучили 21 559 компаний. По транзакциям изучили, насколько активно эти компании тратятся на разные AI-сервисы. И выделили тех, кто активно внедряет AI, и тех, кто не очень. А потом посмотрели, какие у них были изменения со штатом сотрудников. Компании, которые не очень активно внедряют AI, не показали статистически значимых изменений. А вот у активных внедренцев число сотрудников за два года выросло на 10,2%. В отчете говорится, что рост происходит постепенно. И затрагивает он почти все должности — инженеров, сейлзов, менеджеров по работе с клиентами и так далее. А что еще интересно — количество сотрудников начального уровня выросло на 12%. То есть даже больше, чем в среднем рос штат. И это не очень вяжется с утверждением, что AI в первую очередь заменяет как раз сотрудников начального уровня. Почему так происходит? Исследователи пишут, что компании, начавшие активно внедрять AI, изначально были крупнее. И активное внедрение приводит к более высокому росту, такие компании чаще привлекают инвестиции. Отсюда и потребность в сотрудниках. Вывод делают такой:

«Результаты опровергают прогнозы о том, что внедрение AI приведет к массовой потере рабочих мест»

Но все-таки оговариваются, что смотрели данные за два года. И на более длинном горизонте может случиться перераспределение ресурсов внутри компаний. Мол, может оказаться так, что два года — слишком маленький срок для выявления существенных изменений в структуре рабочей силы. В общем, если вы переживали о массовой безработице из-за AI — можете пока не переживать. Переживайте из-за того, что роботы захватят мир! Хотя вот здесь мы выяснили, что и из-за этого пока не нужно переживать. Так что просто кайфуйте! Жизнь одна! 🤣 @TheEdinorogBlog — тот самый канал про стартапы🦄

hh показал, что находится под капотом у корпоративного LLM-судьи для нейроразбора резюме и как он оценивает ошибки и галлюцинации. LLM-судья — это модель, проверяющая другие модели. «Наивные» судьи могут галлюцинировать оценки, поэтому для качественного вердикта от общей шкалы отказались в пользу чётких критериев — рубрик. Чтобы сформировать каждую из них, понадобились десятки позитивных и негативных примеров. «Грамотный» судья способен хорошо различать не только очевидные попадания и промахи, но и пограничные случаи. Из деталей — отказ от общей шкалы, около сотни положительных и отрицательных примеров для каждой рубрики, отдельная таксономия ошибок и вывод: маленькой модели иногда достаточно, если критерии хорошо разложены. Чтобы выявить дефекты рубрик, использовали подход RIFT — таксономию типичных ошибок в критериях оценки. Финальный продукт работает в четыре этапа: валидация входных данных, извлечение доказательств, вердикты по рубрикам и расчёт итогового скора. Последний этап вынесли в код: финальную оценку даёт не модель. О разработке LLM-судьи и вынесенных уроках вышла статья в блоге hh на Хабре.

📌Claude Code изменил чужую продакшен-базу На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга. В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения. 🟡Дальше самое неприятное Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи. Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца. 🟡Причина пока неизвестна В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов.

Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию.

Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах. 🟡Есть и куда более прозаичное объяснение Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст. Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть. Автоматика GitHub повесила на тикет метку security. @ai_machinelearning_big_data #news #ai #ml

Когда изучаете что-то с ИИ или делаете ресерч, то дефолтный вертикальный чат не самый удобный вариант для этого (как минимум для меня) Есть вот такой опенсорсный холст с MCP для работы с Claude Code, Codex и тд. То есть агент запускает локально интерфейс с канвас, где весь диалог в виде дерева, а ответы это ветки в которые можно углубляться Это удобно, когда:

- Выделяешь фрагмент текста, задаешь вопрос, то создается новая ветка - Каждую такую ветку можно развернуть в полноценный режим чтения - Весь прогресс хранится локально в JSON

Вся цепочка диалога перед глазами, и можно организовывать её как угодно Вызовы идут через MCP, агент пишет у себя в терминале а ответ выводит в интерфейс Работает везде: Windows, macOS, Linux Установить себе: Сайт | GitHub @tips_ai #tools

ICML 2026: что обсуждают в Сеуле В этом году крупнейшая конференция о машинном обучении проходит в Южной Корее. По традиции будем рассказывать о самом интересном — открываем серию обзоров от инженеров и исследователей Яндекса. Немного инсайтов о Xiaomi Ребята тоже используют On-policy Distillation для мержа своих экспертных моделей. Вайб доклада: как мы сделали топ-1-опенсорс-модель по ИИ-индексу, с миллионным контекстом и 1000 токенов в секунду без регистрации и СМС супердёшево. Public report'а нет, про обучение не рассказали, но в докладе можно было подсмотреть трюки по оптимизации. Например, гибридные SWA-слои, которые реюзают KV-кэш от полного аттеншна перед ними, помогают в 7 раз уменьшить объём кэша, не потеряв в качестве. Xiaomi MiMo-V2.5-Pro TL;DR: Context length и Inference speed. Новая опенсорсная модель на 1 триллион параметров может работать с контекстом объёмом до 1 миллиона токенов в 10 раз быстрее (до 1000 TPS). Претрейн — sparse-аттеншн и shared KV-кэш. На основе HSWA авторы предложили гибридный HySparse, чтобы увеличить sparsity. Это позволило в 10 раз сэкономить на объёме кэша и получить почти линейный аттеншн. MiMo-V2.5-Pro обучали в QAT-формате, MXFP4. Пост-трейн — Multi-Teacher On-Policy distillation с top-k, а не top-1. По метрикам MOPD показал себя значительно лучше и стабильнее остальных подходов, подобных Cascade RL. MoE RL оказался нестабилен, так как выбирается только 10% экспертов. В качестве решения прибегли к R3: Replace the Rollout Routing. Инференс Mimo-V2.5 Pro UltraSpeed — это FP4 (mxfp4) + DFlash Speculative decoding + TileRT inference engine. Для ускорения делают бакетинг по задачам (например, чат/код). vLLM Hook v0: A Plug-in for Programming Model Internals on vLLM IBM Research привезли инструмент, с помощью которого можно модифицировать логику в движке инференса vLLM и строить кастомные пайплайны. Мотивация: несмотря на свою эффективность, движок vLLM не может похвастаться богатым функционалом. Авторы попробовали исправить это. Код — на GitHub. Model Optimization Flywheel: Continuously Self-Improving LLMs in Production Работа команды Shopify. Ребята отмечают важность голденсетов (ground truth set), потому что это потолок качества моделей, — и рассказывают, как собирают такие сеты. Информацию получают от менеджеров. Если каппа Коэна низкая, то переписывают рубрику или инструкцию. Для подбора промпта judge пользуются GEPA и ACE. В датасет попадает и брак, и кейсы плохого срабатывания моделей. Некорректные ответы правят люди и judge. Ещё больше о конференции читайте в канале ML Underhood: уже рассказали о работах основного трека, Spotlight-статье и первом дне. А если вы тоже на ICML, приходите пообщаться к любому из наших постеров. Уже на конференции ❣ Иван Дёгтев, Даниил Кириллов, Тимофей Смирнов, Артём Миронов, Федор Великонивцев Душный NLP

ResearchStudio Инструмент от Microsoft ResearchStudio–Idea автоматизирует начальную стадию исследования — от проблемы до создания карточки идеи, которую можно представить рецензенту ResearchStudio–Reel автоматизирует превращение научной статьи в материалы для презентации и популяризации. Снимает рутину подготовки постера, видео, блога из одного PDF • генерация print-ready постера • создание синхронизированного видео с нарративом • сборка двуязычного блога • единый экстрактор Paper2Assets — данные извлекаются один раз • артефакты редактируются в PowerPoint и Word • интерактивный HTML-просмотрщик с синхронизацией по секциям Работает на связке Claude Code и Codex. Артефакты согласованы по фактам, не дублируют извлечение данных Гитхаб #research #text2research #pdf2video #pdf2ppt