🎤 За круглым столом на AIST’26 В заключительный день конференции провели круглый стол по бенчмаркингу, оценке моделей и тому, как в сложности задачек угнаться за способностями LLM. От нашей команды Sber AI был золотой состав: @alenusch, @SamoedR и ваша покорная слуга. Дискуссия получилась живой (не ожидаешь такого в 9 утра по Москве) и, затронув такой «больной» вопрос, затянулась сверх тайминга больше чем на час. Сошлись на том, что парадигма статического бенчмаркинга уходит и все движется в сторону регулярной актуализации заданий и cost-effective оценки LLM. Это, конечно, не все аспекты, а лишь часть, полную картину смотрите в записи круглого стола. Кажется, лучшего завершения конференции и придумать нельзя! @mashkka_ds #трудовыебудни #mashkka_kazakhstan #aist #ai

ML Global Recap'H1: это 10 из 10✨ Вчера сходила на ML Global Recap'H1 2026 в Яндексе, большой митап с обзором ICML. Тот самый, который я две недели пиарила здесь в канале, а потом благополучно забыла зарегистрироваться сама. Вспомнила в последний момент, когда регистрацию уже закрыли. Выручили друзья по ШАДу и нашли для меня место, так что на самый разгар я все-таки успела. Что было полезного: ✔️Общий обзор конференции и трендов: куда движется область по итогам первого полугодия и что реально взлетело. ✔️Доклады про ризонинг, тема, вокруг которой сейчас крутится половина всего интересного. ✔️Доклад ровно по моей теме, про оценку моделей и тренды бенчмаркинга. Все никак не доходили руки разобраться, что там по статьям с ICML на эту тему, а тут готовая выжимка. Но главное на таких митапах, конечно, люди. От нашей команды собрался золотой состав AGI NLP, ребят из Sber AI было столько, что нас обогнали только местные яндексоиды. И отдельная история это встретить здесь вас. Каждый раз, когда на таком мероприятии ко мне подходят, просят сфоткаться и говорят, что читают канал, я не знаю, куда себя деть от смущения и радости одновременно. Спасибо вам, это правда очень вдохновляет и мотивирует писать дальше! Итог: 10 из 10. Полезно, интересно, вкусный кофе-брейк и отличная компания. @mashkka_ds #трудовыебудни #ml #icml #митап

Цифра ~50% почему-то часто не пугает людей, когда речь про AI-ассистентов. Каждый второй запрос в стену? Ну ок, бывает, докрутим. Это странно, ибо если переложить те же 50% на более классический продукт, который мы все умеем оценивать, отношение будет другим. К примеру, интернет-магазин, который не создаёт каждый второй заказ, никто «докручивать» не будет — его чинят в ночь, в дождь, вопреки, потому что всем очевидно, что он сломан. Но представим магазин хитрее: заказ создаётся, а дальше то не доставят, то привезут не то или не туда, то спишут другую сумму. При этом снаружи всё может выглядеть как успех с непоколебимым покерфейсом: корзина, чекаут, «спасибо за покупку». Ассистенты чаще ломаются именно так. Там, где классический софт падает с ошибкой, LLMки отвечают: «подписку отменил», а по факту ничего не отменил, «операция корректна», а она снесла прод-базу. Ровно тот самый идеальный покерфейс, и у пользователя обычно не хватает компетенций отличить правильный ответ от уверенного вранья. Отсюда и разница в обратной связи. Косячащий магазин закидают жалобами и единицами в отзывах за день: чтобы понять, что привезли не то, экспертиза не нужна. А к ассистенту человек приходит ровно потому, что сам не знает ответа. Отличить хороший результат от плохого ему часто нечем, так что уверенный бред спокойно собирает свои пятёрки, либо собирает негатив с большой задержкой, либо вовсе выглядит как падающий ретеншн. Откуда тогда спокойствие команд? Моя гипотеза: дело в лёгкости лицезрения. Метрики магазина дешёвые: доля созданных заказов, SLA доставки, возвраты. Собираются за день и орут с дашборда красными огнями. Если даже никто дашборд не построил, то быстро прибежит СЕО и заставит сделать сэппуку. Метрика качества ассистента дорогая, это тот самый бенчмарк и нудные месяцы работы. А пока бенчмарка нет — нет и дашборда, на котором могло бы загореться красное. А когда мы измеряем что-то, то часто это улучшаем. Если не измеряется, то «вроде работает» будет достаточно. Дешёвая метрика тычет тебя носом в провал, а дорогая разрешает жить в неведении и называть это оптимизмом. Так что если у команды ассистента нет бенчмарка и эвалов, это не значит, что у неё нет 50% фейлов. Это значит, что она узнает о них последней.

Агентские системы на ICML 2026 Oral Session Benchmarking at the Edge of Comprehension Авторы предложили процедуру бенчмаркинга с участием двух моделей: модель-бенчмаркер (Alice) и тестируемая модель (Bob). Alice генерирует вопрос q на заданную тему и ответ a_A, после чего сгенерированный пример проходит верификацию Bob'ом. Если вопрос после нескольких попыток генерации остаётся некорректным, процедура возвращает NULL. Затем Bob генерирует ответ a_B, а Alice критикует его, указывая на конкретное место, где в рассуждении содержится ошибка (если она есть). Найденные «ошибки» эскалируются на моделей-судей, а при отсутствии единогласия — на асессоров-людей. Если ошибки действительно есть, процедура возвращает ALICE WINS. В противном случае — BOB WINS. Исследователи утверждают, что с работой Alice-судьи справляются даже лёгкие модели вроде GPT 3.5: ответы всех моделей высоко коррелируют с людьми. Правда нас оставили без ответа насколько вопросы, сгенерированные GPT 3.5, являются сложными сами по себе. Бенчмарк оказался довольно простым для фронтир-моделей: например, Bob на GPT 5.2 побеждает в 100% случаев против всех моделей за исключением одной. Из этого можно сделать вывод, что вопросы получились не очень сложными, и Alice как problem creator со своей работой не справилась. Также в работе не было оценки целых диалогов, что является немаловажным ограничением. daVinci-Dev: Agent-native Mid-training for Software Engineering Стандартный пайплайн обучения агентских моделей выглядит так: тушка -> SFT -> RL (например, GRPO). Авторы доклада о мид-трейнинге добавили дополнительный шаг перед SFT: они обучают модель на идеальных агентских трейсах на задачу Next Token Prediction и благодаря этому получают SOTA-результат среди открытых моделей на SWE-Bench Verified. Исследователи утверждают, что потратили существенно меньше компьюта, чем предыдущая SOTA, но получилось всё равно много: около 70b токенов на 32b/72b модели. Strategic Navigation or Stochastic Search? How agents and humans reason over document collections Исследователи разработали бенчмарк, который замеряет, насколько эффективно агенты решают задачу поиска по большой коллекции документов для ответа на вопросы. Неожиданно лучшая модель достигает всего 82% качества! При этом оказалось, что агентские пайплайны без ограничений тратят на порядки больше денег, чем пайплайны с разумными ограничениями ($850 против ~$40), и дают более слабый результат. Ещё один любопытный факт: даже лучшие пайплайны тратят в 5 раз больше действий, чем человек, снабжённый теми же инструментами. Также авторы отмечают, что лучшие агентские пайплайны и люди дают примерно одинаковое качество ответов (~80%), но ошибаются по-разному: люди торопятся с неверными решениями, а модели, наоборот, «закапываются» там, где в этом нет необходимости. Увидел интересное ❣ Юрий Яровиков #YaICML2026 Душный NLP