Тренды из мира бенчмарков на ICML 2026 [1/2] Работ о бенчмарках на ICML традиционно много. По сравнению с прошлым годом, в 2026 стало заметно больше бенчей для агентов. А ещё начали чаще встречаться работы из академии. Объяснение простое. Корпорации вкладывают много сил во внутренние бенчи: делают сами, покупают их у data-labeling-компаний (например, Surge, Mercor, Handshake AI, Toloka) — и, как следствие, такие бенчи редко опенсорсят. Остальные бенчмарки часто делаются ощутимо меньшими ресурсами. И, как следствие, страдают от типичных проблем: • мало человеческой верификации данных, • качество judge'ей-верификаторов редко полноценно исследуется, • плохо оценивается качество пар запрос + ground-truth-ответ, сгенерированных LLM, • редко проверяется контаминация, хотя бенчи собираются из открытых источников. Авторы постеров, вошедших в подборку, отметили, что подготовка одного бенча занимает в среднем 3–4 месяца фултайм-работы. τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment Команда τ-бенча продолжает свою работу. В этот раз получили spotlight. Предыдущие версии были single-control: то есть, тулы были доступны только агенту, а пользователь пассивно выдавал текстовый фидбек. В реальном мире пользователь, конечно, взаимодействует со средой. Новый бенчмарк сделали на примере телекома: у агента и у симулированного юзера свои БД и инструменты в общем мире. Валидация — не LLM-судьями, а ассертами на состояние мира. Получившийся бенч заметно сложнее предыдущих версий: Сlaude-3.7 выбивает только 49%. Авторы используют абляцию, когда всё управление переходит агенту или если агенту дают подробный план, как надо поступать. Один из тейков: для агента важен скилл координации с пользователем, который обычные специализированные бенчи не измеряют вообще. QEDBench: Quantifying the Alignment Gap in Automated Evaluation of University-Level Math Proofs Этот бенч фокусируется в первую очередь на оценке надёжности самих судей: насколько LLM judge вообще способен оценивать математические доказательства примерно институтской сложности. Авторы попросили экспертов переписать экзаменационные задачи из 10 математических дисциплин так, чтобы избежать контаминации. Также дополнили бенчмарк примерами из экзаменационных задач своего университета. Ответы фронтир-моделей оценивали: • кандидаты математических наук по заданной шкале, • LLM-судьи по рубрикам, заранее описанным людьми. Всего авторы собрали 1300+ доказательств и 1000 часов разметки. Ожидаемо, судьи пропускают заметно больше неправильных решений: 38% показал самый лучший judge на GPT-5.2 Pro. The Decrypto Benchmark for Multi-Agent Reasoning and Theory of Mind Бенчмарк на Theory of Mind, собранный на основе настолки Decrypto. Alice даёт словесные подсказки к четырём секретным словам так, чтобы код угадал её партнёр Bob, но не угадал перехватчик Eve. Сложность в том, чтобы подсказка была достаточно прозрачной для своего и непонятной для чужого — то есть, требует явно моделировать так, чтобы понял один и не распознал другой. Pass — исход игры. Преимущество по сравнению со старыми статическими ТоМ-бенчами в том, что можно менять ключевые слова и собирать их в миллиарды комбинаций, избегая переобучения. Авторы проделали довольно подробную работу: предлагают промпты-правила и методики валидации, а также провели валидационные игры между людьми и моделями. С игрой плохо справляются даже фронтир-модели: дают примитивные ассоциации (fire → flame, hat → cap), которые легко перехватить. С помощью отдельных тестов из области детской психологии, замерили representational change — понимает ли агент, что его собственное представление изменилось, когда пришла новая информация и изучили false belief — умение приписать ложное убеждение участнику дискуссии. Оба показателя составили менее 10%. Ризонинг не помогает: Llama 3.1-70B обходит и Claude 3.7, и o1. Исследовала для вас бенчмарки ❣ Ирина Барская #YaICML2026 Душный NLP

Китайские открытые ИИ-модели обогнали американские по загрузкам на Hugging Face Разработчики всё чаще выбирают открытые модели искусственного интеллекта вместо закрытых решений таких крупных игроков, как OpenAI и Anthropic. По данным платформы Hugging Face, этой весной на китайские open-source модели пришлось 41% всех загрузок — впервые больше, чем на американские (38%). На агрегаторе OpenRouter шесть самых популярных моделей принадлежат китайским компаниям Tencent, Xiaomi, DeepSeek, MiniMax и Z.ai, тогда как флагманская Anthropic Claude Opus 4.7 занимает лишь седьмое место. Открытые модели дешевле в эксплуатации, их проще адаптировать под конкретные бизнес-задачи, а данные компании остаются под её контролем. https://hightech.plus/2026/07/17/kitaiskie-otkritie-ii-modeli-obognali-amerikanskie-po-zagruzkam-na-hugging-face

Я очень скучный человек День из жизни основателя может показаться заманчивой, интересной идеей, наполненной поездками, встречами, но, мне кажется, это миф. Вы удивитесь, но я до невозможности скучный человек. Вот мой каждый день (кроме субботы): ⚪️ Йога утром (зарядка) на коврике. Не нашла лучшего варианта быть в форме и заниматься спортом регулярно, если не делать это каждый день на коврике. Для развлечения теннис пару раз. Сейчас еще попросила одного из наших акционеров научить меня играть в гольф, так как в Штатах это топ-1, куда тебя зовут солидные люди 😄 Поделиться? ⚪️ 12-14-часовой рабочий день, обычно с 10 до 10-12 ночи с перерывом вечером и на обед. Так покрываю свою европейскую команду и американский рынок. Обычно все это время в офисе. ⚪️ Вечером прогулка: 2 собаки + муж. Лучший способ разрядиться. Подышать, походить. ⚪️ Суббота: это про семью. И для меня большой стресс все остальное: поездки, тусовки, долгие встречи. Я очень редко куда-то хожу, это несовместимо с моим графиком. А у вас как? Ps. Мне так правда нравится, «Быть у станка» :)

#васянина /Самый недооцененный на рынке навык/ Это умение доводить дело до конца, дотаскивать фичи до прода, а задачи до финансового выхлопа. Мы все одержимы идеями, а не реализацией. Если спросить людей вокруг, большинство захотят «прпидумывать классные штуки, изобретать, креативить!!», никто вам не скажет «хочу долбиться с одним проектом полтора года, пока трижды сменится команда, дважды руководство, заморозится и разморозиться стратегия, а я все буду тащить. А потом метрика наконец-таки прирастет на 5%, это будет означать компании дополнительные миллиарды.» При этом на рынке тех, кто придет-придумает-возьмется-запнется-расстроится-бросит-уйдет дальше в разы, а может и в десятки раз больше тех, кто придет-возьмет-дотащит. Так что если вы из вторых - цените в себе, несите этот навык как знамя, и просите за него денег на основе подтвержденных результатов!

​​Time Series with PyTorch — Graeme Davidson, Lei Ma Мне прислали очередную книжку от Packt на прочтение и ревью - на этот раз про time series forecasting на PyTorch. Тема мне близкая: временные ряды — одна из самых сложных для меня областей ML, и при этом большинство книг по deep learning относятся к ним как к чему-то второстепенному после CV и NLP. Книга идёт начинает с базовых вещей (что делает временные ряды сложными, как правильно оценивать модели, PyTorch с нуля), демонстрирует современные архитектуры (RNN, transformers, N-BEATS, N-HiTS, foundation models, diffusion) и выходит за пределы точечного прогноза — классификация, кластеризация, anomaly detection, self-supervised learning. Мне понравилось, что тема правильного качества моделей разбирается в деталях: например, показывают как заведомо худшая модель выигрывает по MAPE, и есть целая глава про data leakage. Отдельно порадовали объяснения через физику: один из авторов физик, и он объясняет RNN через качели на детской площадке, а diffusion — через каплю чернил, которая расплывается в воде, пока не превратится в гауссиану. Ещё мне понравилось, что примеры построены вокруг соревнования M5 на Kaggle. Я в нём когда-то участвовал и зафейлился, так что было интересно посмотреть на разные модели и подходы к оценке на данных, с которыми в своё время намучился. Из минусов — про time series foundation models (Lag-Llama, TabPFN, Chronos, TimeGPT) рассказывают, но не запускают их на практике, а это как раз то, что хотелось бы попробовать руками. Amazon Author's website Code Мои обзоры: Personal blog Medium #bookreview

Давайте игроку место для использования механик перемещения Посмотрите первый скриншот. Это ключевая точка в начале миссии "Осада Чарльз-Тауна" из Black Flag Resynced. Цель игрока — саботировать сигнальный колокол (он в кадре прямо под фонарём). Рядом стоит два стражника и смотрят на колокол. Ещё два — гуляют по заданной траектории с двумя заданными путевыми точками у каждого. Вот как бы вы устраняли тут противников? В каком порядке? Посмотрите, не торопитесь. А теперь откройте скриншот под спойлером. Вот так я нарисовал себе в воображении возможные пути. То есть сперва я бы подловил момент, когда патрульные отвернулись, и залез на стену, а может и крышу. Оттуда подловил бы момент, чтобы разом снять двух человек, стоящих вместе. А потом, если бы успел скрыться, то мог бы либо залезать на сарай и оттуда уже почикать оставшихся, либо по одиночку "осалить" выживших со спины. К моему великому удивлению на здания забраться оказалось нельзя. Это граница уровня, а арена, судя по всему, планировалась под прямое боевое столкновение. На это намекает сразу несколько вещей: - по нарративу миссии герой торопится; - с каждой стороны от колокола в лэйауте арены соблюдены "петли", т.е. есть объекты вокруг которых я всегда смогу отступать во время боя или контролируемо скрыться из вида. Тем не менее, это не повод разыгрывать боевую арену почти полностью в одной плоскости, тем более в такой игре как Assassin's Creed. Когда вы делаете уровень, всегда необходимо помнить, что ваша основная задача — предоставить место для использования механик. Все остальные вещи типа соблюдения классной читаемой композиции, выдерживание задуманного темпа, навигационные подсказки и прочее — уже задачи более высокого уровня абстракции и должны идти в ваших приоритетах позже. Даже если на вас наседает какой-то лид или директор и думает что ему виднее 😎 Если вы делаете уровень для GTA, к целевой точке в пространстве всегда должна быть возможность подъехать на машине. Если для иммёрсив-сим — должно быть заложено минимум два маршрута (громкий и тихий). А если делаете столкновение с противниками в Assassin's Creed, то будьте добры позволить игроку косплеить сраного голубя атаковать с ближайшей точки выше уровня глаз 🏳️ #анализигр #левелдизайн #AssassinsCreed

«Как я добавил LLM в чат друзей, и приказал ей отыгрывать терминатора (и открыл портал в мультивселенную безумия)» Модель со зрением читала мангу «Призрак в доспехах» и на страницах с японскими звуковыми эффектами срывалась в цикл. Честно пыталась прочитать звук и выдавала «КАК! КАК! КАК!» тридцать раз подряд, до потолка токенов, пока её не осадили штрафом за повторы. За этим курьёзом стоит целый Т-800 для чата на 15 друзей, собранный без единого рубля на API и крутящийся на ноутбуке с 4 ГБ видеопамяти. Бот подкалывает участников по их же архиву реплик, комментирует новости в машинной манере, помнит весь чат через RAG и ведёт досье на каждого. А для чатовых споров есть отдельный режим. Кидаешь боту реплаем спорный тезис, и он идёт проверять его по источникам сразу с четырёх углов. Всё это на домашнем железе со скоростью 5 токенов в секунду, где привычные приёмы приходится выкидывать и заменять хитростью. Посмотрим, как из бесплатных моделей и слабого ноутбука собирается работающий чат-бот.

Лучший учебник по стартапам написал Гоголь в 1842 году Пятница — можно отвлечься от метрик и дедлайнов. Например, на классику: перечитывал «Мёртвые души» и не смог остановиться — Чичиков же фаундер. Причём хороший. Чёткая бизнес-модель, найденный ICP (Плюшкин, кто же ещё), конверсия сделок 80% и цикл продажи в один день. Не хватало только питч-дека. Я исправил. Собрал полноценную инвест-презу «Чичиков Кэпитал» — слайд за слайдом, с реальными цифрами из поэмы: TAM 700 млн рублей, мультипликатор ×236 на вложенный капитал, честный traction-слайд с провалом по Ноздрёву. Спойлер: юнит-экономика у Павла Ивановича красивее, чем у большинства стартапов, которые я смотрю. Но денег он всё равно бы не получил — и вот причины отказа как раз универсальные, встречаю их в питчах каждую неделю. Полный разбор со всеми слайдами, забирайте на выходные: 👉 Забудьте про «10 книг для фаундера». Лучший учебник по стартапам написал Гоголь в 1842 году Какой ещё литературный герой потянул бы на фаундера? Делитесь в комментариях Андрей Резинкин | Money For Startup

🏍Автопилот для пентеста: мультиагентный фреймворк T3MP3ST Известный ИИ-исследователь Pliny выпустил в открытый доступ проект T3MP3ST. Это комплексная мультиагентная система, созданная для автоматизации процесса поиска уязвимостей и анализа защищенности инфраструктуры.

🟦Автономный аудит: Фреймворку достаточно задать целевой контур. Набор специализированных ИИ-агентов самостоятельно проводит разведку, сканирует сервисы на наличие брешей и генерирует финальный технический отчет.

🟦90% успеха: Эффективность связки моделей протестировали на профильных бенчмарках - из 104 комплексных ИБ-задач агенты успешно находят векторы атаки в 90% случаев с первой попытки.

🟦Практический полигон: Инструмент позиционируется как открытая база для изучения наступательной безопасности и оперативного тестирования собственных сетей на прочность.

Агентная автоматизация окончательно закрепилась в сфере ИБ. 🦔 CyberYozh

Рекомендация — это работа — Как заставить рекомендовать? — спросил фаундер — Никак Предприниматели думают, что сарафанное радио рождает вау-продукт. Они облизывают пользователей — а те говорят «спасибо» и уходят в закат. Мы забываем, что рекомендация — это работа. Один чувак привел двух друзей на мой курс. Ему нужна была бесплатная консультация и пару интро. Это самый нижний уровень — виральность продавца. Я тебе — ты мне. Второй привел троих, чтобы получить статус партнера стартап-студии. Это — борьба за статус, виральность нарцисса. Третий с удовольствием раздал людям доступ к «секретному» модулю. Показал, что он может открыть двери туда, куда других не пускают. Виральность привратника. А еще один просто рекомендовал друзьям, которые мучаются. Я называю это виральностью спасителя. И знаете, ни один не думал «помогу-ка я Андрею с привлечением». Каждый экономил, понтовался, властвовал, спасал. Вопрос «как заставить рекомендовать нас» — тупиковый. Правильный: какую свою работу выполнит человек, рассказав про твой продукт? Нет ответа — нет и рекомендаций. 16.