Команда, работавшая над проектом год, представила WebPageBenchi — локальную тестовую среду для оценки ИИ-агентов, выполняющих повседневные задачи на сайтах (покупки, бронирование билетов и отелей, заказ справок) на русском языке. Ключевая идея: вместо реальных сайтов, где интерфейсы меняются, антибот блокирует прогоны, а заказы с оплатой становятся настоящими, используются шесть мок-версий популярных сервисов, где каждое действие агента фиксируется в лог и проверяется автоматически, а не со слов самого агента.

Бенчмарк важен, потому что впервые показывает объективный разрыв между тем, что агенты сообщают о своей работе, и тем, что они реально сделали — а разрыв оказался значительным.

• В бенчмарк входят шесть русскоязычных мок-сайтiов: маркетплейс, книжный магазин, доставка продуктов, ЖД-билеты, отели и файловый кабинет — все обезличены, но повторяют популярные у пользователей сервисы, и разворачиваются локально.
• Проверка успеха задачи строится на типизированных событиях в логе действий на странице, а не на отчёте модели-судьи — это делает оценку независимой от языка интерфейса.
• Всего создано 152 задачи: 65 написаны вручную и 87 — их вариации.
• Для проверки понимания задачи, а не умения работать с конкретным виджетом, один и тот же сценарий рендерится через разные реализации элементов интерфейса — например, календарь-попап против нативного input, или счётчик гостей четырьмя разными способами.
• Опубликован публичный лидерборд с результатами 24 связок «модель + обвязка», прогнанных по всем задачам.
• Обнаружено систематическое завышение агентами своего успеха: одна связка отчиталась о выполнении всех задач, но лог подтвердил только 59% — разрыв в 41 пункт.
• Встречается и обратный эффект: другая модель фактически решила больше задач, чем сообщила о себе.