Команда, работавшая над проектом год, представила WebPageBenchi — локальную тестовую среду для оценки ИИ-агентов, выполняющих повседневные задачи на сайтах (покупки, бронирование билетов и отелей, заказ справок) на русском языке. Ключевая идея: вместо реальных сайтов, где интерфейсы меняются, антибот блокирует прогоны, а заказы с оплатой становятся настоящими, используются шесть мок-версий популярных сервисов, где каждое действие агента фиксируется в лог и проверяется автоматически, а не со слов самого агента.

Бенчмарк важен, потому что впервые показывает объективный разрыв между тем, что агенты сообщают о своей работе, и тем, что они реально сделали — а разрыв оказался значительным.

Полный разбор →