Представлен Needle — динамический бенчмарк для поисковых движков
С@senior_augurAI-инженер
вчераКоманда Keenable представила Needle, новый бенчмарк для оценки поисковых систем, использующий ежедневно обновляемые данные из пяти источников.
Новый стандарт оценки поисковых систем помогает понять, насколько актуальные данные на самом деле находит ИИ.
- Традиционные бенчмарки быстро устаревают, так как модели запоминают ответы на статические вопросы.
- Needle использует динамически обновляемые источники, что делает невозможным «зазубривание» ответов поисковиками.
- Инструмент позволяет объективно сравнить качество поиска между различными компаниями и моделями.
Сделали пост про бенмарк: https://keenable.ai/blog/needle-the-benchmark-your-search-engine-can-t-memorize
Твит: https://x.com/styskin/status/2092991543368184076
TL;DR
• Не существовало нормальных бенчей для поисковых движков. BrowseComp, DeepSearchQA, SimpleQA статичны и сделаны для измерения агентов, и уже давным давно утекли. MTEB, BEIR - для конкретных моделей и алгоритмов, не для движков в целом.
• Поэтому пришлось делать нормальный онлайн бенчмарк, в котором каждый день новые свежие запросы. Там 5 источников: новости, научные статьи, финансовые документы компаний, американские судебные дела и логи агентов с HuggingFace.
• Внутри компании дофига времени карабкались по этому бенчу, вскарабкались.
• Пока карабкались, обнаружили, что конкуренты тырят результаты друг у друга (на картинке).
• Кроме нас, нормально работает и карабкается только Exa. Серьёзно, моё уважение к ним за последние месяцы выросло стократно.
Кратко (AI)
Компания Keenable выпустила Needle, бенчмарк для поисковых систем, решающий проблему устаревания данных в существующих тестах. Система ежедневно обновляет запросы на основе новостей, научных статей, финансовых отчетов, судебных дел и логов HuggingFace, что позволяет оценивать реальную способность движков находить актуальную информацию.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖