← к ленте

Sakana AI представила QD-Rec для поиска разнообразных рекомендаций

4 дн

QD-Rec ищет разнообразные пары «кандидат — гипотеза» и показывает лучшие результаты на задачах подбора компаний и покупателей.

Метод помогает получать не один самый высокий по рейтингу вариант, а набор разных объяснимых идей для выбора.

  • В тестах QD-Rec улучшил оценки при поиске компаний для Disney и JPMorgan.
  • При подборе научных статей заметного преимущества не было.
  • Оценки языковой модели могут подталкивать систему угождать судье, поэтому авторы советуют подключать человека.
🌟 Sakana AI предложила метод рекомендаций, который ищет набор разных вариантов QD-Rec - метод подбора рекомендаций для решений, где человеку важно сравнить варианты, а не получить один ответ. Единица поиска здесь не сам кандидат, будь то компания, клиент или научная статья, а пара из кандидата и гипотезы, то есть написанного словами объяснения, чем он подходит и что с ним можно сделать. 🟡Механика В основе лежит идея качества и разнообразия из эволюционных алгоритмов. Система ведёт архив удачных пар и крутит один и тот же цикл из трёх шагов. Сначала кандидата выбирает алгоритм, который взвешивает прошлые оценки и добавляет бонус за непохожесть на то, что уже в архиве. Затем языковая модель пишет гипотезу, опираясь на три случайные записи архива как на родительские, и либо переносит их угол зрения на нового кандидата, либо скрещивает две идеи, либо предлагает что-то своё. Наконец новая пара проходит отбор. Если судья считает её довод реально новым, она занимает отдельную нишу, если нет, спорит один на один с ближайшим соседом по смыслу, и проигравший вылетает.
Общего рейтинга нет, поэтому непохожие идеи уживаются рядом.
🟡Тесты Проверяли на трёх задачах. В первой система искала среди 6300 американских компаний цели для поглощения покупателями Disney и JPMorgan. Во второй подбирала покупателей продукта среди 10 тысяч вымышленных профилей, в третьей советовала статьи из 17,5 тысячи работ с недавних конференций.
Гипотезы писали модели Claude, оценивала их GPT-5.6 Terra.
На поиске целей для Disney средняя оценка архива составила 2,91 против 2,40 у упрощённого варианта, который пишет каждую гипотезу с нуля и в архив не заглядывает, а сам архив вырос до 214 записей против 85. Для JPMorgan вышло 3,04 против 2,88, в маркетинге 7,05 против 6,81. На подборе статей разницы почти нет, 6,24 у всех вариантов. Выигрывает метод не везде. С моделью послабее на одной из задач он уступил упрощённому варианту и по оценке, и по размеру архива.
Оценки ставит языковая модель, а значит, система может научиться угождать судье вместо того, чтобы придумывать дельное, и авторы советуют подключать человека. Про это надо просто помнить.
Код проекта выложен на GitHub, модели подключаются через OpenRouter. 📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Arxiv 🖥GitHub @ai_machinelearning_big_data #AI #ML #Recomendation #QDRec #SakanaAI
Sakana AI представила QD-Rec для поиска разнообразных рекомендаций

Кратко (AI)

Sakana AI описала QD-Rec — метод рекомендаций, который сохраняет разнообразные пары кандидатов и объяснений вместо ранжирования вариантов по общему рейтингу. В тестах он улучшил результаты на поиске целей для поглощения и подборе покупателей, но почти не отличался от сравниваемых вариантов при рекомендации научных статей; авторы также отмечают риск подстройки под оценку языковой модели.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖