Т-Банк представил open-source фреймворк Perseus для рекомендательных систем

Т-Банк выпустил опенсорсный рекомендательный фреймворк Perseus Как и многие крупные компании, T-Банк – это экосистема, которая построена на множестве разных сервисов. Раньше у каждого из таких сервисов была отдельная рекомендательная система. Это, в свою очередь, пораждает множество инфраструктурных неудобств, проблемы с холодным стартом и так далее. Perseus решает эту проблему. В субботу на Turbo ML мы посетили доклад Кирилла Ляхновича про новый фрейморк, и вот, как он работает 🔽 По сути, это масштабная перестройка всего подхода к экосистемным рекомендациям: вместо отдельных наборов признаков все действия пользователя теперь сваливаются в единую последовательность, как в известном SASRec. – Действия пользователя со всех сервисов хронологически собираются в единую базу, и эмбеддинги (это важно) обучаются универсально для всех доменов с помощью разных энкодеров; – Товары описываются текстовыми эмбеддингами, чтобы одинаковые продукты с разными ID в разных магазинах модель воспринимала как одно и то же понятие; – Инженерно все сделано так, чтобы при обучении не было утечек будущего, а на инференсе не приходилось пересчитывать тяжелые артефакты. Основное преимущество и уникальность фреймворка в том, что применение не ограничивается рекомендациями. Ядро – это построение единого вектора пользователя из его последовательности действий, а дальше к этому вектору просто прикручивается task head под конкретную задачу в конфиге, без переписывания пайплайна сбора и обработки данных. Причем на вход можно подавать любые данные. То есть та же архитектура готова, например, для решения задачи того, интересен ли пользователю продукт или для оценки дохода по истории транзакций. Эффект от такой переупаковки получился, само собой, масштабный. В частности, Perseus отлично решает проблему холодного старта: в разных задачах сразу удалось повысить бизнес метрики на +17%, даже если у пользователя не было покупок. В общем, огромная и важная работа. Приятнее всего – открытый код. Огромный простор для экспериментов и переиспользования.