«Яндекс» выложил в открытый доступ YTsaurus Flowi — технологию для непрерывной обработки больших потоков данных (кликов, лайков, заказов и других событий) без накопления их в пакеты. Это не экспериментальная разработка: движок уже работает в продакшене внутри сервисов компании — Маркете, Рекламе и антифрод-системах.

Flow встроен в YTsaurus, открытую платформу «Яндекса» для работы с большими данными, ориентированную на крупный бизнес. Технология обрабатывает события «день в день», а не с задержкой в часы, за счёт чего алгоритмы быстрее замечают смену интересов пользователей и точнее подбирают рекламу, товары и рекомендации.

• Код опубликован под лицензией Apache 2.0i, что позволяет использовать его в коммерческих проектах; репозиторий — github.com/ytsaurus/ytsaurus/tree/main/yt/yt/flow
• В Яндекс Рекламе нагрузка на Flow превышает 100 ГБ данных и миллионы событий ежесекундно; подготовка данных для дообучения части рекламных моделей раньше занимала более 10 часов, теперь задержка почти полностью устранена
• Маркет использует Flow для оперативной статистики и быстрой реакции на изменения спроса, антифрод-системы — для обнаружения действий злоумышленников
• Flow работает в режиме exactly-oncei: каждое событие учитывается ровно один раз, без потерь и дублей; при сбоях нагрузка перераспределяется между доступными серверами
• По данным технического разбора на Хабре, движок сохраняет гарантии даже при выпадении целого дата-центра, управляя долгосрочным состоянием пайплайнов
• Благодаря Flow накопленные и свежие данные можно обрабатывать в единой системе, не разделяя их на пакетные и потоковые процессы
• Возможные сферы применения за пределами «Яндекса»: подготовка обучающих выборок для ML, актуализация данных на сайтах и в приложениях, счётчики просмотров, кликов и заказов