«Яндекс» выложил в открытый доступ YTsaurus Flowi — технологию для непрерывной обработки больших потоков данных (кликов, лайков, заказов и других событий) без накопления их в пакеты. Это не экспериментальная разработка: движок уже работает в продакшене внутри сервисов компании — Маркете, Рекламе и антифрод-системах.
Flow встроен в YTsaurus, открытую платформу «Яндекса» для работы с большими данными, ориентированную на крупный бизнес. Технология обрабатывает события «день в день», а не с задержкой в часы, за счёт чего алгоритмы быстрее замечают смену интересов пользователей и точнее подбирают рекламу, товары и рекомендации.
100 ГБданных в секунду в Яндекс Рекламе
>10 часовпрежняя задержка подготовки данных для моделей
Apache 2.0лицензия открытого кода