Яндекс открыл исходный код YTsaurus Flow
Х@habr_comмедиа / агрегатор
2 недЯндекс открыл исходный код YTsaurus Flow — движка для потоковой обработки данных с поддержкой exactly-once и отказоустойчивостью при сбоях дата-центров.
Открытие кода YTsaurus Flow дает разработчикам доступ к высокопроизводительному инструменту для обработки потоковых данных в реальном времени.
- Система гарантирует доставку сообщений без потерь и дублей (exactly-once).
- Архитектура поддерживает работу при сбоях в дата-центрах.
- Инструмент оптимизирован для обработки сверхвысоких нагрузок (более 100 ГБ/с).
- Открытая лицензия Apache 2.0 позволяет использовать технологию в сторонних проектах.
Открываем код YTsaurus Flow: как обрабатывать более 100 ГБ/с в реальном времени без потерь и дублей
Держать относительно низкую end-to-end-задержку в штатном режиме не так сложно. Гораздо веселее становится, когда нужно сохранить её при сбоях, не потерять и не задублировать сообщения, управлять долгосрочным состоянием и продолжать работу даже при выпадении целого дата-центра. Для таких задач в Яндексе сделали YTsaurus Flow — движок потоковой обработки с состоянием и exactly-once по умолчанию. Теперь его исходный код открыт под Apache 2.0.
Узнаем, как устроены пайплайны Flow, где проходят границы его гарантий и за счёт каких архитектурных решений всё это работает на реальной нагрузке.
Кратко (AI)
Яндекс открыл исходный код YTsaurus Flow, движка для потоковой обработки данных, распространяемого под лицензией Apache 2.0. Система обеспечивает обработку данных со скоростью более 100 ГБ/с с гарантиями exactly-once и сохранением работоспособности даже при выходе из строя целого дата-центра.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖