Архитектура Serverless Queue в MWS Cloud Platform
Х@habr_comмедиа / агрегатор
1 месРазбор архитектуры Serverless Queue в MWS Cloud Platform: как реализована работа с Kafka без привязки данных к брокерам и использование S3.
Это решение упрощает эксплуатацию Kafka, избавляя инженеров от ручного управления инфраструктурой брокеров.
- Устраняет необходимость в управлении локальными дисками и репликацией.
- Позволяет масштабировать хранение данных независимо от вычислительных мощностей брокеров.
- Сохраняет совместимость с существующими Kafka-клиентами.
Очередь без серверов и головной боли: как устроен Serverless Queue в MWS Cloud Platform
У Kafka есть неприятная эксплуатационная сторона: локальные диски брокеров, репликация, перераспределение партиций и планирование ёмкости. В MWS Cloud Platform попробовали убрать из этой схемы саму необходимость привязывать данные к брокерам.
В Serverless Queue любой брокер может принять запрос в любую партицию, сообщения хранятся отдельно от него, а Kafka-клиент продолжает работать с привычным протоколом. Сообщения разных топиков и разных арендаторов могут храниться внутри одного S3-объекта.
За отсутствие собственного Kafka-кластера и перемещения данных приходится платить другим свойством системы. Узнаем, где именно проходит этот компромисс и как вокруг него устроена архитектура из семи Go-сервисов.
Кратко (AI)
В MWS Cloud Platform разработали Serverless Queue, которая избавляет от необходимости управлять брокерами и дисками Kafka. Система отделяет хранение данных от брокеров, используя S3 для хранения сообщений, при этом сохраняя совместимость с протоколом Kafka.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖