Очередь без серверов и головной боли: как устроен Serverless Queue в MWS Cloud Platform У Kafka есть неприятная эксплуатационная сторона: локальные диски брокеров, репликация, перераспределение партиций и планирование ёмкости. В MWS Cloud Platform попробовали убрать из этой схемы саму необходимость привязывать данные к брокерам. В Serverless Queue любой брокер может принять запрос в любую партицию, сообщения хранятся отдельно от него, а Kafka-клиент продолжает работать с привычным протоколом. Сообщения разных топиков и разных арендаторов могут храниться внутри одного S3-объекта. За отсутствие собственного Kafka-кластера и перемещения данных приходится платить другим свойством системы. Узнаем, где именно проходит этот компромисс и как вокруг него устроена архитектура из семи Go-сервисов.