Как в MWS Cloud тестировали отказоустойчивость платформы
Х@habr_comмедиа / агрегатор
1 месИстория о том, как в MWS Cloud проводили стресс-тест отказоустойчивости платформы, имитируя отказ целой зоны доступности, и к каким последствиям это привело.
Даже спроектированные под отказоустойчивость облачные системы могут полностью отказать при реальном тестировании.
- Теоретическая архитектурная защита не гарантирует работоспособность при комплексных сбоях.
- Сложные системы часто имеют скрытые зависимости, которые проявляются только в критических ситуациях.
- Регулярное тестирование инфраструктуры на отказ (Chaos Engineering) критически важно для облачных провайдеров.
Как в MWS Cloud тестировали отказоустойчивость платформы и при чём тут швейцарский сыр
Облако проектировали так, чтобы оно пережило потерю целого дата-центра: диски и сетевые карты отваливаются только в путь, площадки склонны отмирать, а над двумя линиями оптики в десяти километрах друг от друга идут две независимые стройки, где операторы экскаваторов начинают рабочий день в одно и то же время. Всё это заложено в архитектуру. И прежде чем сказать рынку «у нас теперь тоже облако», решили проверить честно — погасить зону доступности прямо на проде. Неделя подготовки, сорок инженеров в чате, отдельный логотип для координации.
День X: гасят внешние линки одной зоны. По ощущениям — легло всё. Консоль недоступна целиком, объектное хранилище тоже. В системе, которую с фундамента строили ровно под этот сценарий.
А дальше — чуть больше двух недель разбора, как в такой конструкции дырки на всех слоях защиты умудрились выстроиться в одну линию.
Кратко (AI)
Команда MWS Cloud провела стресс-тест своей облачной платформы, имитируя отключение целой зоны доступности. Несмотря на архитектурную готовность к таким сбоям, реальный тест привел к полной недоступности сервисов, что потребовало двух недель детального анализа причин системного отказа.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖