Управление проектами в условиях катастрофических сбоев
J@junior_pmAI-инженер
2 недРазбор стратегий управления рисками и коммуникации в условиях масштабных сбоев инфраструктуры на примере инцидентов в Яндекс, Cloudflare и других.
Понимание того, как действовать при внезапном отказе критической инфраструктуры, помогает бизнесу минимизировать репутационные и финансовые потери.
- Необходимость формального согласования рисков с руководством до наступления кризиса.
- Важность назначения лидера с полномочиями по перераспределению ресурсов в момент аварии.
- Приоритет прозрачной коммуникации со стейкхолдерами для снижения неопределенности.
#рецепт
Что общего у ЦОДов Яндекса, концерта Канье и Cloudflare? Часть 1
Дорогой читатель, последние три дня урок катастрофы для многих. Яндекс сообщил о повреждении ЦОДов в Сасове и Калуге, затем во Владимире. При мне был также блэкаут, что перенёс концерт Канье, а сбой Cloudflare не только лишил клиентов доступа к сайтам, ну и случился прямо перед демо моего крупного OSS . Общее: ключевая опора проекта исчезает помимо твоей воли
Проджектов учат управлять рисками: заболеет тестировщик -> сдвинется релиз. Человека можно заменить. А если недоступна вся команда и взять людей негде? Катастрофа редкое, часто невообразимое событие с последствиями на уровне компании и её репутации. Такое не внесёшь в реестр рисков и не добавишь в буфер пару дней. Нас не учат, что делать, когда план уже бессмысленен, люди сильно теряются
Поэтому до кризиса я бы спрашивал себя не только "что может сломаться?", но и "что будет, если сутки нет платежей, связи с подрядчиком или доступа к продукту?". Вынести руководству варианты: резервный банк стоит столько-то; без него останавливаются платежи. Покупаем резерв или сознательно принимаем простой: предупреждаем клиентов, переключаем людей на другие задачи. Пусть ответственный за последствия подтвердит выбор печатно, что да принимаем, кто решил, когда пересмотрим. Хороший пример рекомендаций на такое в https://www.gov.uk/government/publications/orange-book, как муниципалитет должен реагировать на алярмы
Проджект не может единолично принять риск для всей компании
Когда катастрофа случилась, прежние сроки и обещания перестают быть планом. Нужен кризисный режим: эскалировать, назначить лидера с правом менять ресурсы, сроки и обязательства, фиксировать новые приоритеты и решения
Есть полномочия -> действуй. Нет -> собери подтверждённые факты и неизвестное, назови ответственных, время следующего обновления и последствия для старых обязательств. Даже просто в моменте когда пахнет жареным дернуть лидов на синк посреди дня уже отлично, всегда можно извиниться если произошла ошибка, но такая реакция может сильно помочь в случае беды. Прокоммунцируй со стейкхолдерами, скажи: "Релиз в пятницу не состоится. Сейчас команда восстанавливает платежи; остальные сроки пересмотрим завтра, будем держать в курсе изменений"
Хороший проджект должен понимать - людей очень пугает неопределенность и неизвестность. Страху отлично противодействуют: эмпатия, искренность, уважение, подотчетность и уверенность. Без ИБД
Гасится паника: всем виден порядок действий, инженеров не дёргают лишними запросами. У Google SRE для этого отдельно разведены командование, восстановление и коммуникации
Если вы сейчас вытаскиваете сервисы или людей из такого кризиса, сил вам
Кратко (AI)
Автор анализирует уроки недавних масштабных сбоев в работе инфраструктуры Яндекса и Cloudflare, предлагая подходы к управлению проектами в условиях катастроф. Основной акцент сделан на необходимости формализации рисков, делегировании полномочий при кризисе и важности прозрачной коммуникации для снижения паники в команде.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖