Отказоустойчивость инфраструктуры Яндекс после инцидентов в ЦОД

Про Яндекс и дата-центры Думаю, вы в курсе, что на неделе пострадали два дата-центра Яндекса - в Сасово и в Калуге. Лично я узнал об этом из новостей, а не из того, что у меня что-то сломалось - я всё так же юзал Карты, Музыку, Почту, Диск и т.д. (что кое-что да говорит об уровне купирования, но об этом ниже). Видел, что многие каналы Яндекс поддержали, и мне тоже очень хочется это сделать - не только потому что Яндекс мой давний и один из самых крупных партнёров (чему я очень рад), но ещё и потому что там работает настолько много моих друзей/знакомых, что если я сгоняю в офис Яндекса, то рука здороваться устанет. Но мне хочется не просто сказать "всё будет нормас" (хотя всё будет нормас), но и объяснить, ПОЧЕМУ всё будет нормас. Итак, думаю, вы в курсе, что облако - это не просто данные где-то в воздухе висят, а вполне конкретные здания с серверами, электричеством, охлаждением и т.д. И главный прикол в том, что таких зданий НЕСКОЛЬКО. Потому что вся система изначально строится из расчёта, что любое из них может выпасть (не сломаться частично, а выпасть из сети целиком) по какой-то причине, а такси и файлы всё равно должны ехать. Работает это примерно так: - Сервисы и данные разложены по нескольким площадкам (их называют зонами доступности), а копии живут одновременно в разных местах. - У каждой площадки есть запас мощности, чтобы подхватить нагрузку соседки, которой поплохело. - Когда одна выпадает, вычисления и трафик перекидывают на остальные - и в идеале пользователь видит разве что пару секунд задумчивости приложения. Звучит просто, но на практике это одна из самых сложных инженерных задач, которые вообще есть. Но благодаря этому нагрузку из Сасово за одну ночь перекинули на другие ЦОДы, и к утру всё уже крутилось дальше. Понятно, что идеально не бывает, при перекидывании трафика есть фрикции. Поэтому часть сервисов и клиентов облака какое-то время сбоила. Но если сравнить масштаб - два дата-центра, тысячи серверов - с тем, что почувствовал обычный человек с телефоном, это почти магия. И за этой разницей стоит не только архитектуры и система, но и люди. Как я уже сказал, ребят оттуда я знаю лично, и примерно знаю, какая работа там сейчас кипит днём и ночью. Поэтому, чуваки, вы обязательно справитесь, в вас верим однозначно, и огромное вам спасибо, что удаётся узнавать всё это говно из новостей, а не из неработающего сервиса! P.S. Как сейчас перераспределяют мощности между площадками и почему часть клиентов временно переезжает даже в другие облака - ща расскажу отдельным постом.