Окей. Может тогда перенесем инфраструктуру в Сибирь? Туда дроны хотя и долетают, но не так интенсивно. Вот десять пунктов, что и это плохая идея: 1. Задержки. Основные пользователи и сервисы сосредоточены в Москве и европейской части страны. До Новосибирска около 3 тысяч километров, до Иркутска больше 4 тысяч, это десятки миллисекунд на каждый запрос туда и обратно. Для платежей, биржевой торговли, игр, видео, баз данных с частыми обращениями это заметная деградация. Многие системы, особенно банковские, просто не рассчитаны на такую задержку между приложением и данными. 2. Узкое горло магистралей. Через Урал проходит ограниченное число магистральных оптических трасс, в основном вдоль железных дорог и трубопроводов. Их ёмкости не хватит, если перенести туда существенную часть нагрузки. Новые трассы стоят дорого и строятся годами. И главное, эти трассы на всём протяжении до Москвы остаются уязвимыми. 3. Энергодефицит. Дешёвая гидроэнергия в Сибири давно распределена: алюминиевые заводы, промышленность, майнинг. На юге Сибири, в частности в Иркутской области, уже есть дефицит мощности, из-за которого ограничивают майнинг. Для новых ЦОДов нужны новые генерация, подстанции и сети, это годы и большие деньги. Маловодные годы снижают выработку ГЭС. 4. Дальность беспилотников растёт. Зона досягаемости уже вышла далеко за пределы приграничья и продолжает расширяться. Объект, который сегодня кажется глубоким тылом, через пару лет может оказаться в зоне поражения, а ЦОД строится на 15–20 лет эксплуатации. 5. Кадры. ЦОДу нужны инженеры по электрике, охлаждению, сетям, круглосуточные смены. В Сибири вне крупных городов таких людей нет, их придётся переманивать и платить больше. Крупные города вроде Новосибирска и Красноярска рынок труда не решают полностью. 6. Клиенты хотят быть рядом. В колокейшн клиенты ставят собственное оборудование и регулярно ездят его обслуживать. Компании из Москвы не будут летать в Сибирь менять диск или подключать новый сервер. Удалённые руки площадки частично решают это, но не полностью. 7. Логистика оборудования. Серверы и запчасти и так идут через параллельный импорт с задержками. Доставка вглубь страны добавляет время и стоимость, а при поломке сервис и замена растягиваются. Для крупного оборудования вроде трансформаторов и чиллеров нужен отдельный транспорт. 8. Климат. Холод помогает охлаждению, это плюс. Но строительный сезон короткий, морозы в минус 40 осложняют работу дизель-генераторов и наружного оборудования, а летом в Сибири бывает жара за 35 градусов, так что системы охлаждения всё равно нужны полноценные. 9. Деньги и сроки. Строить ЦОД с нуля вместе с энергетикой, связью и жильём для персонала дороже и дольше, чем в Подмосковье. При дорогом кредите и сжатом рынке капитала такие проекты не окупаются без государства, а у государства тоже ограниченные ресурсы. 10. Уязвимость всё равно остаётся в Москве. Точки обмена трафиком, основные узлы связи, головные офисы, пользователи и платёжная инфраструктура находятся в европейской части. Удалённый ЦОД без работающей связи и узлов в Москве бесполезен. Сибирская площадка годится как резервная копия, но не как замена основной инфраструктуре.

Куча народу написали, что "а почему вот не начать бы переносить ЦОДы под землю, в бомбоубежища". Тем более, что вроде как этих бомбоубежищ с совка осталось много. Прежде чем объяснять, вот нашел такой репортаж еще с Нага от августа 2017 года (б-же, почти 10 лет прошло — как один день!)

«Ростелеком» впервые показал общественности некогда секретный объект, а ныне — магистральный узел связи, находящийся буквально на стыке Европы и Азии. Несколько гектаров земли и настоящие подземные катакомбы, где современное оборудование соседствует с музейными экспонатами.

А теперь 10 раз почему перенос ДЦ в бомбоубежища — глупость: 1. Тепло некуда девать. ЦОД превращает почти всё потребляемое электричество в тепло, это мегаватты непрерывно. Под землёй его надо выводить наверх через чиллеры, градирни и сухие охладители, которые стоят на поверхности и уязвимы так же, как раньше. Грунт сам по себе тепло почти не отводит и за месяцы прогревается. Вентиляционные шахты нужны большого сечения, и это тоже уязвимые точки. 2. Электричество приходит с поверхности. Крупный ЦОД потребляет десятки мегаватт: ЛЭП, своя подстанция, трансформаторы. Если ударить по подстанции, бункер не поможет. Дизель-генераторам нужны забор воздуха, выхлоп и запас топлива. Держать их под землёй сложно и опасно, а наверху они такая же мишень. 3. Связь тоже на поверхности. Ценность ЦОДа в подключении к магистральной оптике и точкам обмена трафиком. Кабельные коллекторы, колодцы и узлы присоединения остаются снаружи. Машинный зал можно закопать, сеть нельзя. 4. Бомбоубежища для этого не подходят. Это небольшие помещения с низкими потолками. Перекрытия рассчитаны на людей, а не на стойки весом под тонну каждая. Нет места под фальшпол, кабельные трассы и кондиционеры. Сырость, протечки, грунтовые воды и затопления губят электронику. Проёмы и лестницы не позволяют завезти крупное оборудование вроде ИБП, трансформаторов и чиллеров. Юридически это объекты гражданской обороны со своим режимом, и полностью перепрофилировать их нельзя. 5. Масштаб. Современный коммерческий ЦОД занимает тысячи стоек и десятки тысяч квадратных метров. Подземных объёмов такого размера готовыми не существует, их надо копать заново. 6. Деньги и сроки. Подземное строительство в разы дороже наземного и занимает годы: проектирование, геология, гидроизоляция, согласования. При высокой ключевой ставке и дорогом кредите такие проекты не окупаются. Рынок ЦОДов в России и так упирается в нехватку денег и мощностей. 7. Санкции и оборудование. Серверы, СХД, ИБП, системы охлаждения в основном импортные и завозятся через параллельный импорт дорого и с задержками. Строить новые объекты не из чего, а переносить старое оборудование рискованно: при перевозке часть выходит из строя, запчастей мало. 8. Переезд означает простой. Миграция работающего ЦОДа делается месяцами и требует второй площадки, куда сначала переносят нагрузку. Для банков, госсервисов и операторов остановка недопустима, значит нужно строить параллельно, то есть удваивать затраты. 9. Нормы и безопасность. Газовое пожаротушение, эвакуация персонала, дымоудаление, требования к подземным сооружениям. Под землёй всё это сложнее и дороже, а сертифицировать такой объект по стандартам надёжности тяжелее. 10. Это решает не ту задачу. Защищённый машинный зал не спасает от удара по энергосистеме, связи или охлаждению. Дешевле и эффективнее резервирование: несколько географически разнесённых площадок, репликация данных, автоматическое переключение нагрузки. Отрасль идёт этим путём, а не в бункеры.

Пока на выходных писал про атаки на ЦОДы - поймал себя на вот какой мысли: Вся интернет-инфраструктура (не только в РФ, а вообще в мире) проектировалась исключительно под мирное время. Смотрите, классическая отказоустойчивость в IT - это защита либо от случайностей, либо от дурака. А-ля "в серверной коротнуло", "экскаватор перебил провод", "якорь зацепил кабель на дне моря", типа такого. Отсюда вытекает и конфигурация всей айти-инфры - вплоть до того, что несколько магистральных кабелей могут проложить через одну узкую и (как потом окажется) опасную точку. Такая логика айтишки вытекает из допущения, что два и более независимых сбоя не могут случиться одновременно. Допущение справедливое, но в не-мирное время оно просто теряет смысл. Когда начинается движуха, и возникает реальный противник, логика становится неактуальной. Потому что противник бьёт не случайно, а спланированно и целенаправленно. Он специально выберет цель, где всё сходится в одной точке, и урон будет максимальным. Возьмём даже не РФ, а, например, Красное море. Сейчас его сложно назвать спокойным местом, правда? А ведь на его дне лежат сразу несколько здоровенных кабелей, через которые идёт >90% всей пропускной способности между Европой и Азией. И все эти кабели проходят через Баб-эль-Мандеб - пролив шириной менее 32 км, на берегу которого сидят хуситы. То есть, проложи ты там хоть 100500 разных кабелей - с точки зрения уязвимости это просто один мега-кабель с кучей разных шильдиков. Более того, даже если специально не бить в дата-центры и не резать кабели, всё равно айти-инфра в неспокойное время ложится на изи. Вот яркий пример - 18 февраля 2024 года хуситы попали противокорабельной ракетой в сухогруз. Экипаж успели эвакуировать, а судно просто бросили. Оно дрейфовало почти две недели и тащило за собой якорь. И этот якорь перебил три магистральных кабеля. В мирное время это был бы ужас, но не ужас-ужас-ужас, но в той ситуации их пришлось чинить долгие месяцы, потому что ремонтные суда ждали гарантий, что по ним не будут стрелять. С дата-центрами такая же фигня. Огромный мега-ЦОД полностью оправдан с точки зрения бизнеса, ибо эффект масштаба, дешёвый ватт и т.д., но ему надо сбрасывать дохрена тепла, в бункер его не закопаешь. А значит, это в любом случае будет огромная коробка с подстанцией, которую видно со спутника. А внутри сидят тысячи чужих бизнесов. В марте иранские дроны выбили 2 из 3 зон доступности Amazon в ОАЭ, и в регионе легли почти все банковские приложения. Сама AWS посоветовала клиентам переезжать в другие регионы - по сути признала, что какой-либо резерв внутри региона от войны не спасает. Получается, лет двадцать экономика интернета играла в концентрацию, и в мирное время это было преимуществом. Но в не очень мирное (я говорю даже не про большую войну, а вот про что, что сейчас в мире происходит) - превращается в огромную уязвимость. Бигтех это понимает и потихоньку начинает перестраиваться. Rest of World пишет, что Google купил волокно вдоль турецких трубопроводов (в том числе - ради большей защищённости) с переплатой в 2-3 раза, а Google и Цукерберг пускают часть трафика вообще через Ирак (Ирак у нас теперь "безопасный обход", дожили 😈). При этом, один из топ-менеджеров иракского оператора IQ Networks (который как раз делает "обходной путь") прямо говорит, что облачные компании всё чаще закладывают "афганский сценарий", где мир просто признаёт контроль хуситов над проливом новой нормой. То есть, пока дипломаты играют в урегулирование - ИТ-гиганты просто голосуют деньгами за новый порядок (назовём это так). Выводы я тут расписывать не буду, и так вышло многобукаф. Но что интернету (включая всю его инфру) придётся очень сильно меняться под новые реалии на земле - это как пить дать. Это будет очень дорого, но выбора нет. Дизраптор