IT

Окей. Может тогда перенесем инфраструктуру в Сибирь? Туда дроны хотя и долетают, но не так интенсивно. Вот десять пунктов, что и это плохая идея: 1. Задержки. Основные пользователи и сервисы сосредоточены в Москве и европейской части страны. До Новосибирска около 3 тысяч километров, до Иркутска больше 4 тысяч, это десятки миллисекунд на каждый запрос туда и обратно. Для платежей, биржевой торговли, игр, видео, баз данных с частыми обращениями это заметная деградация. Многие системы, особенно банковские, просто не рассчитаны на такую задержку между приложением и данными. 2. Узкое горло магистралей. Через Урал проходит ограниченное число магистральных оптических трасс, в основном вдоль железных дорог и трубопроводов. Их ёмкости не хватит, если перенести туда существенную часть нагрузки. Новые трассы стоят дорого и строятся годами. И главное, эти трассы на всём протяжении до Москвы остаются уязвимыми. 3. Энергодефицит. Дешёвая гидроэнергия в Сибири давно распределена: алюминиевые заводы, промышленность, майнинг. На юге Сибири, в частности в Иркутской области, уже есть дефицит мощности, из-за которого ограничивают майнинг. Для новых ЦОДов нужны новые генерация, подстанции и сети, это годы и большие деньги. Маловодные годы снижают выработку ГЭС. 4. Дальность беспилотников растёт. Зона досягаемости уже вышла далеко за пределы приграничья и продолжает расширяться. Объект, который сегодня кажется глубоким тылом, через пару лет может оказаться в зоне поражения, а ЦОД строится на 15–20 лет эксплуатации. 5. Кадры. ЦОДу нужны инженеры по электрике, охлаждению, сетям, круглосуточные смены. В Сибири вне крупных городов таких людей нет, их придётся переманивать и платить больше. Крупные города вроде Новосибирска и Красноярска рынок труда не решают полностью. 6. Клиенты хотят быть рядом. В колокейшн клиенты ставят собственное оборудование и регулярно ездят его обслуживать. Компании из Москвы не будут летать в Сибирь менять диск или подключать новый сервер. Удалённые руки площадки частично решают это, но не полностью. 7. Логистика оборудования. Серверы и запчасти и так идут через параллельный импорт с задержками. Доставка вглубь страны добавляет время и стоимость, а при поломке сервис и замена растягиваются. Для крупного оборудования вроде трансформаторов и чиллеров нужен отдельный транспорт. 8. Климат. Холод помогает охлаждению, это плюс. Но строительный сезон короткий, морозы в минус 40 осложняют работу дизель-генераторов и наружного оборудования, а летом в Сибири бывает жара за 35 градусов, так что системы охлаждения всё равно нужны полноценные. 9. Деньги и сроки. Строить ЦОД с нуля вместе с энергетикой, связью и жильём для персонала дороже и дольше, чем в Подмосковье. При дорогом кредите и сжатом рынке капитала такие проекты не окупаются без государства, а у государства тоже ограниченные ресурсы. 10. Уязвимость всё равно остаётся в Москве. Точки обмена трафиком, основные узлы связи, головные офисы, пользователи и платёжная инфраструктура находятся в европейской части. Удалённый ЦОД без работающей связи и узлов в Москве бесполезен. Сибирская площадка годится как резервная копия, но не как замена основной инфраструктуре.

Куча народу написали, что "а почему вот не начать бы переносить ЦОДы под землю, в бомбоубежища". Тем более, что вроде как этих бомбоубежищ с совка осталось много. Прежде чем объяснять, вот нашел такой репортаж еще с Нага от августа 2017 года (б-же, почти 10 лет прошло — как один день!)

«Ростелеком» впервые показал общественности некогда секретный объект, а ныне — магистральный узел связи, находящийся буквально на стыке Европы и Азии. Несколько гектаров земли и настоящие подземные катакомбы, где современное оборудование соседствует с музейными экспонатами.

А теперь 10 раз почему перенос ДЦ в бомбоубежища — глупость: 1. Тепло некуда девать. ЦОД превращает почти всё потребляемое электричество в тепло, это мегаватты непрерывно. Под землёй его надо выводить наверх через чиллеры, градирни и сухие охладители, которые стоят на поверхности и уязвимы так же, как раньше. Грунт сам по себе тепло почти не отводит и за месяцы прогревается. Вентиляционные шахты нужны большого сечения, и это тоже уязвимые точки. 2. Электричество приходит с поверхности. Крупный ЦОД потребляет десятки мегаватт: ЛЭП, своя подстанция, трансформаторы. Если ударить по подстанции, бункер не поможет. Дизель-генераторам нужны забор воздуха, выхлоп и запас топлива. Держать их под землёй сложно и опасно, а наверху они такая же мишень. 3. Связь тоже на поверхности. Ценность ЦОДа в подключении к магистральной оптике и точкам обмена трафиком. Кабельные коллекторы, колодцы и узлы присоединения остаются снаружи. Машинный зал можно закопать, сеть нельзя. 4. Бомбоубежища для этого не подходят. Это небольшие помещения с низкими потолками. Перекрытия рассчитаны на людей, а не на стойки весом под тонну каждая. Нет места под фальшпол, кабельные трассы и кондиционеры. Сырость, протечки, грунтовые воды и затопления губят электронику. Проёмы и лестницы не позволяют завезти крупное оборудование вроде ИБП, трансформаторов и чиллеров. Юридически это объекты гражданской обороны со своим режимом, и полностью перепрофилировать их нельзя. 5. Масштаб. Современный коммерческий ЦОД занимает тысячи стоек и десятки тысяч квадратных метров. Подземных объёмов такого размера готовыми не существует, их надо копать заново. 6. Деньги и сроки. Подземное строительство в разы дороже наземного и занимает годы: проектирование, геология, гидроизоляция, согласования. При высокой ключевой ставке и дорогом кредите такие проекты не окупаются. Рынок ЦОДов в России и так упирается в нехватку денег и мощностей. 7. Санкции и оборудование. Серверы, СХД, ИБП, системы охлаждения в основном импортные и завозятся через параллельный импорт дорого и с задержками. Строить новые объекты не из чего, а переносить старое оборудование рискованно: при перевозке часть выходит из строя, запчастей мало. 8. Переезд означает простой. Миграция работающего ЦОДа делается месяцами и требует второй площадки, куда сначала переносят нагрузку. Для банков, госсервисов и операторов остановка недопустима, значит нужно строить параллельно, то есть удваивать затраты. 9. Нормы и безопасность. Газовое пожаротушение, эвакуация персонала, дымоудаление, требования к подземным сооружениям. Под землёй всё это сложнее и дороже, а сертифицировать такой объект по стандартам надёжности тяжелее. 10. Это решает не ту задачу. Защищённый машинный зал не спасает от удара по энергосистеме, связи или охлаждению. Дешевле и эффективнее резервирование: несколько географически разнесённых площадок, репликация данных, автоматическое переключение нагрузки. Отрасль идёт этим путём, а не в бункеры.

Пока на выходных писал про атаки на ЦОДы - поймал себя на вот какой мысли: Вся интернет-инфраструктура (не только в РФ, а вообще в мире) проектировалась исключительно под мирное время. Смотрите, классическая отказоустойчивость в IT - это защита либо от случайностей, либо от дурака. А-ля "в серверной коротнуло", "экскаватор перебил провод", "якорь зацепил кабель на дне моря", типа такого. Отсюда вытекает и конфигурация всей айти-инфры - вплоть до того, что несколько магистральных кабелей могут проложить через одну узкую и (как потом окажется) опасную точку. Такая логика айтишки вытекает из допущения, что два и более независимых сбоя не могут случиться одновременно. Допущение справедливое, но в не-мирное время оно просто теряет смысл. Когда начинается движуха, и возникает реальный противник, логика становится неактуальной. Потому что противник бьёт не случайно, а спланированно и целенаправленно. Он специально выберет цель, где всё сходится в одной точке, и урон будет максимальным. Возьмём даже не РФ, а, например, Красное море. Сейчас его сложно назвать спокойным местом, правда? А ведь на его дне лежат сразу несколько здоровенных кабелей, через которые идёт >90% всей пропускной способности между Европой и Азией. И все эти кабели проходят через Баб-эль-Мандеб - пролив шириной менее 32 км, на берегу которого сидят хуситы. То есть, проложи ты там хоть 100500 разных кабелей - с точки зрения уязвимости это просто один мега-кабель с кучей разных шильдиков. Более того, даже если специально не бить в дата-центры и не резать кабели, всё равно айти-инфра в неспокойное время ложится на изи. Вот яркий пример - 18 февраля 2024 года хуситы попали противокорабельной ракетой в сухогруз. Экипаж успели эвакуировать, а судно просто бросили. Оно дрейфовало почти две недели и тащило за собой якорь. И этот якорь перебил три магистральных кабеля. В мирное время это был бы ужас, но не ужас-ужас-ужас, но в той ситуации их пришлось чинить долгие месяцы, потому что ремонтные суда ждали гарантий, что по ним не будут стрелять. С дата-центрами такая же фигня. Огромный мега-ЦОД полностью оправдан с точки зрения бизнеса, ибо эффект масштаба, дешёвый ватт и т.д., но ему надо сбрасывать дохрена тепла, в бункер его не закопаешь. А значит, это в любом случае будет огромная коробка с подстанцией, которую видно со спутника. А внутри сидят тысячи чужих бизнесов. В марте иранские дроны выбили 2 из 3 зон доступности Amazon в ОАЭ, и в регионе легли почти все банковские приложения. Сама AWS посоветовала клиентам переезжать в другие регионы - по сути признала, что какой-либо резерв внутри региона от войны не спасает. Получается, лет двадцать экономика интернета играла в концентрацию, и в мирное время это было преимуществом. Но в не очень мирное (я говорю даже не про большую войну, а вот про что, что сейчас в мире происходит) - превращается в огромную уязвимость. Бигтех это понимает и потихоньку начинает перестраиваться. Rest of World пишет, что Google купил волокно вдоль турецких трубопроводов (в том числе - ради большей защищённости) с переплатой в 2-3 раза, а Google и Цукерберг пускают часть трафика вообще через Ирак (Ирак у нас теперь "безопасный обход", дожили 😈). При этом, один из топ-менеджеров иракского оператора IQ Networks (который как раз делает "обходной путь") прямо говорит, что облачные компании всё чаще закладывают "афганский сценарий", где мир просто признаёт контроль хуситов над проливом новой нормой. То есть, пока дипломаты играют в урегулирование - ИТ-гиганты просто голосуют деньгами за новый порядок (назовём это так). Выводы я тут расписывать не буду, и так вышло многобукаф. Но что интернету (включая всю его инфру) придётся очень сильно меняться под новые реалии на земле - это как пить дать. Это будет очень дорого, но выбора нет. Дизраптор

Деды из-за AI взбунтовались. Ну или, если более серьёзно, заметное число действительно сильных математиков высказалось по поводу AI в очень, скажем так, настороженном смысле. Высказывание заслуживает внимания, и я вставлю свои 5 копеек. Надысь я читал лекцию и упомянул в конспекте про гипотезу Кёте о нильрадикалах. Отправил ребятам конспект и на следующий же день получил сообщение от студента, что гипотезу раскололи буквально пару недель назад (при помощи AI, разумеется), построив к ней контрпример. Про решённую гипотезу Якобиана все слышали, а про гипотезу о «Навье — Стоксе» соцсети гудят прямо сейчас. И это хорошо: многие люди, не отличающие синус от косинуса, узнают, что математика — это не только про решение квадратных уравнений. А две недели назад, к примеру, один из моих учеников (тоже при помощи AI) нашёл решение одной моей личной проблемы, показав, что у диаграмм сопряжённости бывает сколько угодно концов (и это замечательно). Пару слов о скептиках. Про тех, кто считает, что AI — грех против природы и вообще ужас ужасный, или что он вообще не нужен, я ничего говорить не буду (как вежливый кролик). Более содержательные возражения такие: (раз) массовое закрытие открытых проблем понижает интерес к математике и в целом негативно сказывается на учебном процессе; (два) построение контрпримеров не закрывает проблемы содержательно; и, главное, (три) люди в математике будут играть такую же декоративную роль, как люди в шахматах. Все понимают, что Stockfish не напрягаясь разнесёт любого шахматиста? Моя позиция такая. Закрытие многочисленных «именных» проблем — скорее плюс. По большей части они мало интересны сами по себе. В математике вообще обычно доказать нечто куда проще, чем задать правильный вопрос. А в том, чтобы ставить вопросы и искать взаимосвязи, важную роль играет чувство прекрасного и та самая «красота» математики. А с этим у AI пока неустранимые проблемы. Хорошая (на мой взгляд) математика — про то, как, используя новые термины, описывать известные структуры. Это совсем не то же самое, что искать контрпримеры к известным вопросам. Как говаривал мой шеф: «Зачем вы приносите мне контрпримеры? Что в поставленном виде ответ на вопрос отрицательный — я и сам понимаю. Разберитесь лучше, как поставить вопрос, чтобы ответ был положительным». Не вся математика такая, и многие разделы по сути закрываются, особенно те, что завязаны на контрпримерах или изощрённых вычислениях. Есть другие проблемы с AI. Хоть пока и не такие острые. О них сейчас и скажу. Первая. Многие математические институции становятся ненужными (сиречь заменимыми). Вроде как — поговори с ИИ, и он сам всё тебе расскажет. Почему это не так — напишу в другой раз. Вторая. Эффективность научных изысканий во многом теперь (и отныне) будет завязана на доступ к современным и качественным AI. Потому как без оного почти любой результат можно легко и быстро улучшить, уточнить или дать более короткое доказательство. То есть отныне математика завязана не на «кто умнее», а на «кто богаче». Это раньше математикам нужны были только карандаши, ластики и бумага (а философам даже ластики не нужны). Ну вот теперь мы будем в том же положении, что и физики-экспериментаторы или биологи. У них без нужного оборудования и соответствующего долгосрочного финансирования мало чего можно добиться. Вот и у нас теперь тоже. Что по итогу. Да, математика как наука снова оказалась перед серьёзным кризисом. Не первый раз: благодаря Гёделю математику тряхнуло тоже основательно. Но пересобрать себя, понять, что мы и кто мы, — придётся. В шахтах были канарейки — как сигнализация об угарном газе. У нас в этой роли бухтящие деды. Ну какая шахта, такая и канарейка. #AI

Итак, кое-какой сервис придумал тут, что старые статьи, которые ты копил почти 10 лет и собрал огромный архив самых разных материалов, негоже раздавать просто так. И теперь некоторые статьи старше 6 месяцев (а скопилось их у меня почти 7000) будут попадать за пейвол. При этом автор получит примерно... мало. Это можно отключить вручную для каждой статьи. Если, конечно, вообще узнаешь, что статья попала в такую подборку. А для этого тебе нужно проверить да, 7000 позиций ручками и выключать по одной, тыкая открыть - убрать - сохранить - опубликовать. Я тут вновь подумал, погоревал, что почти 10 лет бахнул на замок из песка и собранный архив теперь подходит только чтобы *опу подтирать, и решил, что если уж каждый материал нужно проверять, я лучше буду потихоньку старые добротные статьи переносить куда-то, а там удалю. Потому что надоели. Это кстати, ответ ещё и тем, кто постоянные про всякие там аналоги туба спрашивает. Ну вот развивал я проект тут и чего? Вопрос куда переносить... В приоритете, чтобы сервис был доступен всем (значит, телеграф отпадает, а с ними и субстак, и много чего ещё очень хорошего). Имел хоть какие-то алгоритмы показа статей (то есть делал движуху - а значит и бусти не очень подходит, и собственный сайт тоже) и есть ещё кое-какой критерий, но я про него не расскажу. На удивление, пока ещё такой сервис остаётся. Это REDDIT! Но меня там почему-то постоянно банят. Не понимаю за что 😂 Даже без внешних ссылок. Сейчас вроде бы проканало. 👍 Друзья мои - накидайте пожалуйста лайков и апвотов на реддите, если там кто есть. Очень надеюсь, что там что-то получится. https://www.reddit.com/user/fizikbeta/ Ну а в остальном - так и будет пока разброд и шатание, пока сервис не выберу. В любом случае архив попадёт кусочками и на Бусти проекта, и на Хабр, и, может быть, на ixbt live. Так что не удивляйтесь, если будете видеть там иногда уже прочитанные раньше материалы. Архив хочется сохранить. Потому и пишу про это тут. Ведь, в общем-то, я уже рассказывал о проблемах чуть выше. Но на тот момент я наивно полагал, что оно хоть как архив продолжит работать. Кстати, можете подсказать что-то полезное в группе с комментариями канала.

Software is dead Питер Левелс написал в Твиттере что софт сдох и он избавляется от подписок. Оставил себе Hetzner, AI-инференс и контент типа YouTube Premium, Spotify Premium. Все остальное вайбкодит под себя. И куча народу в комментах соглашается. Я понимаю откуда эта логика. Общий лейтмотив — AI стал настолько умный и доступный, что каждый может накодить себе что угодно. Каждый может, да. Короче сижу в кофейне. Кофе стоит €3.80. Каждый может купить себе кофейную установку домой и варить сам. Но большинство из нас не покупает кофейную установку домой, все равно ходит в кофейню и тратит дохуя денег. Потому что впадлу этим заниматься. Мне по приколу что это сервис, кто-то для меня это сделал, я ничего не делал. Наша проекция в том, что мы можем - и мы предполагаем что все могут. А большинство людей так же как с кофейней: делать свое впадлу, у них других дел полно, своя работа, свои дела. Кофейни не закроются от того что кофемашины подешевели. Софт тоже никуда не денется. Б2Б клиенты в конце дня хотят не вайбкодить, а прийти домой поужинать с семьей или с пацанами на пивко сходить

Появился инструмент для отслеживания багов в драйверах NVIDIA Разработчик под ником Brian (independent-arg) выпустил бесплатный сервис NvidiaWatch с открытым исходным кодом, который каталогизирует все исправленные и нерешенные проблемы из официальных релизов драйверов NVIDIA. Сервис охватывает выпуски Game Ready и Studio начиная с версии 526.47 (октябрь 2022 года). База содержит историю по 507 задокументированным багам, около 90% из которых уже исправлены. Инструмент отслеживает жизненный цикл каждого бага: в каком выпуске проблема появилась, в скольких повторилась и каким драйвером была исправлена. Поиск работает по версии ПО, названию игры, приложению или ID ошибки. База сформирована на основе официальных патчноутов, поэтому сервис фиксирует только официально признанные NVIDIA проблемы.

Что пилить, когда запилить можно что угодно? .... или размышления после просмотра выступления Теренса Тао про математику 2.0 И, правда, что тогда пилить? Или делать? Куда направить свое внимание? Теренс в своем докладе использует интересный подход: он принимает рабочую гипотезу, что

AI тулы достаточно скоро смогут выполнять существенный набор сложных математических задач с приемлемым уровнем успеха, качества, супервизии и затрат

и дальше предлагает порассуждать, что будет с математикой, если гипотеза окажется верной. В итоге приходит к тому, что он назвал Математикой 2.0 В этом же стиле давайте сформулируем нашу гипотезу:

AI тулы достаточно скоро смогут выполнять значительную часть задач по разработке software продуктов с приемлемым уровнем скорости, качества, супервизии и стоимости

Тогда как изменится мир software продуктов? Мои мысли на этот счет ниже + еще 2 поста в ближайшую неделю Что такое успех? Я думаю, что первый вопрос, на который надо ответить: что такое успех в разработке продукта? Продукт работает как надо? Или продукт зарабатывает деньги? Или продуктом пользуется много людей? Тао в докладе говорит, что в математике доказательства были способом достигать множество коррелирующих целей - решение проблем как таковых, прикладное применение, развитие коммьюнити и тп (лучше посмотрите доклад) Есть ли такое же в software индустрии? Мне кажется, что да: когда разработка была сложной и дорогой, это создавало стимул заранее разобраться, кому нужен продукт, какую пользу он принесет и за что люди будут платить. Это не гарантировало успеха, но высокая стоимость реализации заставляла серьезнее относиться к вопросу: а зачем мы вообще это делаем? Проблема vs полезная функция 😉 Но если запилить можно что угодно, не вкладывая достаточного количества ресурсов, то работающий продукт может появиться раньше, чем мы выясним, кому и насколько он полезен. Сам факт его создания все меньше говорит о достижении остальных целей... Тут в тему мой любимый вопрос про разницу между verification и validation: - verification - продукт работает в соответствии с требованиями - validation - продукт выполняет ту цель и в тех условиях, которые ставились перед ним Попробую пояснить: для меня успех продукта определяется тем, скольким людям он улучшил жизнь и насколько сильно. Финансовый результат тоже важен, и он, по-моему, обычно следует из предыдущего определения. AI все лучше и лучше делает софт, который работает как надо (читай verification) - ну, или точнее, как сформулировал (или оставил на усмотрение AI) этот софт его создатель. НО работающая программа сама по себе еще не гарантирует, что пользователь достигнет нужного результата (validation). Тогда как же меняется бизнес software продуктов? Очевидно, что: 1) Мы можем делать временный софт - как одноразовые фотоаппараты - под 1 конкретную задачу 1го конкретного юзера. Например, игра для открытого вебинара 😉 И это будет целесообразно. То есть мы должны ожидают длинный хвост продуктов, которых никогда не существовало, как поисковых запросов. И скорее всего в ближайшие годы эти продукты будут скорее писаться на лету (см пост про нейрософт) 2) Мы можем делать больше вариаций одного продукта под разные условия: другой сегмент пользователей, неполнота данных, немного другой процесс. Например, CRM-ку, которую можно подстроить под специфику бизнеса и менять вместо с его [бизнеса] развитием. А не загонять нас и наши сейлз процессы в стандартные рамки и/или заставлять нанимать дорогих консультантов для этой адаптации, при этом повышая нашу зависимость от оных. Получается, мы можем искать пользу там, где раньше разработка просто не оправдывала затрат - вплоть до одной задачи одного человека. А как выбирать, какие из этих возможностей стоит пробовать? Как проверять пользу и чему учиться в процессе? Что изменится в самой разработке, какие навыки понадобятся, какие исчезнут, и куда направлять свое внимание? Останется и нужно ли понимание того, что написано? Как изменятся стандарты качества? И чем мы и продукты будем "болеть" в эпоху изобилия кода? Об этом - в следующих постах.