Казино в предгорьях сингулярности Самый короткий диагноз ИИ-индустрии поставил автор стратегии Трампа по ИИ, а ныне шеф сценаристов будущего в OpenAI 23 сентября Совбез ООН впервые провел заседание, целиком посвященное рискам все более способного ИИ. Альтман и Амодеи просили правительства договориться. Йошуа Бенжио, один из крестных отцов ИИ, назвал опасности «реальными и близкими» и предложил лицензировать передовые модели, как лицензируют атомную энергетику. Майкл Крациос, помощник Трампа и директор Управления научно-технической политики Белого дома, ответил, что США «полностью отвергают глобалистскую схему контроля над суперинтеллектом». Итог обескураживает: индустрия просит у государства тормозов, а государство отвечает, что тормоза – это происки глобалистов.   Той же ночью по американскому времени появился твит, подводящий итог «битвы при Совбезе ООН» точнее всех читанных мною репортажей. Он набрал всего 4К+ просмотров – а зря, очень зря:

«playing with house money at the indian casino in the low foothills of the singularity» «играем на деньги заведения в индейском казино в низких предгорьях сингулярности».

  Соль в том, кто автор твита. Дин Болл с июля возглавляет в OpenAI команду Strategic Futures – стратегических сценариев будущего. До этого он был старшим советником по ИИ в том самом управлении, которым руководит Крациос, и главным автором трамповского Плана действий по ИИ.

Получается, что вечером глава его бывшего ведомства объясняет миру, что никакого глобального контроля не будет. А ночью автор трамповской ИИ-стратегии, ныне сотрудник одной из двух ведущих лабораторий мира, описывает происходящее языком завсегдатая игорного зала.

Фраза собрана из трех метафор. House money – деньги заведения. Так называют выигрыш, который игрок снова ставит на кон, уже отбив свое. Проигрывать его не больно, поэтому ставки растут, а осторожность отключается. Венчурные сотни миллиардов, оценки под триллион накануне IPO, контракты на вычисления, которые считают уже сотнями миллиардов долларов, – индустрия давно играет на чужие. Indian casino – казино в резервации. Законы штата об азартных играх там не действуют, правила устанавливает само племя по договору со штатом. Для ИИ-индустрии точнее не придумаешь: рамки безопасности лаборатории пишут себе сами, а Белый дом только что объявил, что других рамок не будет. Вдобавок это провинция: никакого блеска Лас-Вегаса, игровые автоматы у трассы. Low foothills of the singularity – самая ядовитая часть. «Предгорья сингулярности» – торжественная формула Хассабиса. Этой фразой глава Google DeepMind в мае закрыл конференцию Google I/O: однажды мы поймем, что стояли в предгорьях сингулярности, т.е. у точки, за которой развитие технологий перестает поддаваться прогнозу. Фраза стала мемом, и Болл тогда же назвал ее прекрасной. Теперь же он ее переписал: предгорья стали «низкими», а на месте смотровой площадки с видом на зияющую вершину выросло придорожное обшарпанное казино. Весь пафос растворился. Мне видится лишь обветшалое, приземистое зданьице с облупившейся штукатуркой и запылёнными окнами, за которыми двое проезжавших мимо на дорогущих машинах плейбоев ведут азартную игру на чужие деньги.   Сложите эти три метафоры и получите картину: горстка основателей, инвесторов и исследователей азартно повышает ставки чужими деньгами, по правилам собственного сочинения, у подножия горы, высоту которой никто не знает.   Смешно при этом не всем. Спор об ИИ упирается в два русских вопроса. Чтобы ответить, кто виноват, надо понимать природу риска, а до консенсуса экспертов тут далеко. Чтобы ответить, что делать, нужно хотя бы большинство мнений по трем вопросам. Почему решать надо именно сейчас? Спасет только глобальное соглашение или хватит односторонних остановок? Состоятелен ли Китай как аргумент против замедления? Большинства нет ни по одному.   Команда Болла называется Strategic Futures. Когда человек, которому OpenAI поручила думать о будущем, описывает свою индустрию как игорный зал, шутка становится диагнозом.   #Сингулярность

3-я магия запустила эпоху чудес и ужасов Пока эксперты искали признаки Сингулярности в фантастике, она вошла в мир в виде артефактов 3-й магии. А человечество, не замечая этого, превращается в пассажиров «Желтой стрелы ИИ» 20 лет назад, говоря о признаках грядущей Сингулярности, эксперты называли особое событие - день, когда ИИ начнет одну за другой щелкать задачи тысячелетия. Ирония сентября 2026 в том, что этот день уже наступил, но почти никто его не заметил. Ной Смит еще 3 года назад в эссе "The Third Magic" описал феномен «3-й магии» – способности ИИ управлять миром без понимания законов, на которых это управление держится. FYI: 1-я магия – это языковое описание опыта: способность извлекать знания из прошлого опыта, накапливая и передавая знания через язык. 2-я магия – это наука: поиск ответов на вопросы «почему это работает?» и «что будет в новых, ещё не встречавшихся случаях?»   В 2023 это прозвучало теоретической метафорой. Осенью 2026 метафора превратилась в хронику. Скотт Ааронсон в эссе "The Age of Wonders and Terrors" перечисляет в дополнение к, по всей видимости, решенной проблемы Навье-Стокса еще 7 крупных математических и квантовых результатов, полученных ИИ за один месяц (вкл. опровержение гипотезы Якоби, доказательство Великой теоремы Ферма в Lean и ряд задач из квантовой теории сложности, которыми занимался сам автор).   Показательна реакция на историю с решением проблемы Навье-Стокса. Вместо признания факта – порог Сингулярности пройден – математическое сообщество и научные медиа обсуждают скандал. Куда интересней, кто первым приблизился к ответу, кого обошли, кого не упомянули в благодарностях и т.д. Артефакт 3-й магии оценивают не по масштабу произошедшего, а по пиар-волнам вокруг него.   Из этой же логики, по имеющейся у меня информации о слухах в кругах людей, близких к фронтирным ИИ-лабам (об этом же упоминает и Ааронсон), вытекает такое следствие.

ИИ-компании якобы придерживают у себя решения еще нескольких задач сопоставимого с Навье-Стоксом масштаба. Они просто боятся новых склок и потенциальных судебных наездов, т.к. еще не придумали, как объявить о новых артефактах 3-й магии не ввязываясь в скандалы, способные похерить их планы на IPO.

 Если слухи верны, цивилизация уже едет в роли пассажиров поезда, подобного пелевинской «Желтой стреле». Эдакой «Желтой стреле ИИ» – составу, который не может остановиться, ибо им никто не управляет и потому летящего по инерции к разрушенному мосту, в то время как его пассажиры с туманом в голове цепляются за материальное, не видя истинной реальности.   Разница с повестью лишь в одном: пассажиры «Желтой стрелы ИИ» все более погружаются в обсуждение постоянно расширяющегося спецменю вагона-ресторана экзотической ИИ-кухни.   #Сингулярность

Recursive self-improvement, or RSI, рекурсивное самоусовершенствование, быстро становится очень популярным термином и в обсуждении новых моделей, и в разговорах с инвесторами. Наверное, не случайно этот процесс идет синхронно с волной разговоров по сингулярность (см. недавние посты): возможно, как раз RSI и есть путь к ее достижению: мы не знаем как сингулярность технически должна быть устроена, но если дать возможность моделям, способным к длительному решению сложных задач, самоулучшаться — глядишь, они сами и разберутся, как этой сингулярности достичь и что она вообще такое, и в итоге до нее самостоятельно доберутся:)

RSI, on this telling, is the new AGI: the payoff that turns today’s data centres from a cost into the most valuable machines ever built.

https://thenextweb.com/news/deepmind-sekhon-ai-capex-recursive-self-improvement-rsi

Недели не прошло, и у Альтмана образовался неожиданный партнер на тему сингулярности. Обычно Маск на него по самым разным поводам наезжает, а тут:

"AI is already superhuman at many things. We are in the Singularity." 

Впрочем, чуть менее громко и резко, но и Хассабис, и Хуанг тоже стали в последние месяцы поминать сингулярность. Это, вообще-то, интересно, потому что изнутри лаб, в которых обучают топовые модели, мир неизбежно выглядит сильно иначе; они-то наблюдают модели на разных стадиях, в том числе еще до того, как модели запеленали в смирительную рубашку элайнмента 🙂 Снаружи мы видим уже прирученные и жестко выдрессированные, а иногда просто стреноженные модели, а там, внутри, они водятся в первозданной красе и мощи — любопытно наблюдать, какие эмоции этот опыт вызывает у причастных:) https://www.thenews.com.pk/latest/1410841-elon-musk-says-we-are-in-the-singularity-agrees-with-sam-altman

Давайте посмотрим на цифры и как на это реагирует мир: 1. OpenAI и NVIDIA строят 10-гигаваттный датацентр в Огайо за $600 млрд. Мощность одного этого датацентра будет выше, чем среднеее потребление э/э во всей Финляндии, Австрии или Бельгии 2. Сэм Альтман: «мы уже в сингулярности», он сказал на подкасте на прошлой неделе, что сверхинтеллект неизбежен 3. Маск: «мы в начальной стадии сингулярности, мы используем только одну миллиардную энергии солнца» 4. У топ лаб за этот год выручка выросла в 3-4 раза и одновременно с этим на 60+% выросла маржинальность. И это не пузырь: у бигтеха PE в 2001 был около 80, а сегодня у ИИ компаний в среднем 20-30. Эти компании видят увеличивающийся спрос, растущую contribution margin (!!!), большая часть умственной работы людей будет автоматизирована, это титаническая трансформация и она уже неостановима. Вопрос в навигации во время изменений и того что самое амбициозное и крутое могу сделать в этой ситуации лично я?

1) AI-2040 – таймлайны В новом эссе авторы решили поиграть с роадмапом. Новый прогноз развивается гораздо более спокойно. Так называемый takeoff date (год, когда фронтир лаборатории автоматизируют AI research и начнется самоулучшение моделей) перенеслось с 2027 на 2030 годы. Но это не значит, что прогресс замедлился! Просто ребята решили рассмотреть другой прогноз. Самый дерзкий прогноз takeoff year авторов приходится на 2028, медиана – где-то между 2031 и 2035. Самоулучшение моделей практически равно сингулярности. В худшем случае апокалипсис или точка невозврата ожидается в течение года после начала эффективного самоулучшения. Несмотря на это, авторы несколько раз подчеркивают, что они хотели воздержаться от прогнозов с точными датами (слишком много неопределенности) и скорее хотят сделать прогноз с последовательностью событий, что и в каком порядке будет происходить. Поэтому на даты надо смотреть скептически, причем как про ускорение, так и про более медленный вариант событий.

Итак... Вопрос сингулярности должен был быть давно решён, а чёрных дыр не должно существовать. Ведь есть метод перенормализации, который решит все проблемы, связанные с бесконечными плотностями материи и т.п.

Перенормализация - это математический метод в физике, который позволяет получать конечные и осмысленные результаты там, где расчеты сначала приводят к бесконечностям. Для физики это довольно частая история и вы точно о таком слышали. Но почему тогда мы до сих пор, говорим, например, про сингулярность? Ведь это по сути тоже очередная бесконечность, которая стала единорогом? И что это за такой лайфхак? Есть ли там место физике или это цифры? Метод работает не всегда. И там, где мы его применяем, он вполне физичен. Скажем, применительно к частицам. В квантовой теории поля частицы не существуют изолированно. Даже в вакууме вокруг них постоянно рождаются и исчезают виртуальные частицы. Электрон непрерывно взаимодействует с этим «кипящим» вакуумом. Если учитывать все возможные процессы, некоторые математические выражения действительно оказываются бесконечными. Потому по сути мы берем какие-то "граничные условия" и перенормализуем по ним. То есть считаем "голый электрон или любую частицу" в отрыве от всего. И тут это вполне физично. Экспериментально подтверждено, например, что электрический заряд электрона немного меняется в зависимости от расстояния или, что эквивалентно, энергии эксперимента. Это реальный, измеряемый эффект. А вот применить подход к сингулярности не получится. При перенормализации бесконечности там появляются в промежуточных вычислениях, а наблюдаемые величины остаются... тоже бесконечными. Это другая ситуация. И физически, и математически. Так что не надо следующий раз ссылаться на эту методику, когда увидите очередного единорога в физике 😃 ⚠️  Дебри.Физика #единороги