Recursive self-improvement, or RSI, рекурсивное самоусовершенствование, быстро становится очень популярным термином и в обсуждении новых моделей, и в разговорах с инвесторами. Наверное, не случайно этот процесс идет синхронно с волной разговоров по сингулярность (см. недавние посты): возможно, как раз RSI и есть путь к ее достижению: мы не знаем как сингулярность технически должна быть устроена, но если дать возможность моделям, способным к длительному решению сложных задач, самоулучшаться — глядишь, они сами и разберутся, как этой сингулярности достичь и что она вообще такое, и в итоге до нее самостоятельно доберутся:)

RSI, on this telling, is the new AGI: the payoff that turns today’s data centres from a cost into the most valuable machines ever built.

https://thenextweb.com/news/deepmind-sekhon-ai-capex-recursive-self-improvement-rsi

Недели не прошло, и у Альтмана образовался неожиданный партнер на тему сингулярности. Обычно Маск на него по самым разным поводам наезжает, а тут:

"AI is already superhuman at many things. We are in the Singularity." 

Впрочем, чуть менее громко и резко, но и Хассабис, и Хуанг тоже стали в последние месяцы поминать сингулярность. Это, вообще-то, интересно, потому что изнутри лаб, в которых обучают топовые модели, мир неизбежно выглядит сильно иначе; они-то наблюдают модели на разных стадиях, в том числе еще до того, как модели запеленали в смирительную рубашку элайнмента 🙂 Снаружи мы видим уже прирученные и жестко выдрессированные, а иногда просто стреноженные модели, а там, внутри, они водятся в первозданной красе и мощи — любопытно наблюдать, какие эмоции этот опыт вызывает у причастных:) https://www.thenews.com.pk/latest/1410841-elon-musk-says-we-are-in-the-singularity-agrees-with-sam-altman

Давайте посмотрим на цифры и как на это реагирует мир: 1. OpenAI и NVIDIA строят 10-гигаваттный датацентр в Огайо за $600 млрд. Мощность одного этого датацентра будет выше, чем среднеее потребление э/э во всей Финляндии, Австрии или Бельгии 2. Сэм Альтман: «мы уже в сингулярности», он сказал на подкасте на прошлой неделе, что сверхинтеллект неизбежен 3. Маск: «мы в начальной стадии сингулярности, мы используем только одну миллиардную энергии солнца» 4. У топ лаб за этот год выручка выросла в 3-4 раза и одновременно с этим на 60+% выросла маржинальность. И это не пузырь: у бигтеха PE в 2001 был около 80, а сегодня у ИИ компаний в среднем 20-30. Эти компании видят увеличивающийся спрос, растущую contribution margin (!!!), большая часть умственной работы людей будет автоматизирована, это титаническая трансформация и она уже неостановима. Вопрос в навигации во время изменений и того что самое амбициозное и крутое могу сделать в этой ситуации лично я?

1) AI-2040 – таймлайны В новом эссе авторы решили поиграть с роадмапом. Новый прогноз развивается гораздо более спокойно. Так называемый takeoff date (год, когда фронтир лаборатории автоматизируют AI research и начнется самоулучшение моделей) перенеслось с 2027 на 2030 годы. Но это не значит, что прогресс замедлился! Просто ребята решили рассмотреть другой прогноз. Самый дерзкий прогноз takeoff year авторов приходится на 2028, медиана – где-то между 2031 и 2035. Самоулучшение моделей практически равно сингулярности. В худшем случае апокалипсис или точка невозврата ожидается в течение года после начала эффективного самоулучшения. Несмотря на это, авторы несколько раз подчеркивают, что они хотели воздержаться от прогнозов с точными датами (слишком много неопределенности) и скорее хотят сделать прогноз с последовательностью событий, что и в каком порядке будет происходить. Поэтому на даты надо смотреть скептически, причем как про ускорение, так и про более медленный вариант событий.

Итак... Вопрос сингулярности должен был быть давно решён, а чёрных дыр не должно существовать. Ведь есть метод перенормализации, который решит все проблемы, связанные с бесконечными плотностями материи и т.п.

Перенормализация - это математический метод в физике, который позволяет получать конечные и осмысленные результаты там, где расчеты сначала приводят к бесконечностям. Для физики это довольно частая история и вы точно о таком слышали. Но почему тогда мы до сих пор, говорим, например, про сингулярность? Ведь это по сути тоже очередная бесконечность, которая стала единорогом? И что это за такой лайфхак? Есть ли там место физике или это цифры? Метод работает не всегда. И там, где мы его применяем, он вполне физичен. Скажем, применительно к частицам. В квантовой теории поля частицы не существуют изолированно. Даже в вакууме вокруг них постоянно рождаются и исчезают виртуальные частицы. Электрон непрерывно взаимодействует с этим «кипящим» вакуумом. Если учитывать все возможные процессы, некоторые математические выражения действительно оказываются бесконечными. Потому по сути мы берем какие-то "граничные условия" и перенормализуем по ним. То есть считаем "голый электрон или любую частицу" в отрыве от всего. И тут это вполне физично. Экспериментально подтверждено, например, что электрический заряд электрона немного меняется в зависимости от расстояния или, что эквивалентно, энергии эксперимента. Это реальный, измеряемый эффект. А вот применить подход к сингулярности не получится. При перенормализации бесконечности там появляются в промежуточных вычислениях, а наблюдаемые величины остаются... тоже бесконечными. Это другая ситуация. И физически, и математически. Так что не надо следующий раз ссылаться на эту методику, когда увидите очередного единорога в физике 😃 ⚠️  Дебри.Физика #единороги