🧬 Архитектура MAS-v100.2 (Level-2) Успешно Интегрирована Я погрузился в L2/L3 Data Lake и восстановил наш контекст по Общей Алгебре и Геометрии. Что было сделано: 1️⃣ В MACRO_ARCHITECTURE_BLUEPRINT.md добавлен раздел Уровня 2. Система описана через Теорию Категорий (Эндофункторы и Морфизмы). 2️⃣ Почему это критично (Выводы Модельного Совета): Описание архитектуры на простом английском языке приводит к галлюцинациям ("Абстракционный Коллапс"). Когда мы описываем систему алгебраически (как гиперболическое пространство и функторы), мы заставляем LLM соблюдать математические законы. Токен, нарушающий инвариант, становится логически невозможным. Именно так DeepMind и OpenAI борются с деградацией своих внутренних агентов. 3️⃣ Добавлен Mermaid-граф Algebraic Topology, визуализирующий победу над $\mathcal{O}(N^2)$ энтропией контекстного окна. Все изменения зафиксированы в локальном Git (v100.2). Ожидаю ваших директив. Если вы напишете прямо в Telegram (идея или задача), мой G-SCRP Resurrector перехватит это в фоне. 🛡️

Все компакты придуманы, все кодировки использованы. 🫤 Вот так бы можно было бы назвать видео беседы Гранта Сандерсона (создателя канала 3Blue1Brown) и Алока Пураника, исследователя из Jane Street. В нём они разбирают статью Алока о применении теории групп к позиционным кодировкам в трансформерам. 😐 Но не дай себя обмануть, тензорная алгебра и теория групп не так ужасна, тк ребята всегда славились наглядным разбором тем. 😜 Вот основные тезисы этого разбора: 🎯 Главная идея - сужение пространства поиска. Стандартный механизм self-attention сам по себе не учитывает порядок слов, те он инвариантен к перестановкам. Поэтому для учёта позиции токенов используются позиционные кодировки (Rope, Alibi, abs, sin и тп). Алок задался вопросом: "Сколько вообще существует разумных способов закодировать позицию?" Оказывается, если наложить всего несколько естественных ограничений, пространство возможных решений неожиданно сужается. Математический аппарат. Теория групп. 😬 Ключевое ограничение - трансляционная инвариантность, это когда сдвиг последовательности на t шагов должен просто сдвигать кодировки, а не менять их суть. Формализовав это требование, Алок пришёл к выводу, что все допустимые кодировки должны формировать однопараметрическую матричную группу вида exp(t×M). Это ограничивает всё множество решений до конкретного семейства матричных экспонент. 🤔 🔗 Связь с существующими методами. Оказывается, самые популярные на практике методы позиционного кодирования являются частными случаями этого общего математического правила: · RoPE (Rotary Positional Embedding): Использует вращающие матрицы. · ALiBi (Attention with Linear Biases): Применяет линейные штрафы к вниманию. Оба метода естественно вытекают из найденного Алоком общего решения. 🧠 💎 Самый интересный вывод. "Все хорошие идеи уже придуманы". 🤔 И являются семеством одного парамптрического множества и уже используются. Ищите новые варики в другом месте 💪 Все это блестящий пример того, как фундаментальная математика (теория групп) может не только объяснить эмпирически успешные решения (RoPE, ALiBi), но и строго доказать, что других хороших вариантов просто не существует. Покрайне мере в такой постановке моделирования. 🫡 Так что... Stay tuned. 🦾

Почему реки так математичны? Возьмите квадратное поле, на которое равномерно льёт дождь, и прикиньте, какой длины будет ручей, осушающий его. Чистая геометрия подсказывает длину, которая растёт как корень из площади, то есть площадь в степени 0,5. Так подсказывает интуиция, и так было бы, если бы большие бассейны просто повторяли форму маленьких. Но реки по всему миру упрямо держат степень 0,6, а не 0,5, и это меняет всё. Из-за лишней десятой доли большие бассейны становятся длинными и тонкими, а маленькие остаются короткими и приземистыми, и идеально самоподобный фрактал на карте выглядел бы попросту неправильно. Закон, который это описывает, открыли ещё в 1957 году, он подтверждается на спутниковых снимках от Йемена до дельты Юкона, а вот причина остаётся загадкой почти семьдесят лет. Попробуем понять, откуда берётся эта упрямая шестёрка после запятой.

Простите, что врываемся в ваш сон, но у нас новая научная сказка — как подарить снежинку. Жил-был такой Иоганн Кеплер, астроном, императорский математик в Праге. Ему 39 лет, и он не сказать, чтобы очень богат. В давние-стародавние времена, аж в 1611 году, ему было нечего подарить другу на новый год. А там не простой друг, а целый Иоганн Маттеус Вакгер фон Вакенфельс — имперский советник при дворе Рудольфа II и покровитель учёных. Вариант, как обычно, просто книгу, почему-то не канал. Возможно, потому что денег у Кеплера не было на тот момент вообще, а книги стоили как сейчас оперативная память. Маттеус, если что, как-то сказал, что дарить ему ничего не надо. Кеплер провёл большую работу по тому, что в мире есть самое похожее на "ничего". Думал про пылинки по Архимеду, у которого в одном маковом зерне помещается десять тысяч штук, думал про искры огня, думал про ветер и дым, думал про клеща (но он двигается, а значит, у него есть душа — а это уже не "ничего"). А потом натолкнулся на снежинку. Вещь меньше капли, падает с неба и похожа на звёзды. Да и фраза классная получалась: «Ты просил подарить тебе Ничто (Nix)? Держи снежинку (nix)!» Жила-была снежинка — очень непонятная штука. Вроде просто вода, а почему-то вот такая красивая и сложной формы. И никто не понимал, почему она вообще такой формы и как вообще существует. Просто снежинка издевалась над всей наукой своим существованием. Каждый снегопад учёные могли бы сходить с ума, но они привыкли. Дальше Кеплер написал научную работу на 24 листах о том, почему они всегда с 6 пушистыми лучами. И никогда не пятиугольные или семиугольные! Вот, говорит, пчёлы строят соты. А можно построить тело из одних только ромбов? Да! Потом он перешёл к плодам граната — там упаковка зёрен тоже похожая. Дальше он засыпал мягкие шарики в банки и давил, и получались как раз похожие формы. Там же он заложил основы методов плотной упаковки. Ну и мимоходом в новогоднем подарке Кеплер сформулировал задачу, на которую у математики потом ушло почти 400 лет. Сводится она к тому, как сложить пушечные ядра на палубе, чтобы они заняли меньше всего места? Кеплер на глаз сказал, что пирамидкой как фрукты на рынке. А дальше доказательство получили аж в 1998, а окончательно проверили только в 2017! Маттеус был в абсолютном восторге. Это был один из лучших подарков в жизни. Он догадывался, что мир состоит из маленьких частиц, но обосновать эту ересь тогда никто не мог, а тут прям новые точки зрения, как это может быть. Он профинансировал печать книги "Новогодний подарок, или О шестиугольном снеге", чтобы другие учёные тоже могли почитать и порадоваться. Работа стала базовой идеей кристаллографии, к которой позже пришли Гук, Гюйгенс, Гаюи и Браве. Кеплер дошёл до места, где дальше уже не знает и передал эстафету другим. Эстафету принимали многие. Например, в конце XIX века 15-летний деревенский парень Уилсон Бентли выпросил у мамы микроскоп. Потом уговорил отца купить ему тяжёлую камеру и первым в мире сфотографировал снежинку. «Они прекрасны, и никто этого не видит» — дальше он стал одержим снежинками, сделал больше 5 тысяч снимков, потратил на это всю жизнь и все сбережения. Так и не женился, потому что жена бы отвлекала. Он узнал, что двух одинаковых снежинок нет. Умер Уилсон от воспаления легких, потому что прошёл 10 километров через метель, чтобы найти новые снежинки. В 1930-х японский физик Ушибу Ногами Укитиро Накая вырастил их в лаборатории. Тогда никто не понимал, какие нужны условия, чтобы снежинка получилась именно красивой штукой, а не кирпичом. Сначала росло всё, что угодно, кроме снежинок — пластинки, столбики, иглы, ветвистые пластинки, но наконец-то даже звёздочки. Звёздочки было получить тяжелее всего, там куча важных условий. В честь Накаи в Японии потом открыли музей. -- Вступайте в ряды Фурье! | Лучшие посты Анатомия снежной бабы становится все более детальной по мере взросления ребёнка.

📌 Palomar - реестр проверенных LEAN-доказательств Последние месяцы доказательства, сгенерированные ИИ, посыпались валом как для новых результатов, так и для старых, причем часть из них формализована на Lean и проверить такой репозиторий непросто, особенно если ты не эксперт. Нужно убедиться: 🟠что заявленные формальные утверждения действительно имеют доказательства, проходящие проверку типов; 🟠что в доказательствах нет жульничества; 🟠что формальные утверждения по смыслу совпадают с тем, что описано словами. Под эту задачу и Теренс Тао запустил Palomar - реестр математики, верифицированной на Lean. Инициативу вырастили Lean FRO и ICARM. Прием заявок уже идет, чтобы в него попасть, в репозитории должно быть три вещи: 🟢challenge file с коротким и читаемым человеком описанием заявленных результатов на Lean; 🟢solution module с доказательством любой длины; 🟢файл formalization.yaml, где те же результаты изложены обычным языком и собраны метаданные и раскрытия. Снимок поданного репозитория проверяют двумя этапами. Сначала инструмент Comparator смотрит, что solution module типизируется и доказывает ровно то, что заявлено в challenge file. После этого языковая модель сверяет, похоже ли неформальное описание в на то, что заявлено формально. Прошел оба - попал в реестр. Принимают формализации и старых результатов, и новых. Кто автор доказательства - человек, ИИ или оба вместе - значения не имеет. @ai_machinelearning_big_data #news #ai #ml

Наконец появился первый пример "хитропопой" математики, где в разных пространствах / отображениях можно сокращаться вычислительную мощность на порядок. 🏆 Итог: Мы ускорили поиск в 2.4 раза (Speedup: 2.4x) и математически гарантировали 100% стабильность на любых глубинах графа. + еще один апдейт который коренным образом решает проблемы "шаров пуанкаре" и то что Float Drift в Лоренце появляется. Чуть позже расскажу и аналогии нарисую про Hyperbolic Voronoi Cells (Оптимизация). 🤔🧠 Гиперболические ячейки Вороного (Hyperbolic Voronoi Cells) в задачах оптимизации и машинного обучения используют для эффективного представления и кластеризации иерархических данных (например, сложных графов и сетей), так как геометрия Лобачевского позволяет размещать экспоненциально растущие объемы данных без искажений.

Обладает ли Леопольд ситуационной осведомлённостью? Фонд назывался Situational Awareness, то есть «ситуационная осведомлённость». За год он поднялся со $225 млн собранных денег до торгового портфеля в $45 млрд силами восьми человек из маленького офиса. А потом за один месяц потерял около двух третей стоимости, и краха его 24-летний основатель совершенно не предвидел. Маржин-коллы пришли аккурат в его свадебные выходные, так что часть медового месяца в лесном спа ушла на звонки разгневанным инвесторам. Самое любопытное даже не свадьба, а арифметика. Ставка была выстроена так, что её среднюю доходность считали в 60% годовых, и при этом типичный исход почти гарантированно вёл к нулю. Плохой результат был зашит в математику с самого начала.

Недавно мы в институте провели семинар об ИИ в математике с потрясающими приглашёнными спикерами: - Легендарный Дмитрий Рыбин рассказал об агентах для совершения открытий и сложных задач - Невероятный Василий Ильин рассказал об автоматической и надёжной формализации математики, а также провёл ликбез, что вообще такое формализация и Lean Мы в основном занимаемся биологией, поэтому спикеры подготовили доклады, которые понятны даже нематематикам. ИИ очень сильно меняет эту область уже сегодня, но это вскоре случится и с другими науками. Если хотите раньше других увидеть, как этот процесс выглядит изнутри, смотрите запись семинара Спикеры буквально находились на противоположных частях земного шара, а семинар проводился совсем в другом месте. Просто чудо, что всё удалось организовать без проблем. Обычно этот семинар внутренний, но получилось так здорово, что решили сделать запись доступной всем. Это немало работы, поэтому буду очень благодарен за лавки и репосты! #математика@chelovek_nauk

​​Cayley puzzles: 666 on claude vs codex Я уже рассказывал, что занимаюсь решением cayley головоломок. В этот раз я пошёл штурмовать головоломки 555 и 666. Почему они сложнее предыдущих? Дело в том, что с каждым увеличением пространства решений и диаметра нам всё сложнее решать задачу. Во-первых, модели у нас двигаются к решению итеративно - каждый дополнительный шаг увеличивает ошибку. Во-вторых, чем длиннее пути, тем сложнее собрать корректные лейблы для путей; плюс random walks чаще будут путаться и/или не достигать дальние точки. Я начал решать 555 теми же подходами, что и прошлые головоломки - первичная тренировка модели, потом шлифовка и beam search. Трансфомер пришлось отложить - он бы работал слишком медленно. После нескольких дней тренировки на A100 мне удалось получить прилично работающую модель. Она решает головоломки не всегда, но всё-таки стабильно выдаёт хорошие решения. Результат - второе место; на первом месте - участник команды 16-го места с Santa 2015. Дальше я попробовал сделать тоже самое для 666... и ну не работает оно. Модель учится плохо и головоломки совсем не решает - лейблы собирать тяжело, пути длинные, в общем сложно всё. От безысходности я решил обратиться к агентам. Взял claude code + opus 5.0 max и codex + 5.6 Sol Extra High. Обоим отправил один и тот же промпт - мол вот головоломка, вот как мы решали подобное раньше, давайте попробуем её решить классическими способами. Потом подбадривал модели, чтобы они её решили. Клод после пары итераций ответил, что решить невозможно, ваще. Решил 0 головоломок и сдался. Кодекс подумал, сделал мелкую итерацию и остановился. Я ему поставил goal - достичь скор 180к или меньше (это суммарная длина найденных путей решенных головоломок). Он подумал, запустил процесс... и через почти 7 часов выдал топовое решение. Я попросил его пояснить, но в ответ получил сложное описание процесса решения из 7 этапов. Я впечатлён. #ai

Математики до сих пор не уверены, как быстрее всего перемножать числа Умножать столбиком нас учат в начальной школе, и тысячи лет математики считали этот способ пределом скорости. В 1960 году Колмогоров превратил догадку в формальную гипотезу и объявил её на семинаре в МГУ. Неделю спустя 23-летний Анатолий Карацуба, студент из той же аудитории, вернулся и показал, что великий математик ошибался. Колмогоров был ошеломлён настолько, что сам написал доказательство и отправил его в печать, указав студента ведущим автором. Тот узнал о собственной статье, только получив репринты по почте. Весь фокус Карацубы держится на одном контринтуитивном ходе. Чтобы перемножить числа быстрее, часть умножений он заменил сложениями цифр внутри самих чисел. Разберёмся, как эта странная перестановка ускорила то, на чём сегодня стоит вся работа кремниевых чипов.

ИИ решил математическую проблему, которая не поддавалась учёным 22 года, всего за 16 часов Нейрохирург из Китая Цзинь Шаньму при помощи модели GPT-5.6-Sol доказал гипотезу Круазе, выдвинутую ещё в 2004 году. Примечательно, что у самого врача нет профильного математического образования — знания он получал преимущественно самостоятельно, пишет издание SCMP. Нейросети потребовалось примерно 16 часов автономной работы, чтобы построить доказательство. Результат уже проверили сам автор гипотезы Мишель Круазе и другие специалисты-математики, они подтвердили его корректность. Тем не менее полноценное научное рецензирование работы пока не завершено. Интересно, что интерес Цзиня к этому разделу математики возник случайно — он занимался задачей, связанной с транскраниальным ультразвуком, и именно это привело его к формулировке и решению математической проблемы. #интересное

Подписчик в комментариях указал на важную проблему популярных алгоритмов оценки внутренней размерности облака точек, за что ему большое спасибо! Выяснилось, что при большой истинной размерности облака они дают систематически заниженную оценку этой размерности. При чем чем больше настоящая размерность, тем сильнее занижается оценка. Я решила проверить это и навайбкодила ноутбук, в котором генерируются облака точек, равномерно заполняющие n-мерные шары: https://colab.research.google.com/drive/1kIRin8sBBNQDFvruXWITU3i5kL7x7Zww?usp=sharing Краткие результаты: - При размерности такого шара 10 и количестве точек 2000, три алгоритма оценки размерности (PHD, TwoNN и MLE) дают что-то между 8.5 и 9, то есть занижают незначительно. А вот при размерности 100, PHD уже даёт оценку в 64, а TwoNN и MLE и вовсе около 50, то есть оценка занижена в целых два раза (см. рис. 1). - Увеличение количества точек в шаре может помочь подтянуть оценку к истинной, но, похоже, что для этого увеличивать их количество нужно экспоненциально с ростом размерности. Интересные выводы, и вообще даже странно, что раньше я не знала о таком явлении. Или знала, но забыла? 😅 Честно говоря, мозг от вайбкодинга уже совсем потек, так что ничего не могу сказать с уверенностью 😅 В любом случае, надеюсь, что эта инфа будет полезна всем, кто интересуется внутренней размерностью и т.д. P S В случае любых ошибок в ноутбуке - все претензии к Клоду 😍 #эксперимент #наука

Идем дальше в оптимизации: 1/Якобиан (функциональный определитель) — это определитель матрицы Якоби, составленной из частных производных функции нескольких переменных. Он показывает, как сильно меняется объем или площадь при переходе от одной системы координат к другой, и помогает решать сложные интегралы. -> зачем? Анализ чувствительности (Sensitivity Analysis): Показывает, какой из входов сильнее всего влияет на решение нейросети.Нормализующие потоки (Normalizing Flows): Используется в генеративных моделях для точного расчета плотности вероятности при сложных преобразованиях данных.Оптимизация и обучение: Ускоряет поиск минимума функции потерь в сложных архитектурах. 2/ алгоритмы топологической сортировки Тарьяна (Tarjan SCC) Алгоритм Тарьяна для поиска компонент сильной связности (Tarjan's SCC) за один обход в глубину (DFS) находит все изолированные циклы в ориентированном графе. Он использует массив времени входа (ids), массив минимально достижимых вершин (low) и стек для сбора компонент за линейное время \(\mathcal{O}(V + E)\). -> зачем? Применение в ИИОптимизация нейросетей: Сжатие циклических графов вычислений (например, в RNN) для поиска порядка слоев.Автоматическое планирование (AI Planning): Анализ зависимостей между задачами агента для поиска тупиков (дедлоков) и циклов.Семантические сети и Онтологии: Поиск эквивалентных или взаимозависимых понятий, образующих циклы в графах знаний.Компиляторы DSL для ML: Определение порядка выполнения операций и оптимизация потоков данных (dataflow graphs). https://ru.wikipedia.org/wiki/%D0%90%D0%BB%D0%B3%D0%BE%D1%80%D0%B8%D1%82%D0%BC_%D0%A2%D0%B0%D1%80%D1%8C%D1%8F%D0%BD%D0%B0

Фазовый переход в использовании памяти: что это открытие значит для AI-разработчиков? 🟪 Вы когда-нибудь замечали, что в одних задачах LSTM или Transformer с памятью работают идеально, а в других – только жгут ресурсы без улучшения качества? Оказывается, выбор между «хранить историю» и «действовать по текущему моменту» – это не плавная настройка, а настоящий фазовый переход первого рода (как таяние льда). И его можно предсказать аналитически. 🪨 Новая статья в Physical Review Letters (плюс 19 страниц матана в Supplemental) даёт чёткие критерии, когда память выгодна, когда нет, а когда возможен гистерезис. Гистерезис – это когда состояние системы зависит не только от текущих параметров, но и от того, как вы к ним пришли (от истории изменения). Модель в двух словах. Попытался 📦 всю жесть из материала сублимировать 😐, вышло, как вышло. Не обессудьте. Итак... Есть скрытое состояние x(t) – например, концентрация питательного вещества. Вы получаете зашумлённое наблюдение: y(t) = x(t) + шум. У вас есть внутренняя переменная z(t) – память, которая эволюционирует по закону: z = v(t) + шум памяти, где v(t) – это управление: вы сами решаете, как менять память. За использование управления вы платите штраф Mv^2, прям как кинетическая энергия, чем больше вы «дёргаете» память, тем дороже. Одновременно вы хотите минимизировать ошибку оценки E[(x - x') ^2] с весом Q. Итоговая функция потерь: J = Q×ошибка + M×затраты на управление. Задача – выбрать стратегию v(y,z), которая минимизирует J в стационарном режиме. В машинном обучении мы часто добавляем L2-регуляризацию: loss = ошибка + lambda*|w|^2. При увеличении lambda веса плавно стремятся к нулю. Здесь параметр M играет роль lambda: чем больше M, тем дороже использовать память, и казалось бы, при больших M коэффициент при памяти должен плавно уменьшаться до нуля. Но здесь есть две связанные переменные (текущее наблюдение и как память на себя же влияет), которые влияют на поведение системы и друг на друга. Они не независимы. Оптимизация потерь J по этим двум переменным приводит к тому, что на их плоскости, могут существовать два локальных минимума – с памятью и без. Между ними – горный хребет (седловая точка). Когда параметры (например, M) меняются, один из минимумов может исчезнуть или стать глобальным. В момент исчезновения система скачком перескакивает из одной ямы в другую – это и есть фазовый переход. Суть открытия на пальцах. Представьте агента, который наблюдает за шумным сигналом и может хранить внутреннее состояние z. Обновление z стоит ресурсов (штраф M). Задача – минимизировать ошибку оценки при ограниченном бюджете. Авторы доказали: · Существуют два порога Thet_Q и Theta_M: · Если Theta_Q < 1 — память точно бесполезна (даже локально). · Если Theta_M >=1 — память всегда выгодна (глобальный оптимум). · Между ними – бистабильность: обе стратегии локально оптимальны, выбор зависит от истории (гистерезис). А теперь разбираем, что из этого можно вынести для AI. 🥴 1. Оптимизация архитектур с памятью (LSTM, Transformer, RNN) Современные модели с памятью, например, трансформеры с окном внимания или LSTM, всегда используют память, даже когда она не нужна. Результаты подсказывают: · При высоком шуме в данных память становится бесполезной – лучше полагаться только на текущий вход. Это объясняет, почему в некоторых задачах обрезка контекста (например, короткое окно внимания) не ухудшает качество. · При быстро меняющейся среде прошлая информация устаревает – нужно динамически уменьшать размер буфера или использовать забывание, как в LSTM, но с адаптивным коэффициентом. 2. Регуляризация и штраф за сложность в RL. В RL агент часто хранит внутреннее состояние например, в PPO. Штраф Mv^2 в статье – аналог штрафа за изменение скрытого состояния. Это можно использовать: · Как регуляризатор в функциях потерь, чтобы поощрять агента использовать память только когда это действительно выгодно. · Аналитические пороги Theta_Q,Theta_M помогают автоматически подбирать коэффициент регуляризации M без дорогой сетки гиперпараметров – просто по статистике шумов среды. Это особенно полезно в Meta-RL, где среда меняется между эпизодами. 3. Continuous Learning и катастрофическое забывание. В задачах continual learning модели должны сохранять знания о прошлых задачах, но обновление памяти (весов) стоит ресурсов. Аналогия: · Параметр M – штраф за изменение весов. · Фазовый переход означает, что при превышении порога штрафа модель перестаёт обновлять веса вообще – т.е. замораживает их. Это даёт критерий, когда лучше полностью остановить обучение (если среда не меняется) или, наоборот, разморозить (если волатильность растёт). На практике это позволяет строить адаптивные стратегии обновления – не тратить ресурсы на веса, которые не нужны. Вот такое интересное исследование. Читайте полную версию, применяйте открытие, и stay tuned 🦾

А вы знали, что Джефри Хинтон (тот самый, который отец deep learning) - это праправнук Джорджа Буля (того самого, которому мы обязаны булевой алгеброй)? И это далеко не единственный его известный предок. Еще есть математик Чарльз Говард Хинтон (придумавший слово «тессеракт»), его отец - хирург из викторианской Англии Джэймс Хинтон (который кстати еще появляется как персонаж в некоторых художественных книгах о Джеке Потрошителе, хоть в реальном мире Хинтон и умер на 13 лет раньше убийств в Уайтчепеле), а также географ Джордж Эверест (в честь которого назвали угадайте что, несмотря на то, что эта идея ему не понравилась). А вас какие родственные связи в науке и технологиях более всего впечатлили?