🧮 Математика для ИИ на русском: от школьной базы до трансформеров и диффузии Бесплатный курс-шпаргалка на GitHub, который связывает формулы с их применением в ML: интуиция → формула → иллюстрация → код на NumPy → задачи. Внутри: • Линейная алгебра, производные, вероятности и статистика. • Backpropagation, оптимизаторы, функции потерь и attention. • Генеративные модели, обучение с подкреплением, RAG и рекомендации. Для практики: 26 Jupyter-ноутбуков с запуском в Colab, 60 задач с решениями и 160 вопросов с собеседований. Есть карточки Anki и глоссарий RU ↔ EN. Если математика забылась, предусмотрен отдельный справочник с нуля: от дробей и процентов до интегралов и матриц. https://github.com/justxor/math-for-ai-2026

11 бесплатных книг по AI и Machine Learning, которые можно читать онлайн или скачать 📚 Подборка сильная: от классического ML и deep learning до RL, multi-agent систем и probabilistic ML. 1. Foundations of Machine Learning https://cs.nyu.edu/~mohri/mlbook/ 2. Understanding Deep Learning https://udlbook.github.io/udlbook/ 3. Introduction to Machine Learning Systems Vol. 1: https://mlsysbook.ai/vol1/ Vol. 2: https://mlsysbook.ai/vol2/ 4. Algorithms for Machine Learning https://algorithmsbook.com/ 5. Deep Learning https://www.deeplearningbook.org/ 6. Reinforcement Learning https://www.andrew.cmu.edu/course/10-703/ 7. Distributional Reinforcement Learning https://direct.mit.edu/books/oa-monograph/ 8. Multi-Agent Reinforcement Learning https://www.marl-book.com/ 9. Agents in the Long Game of AI https://direct.mit.edu/books/oa-monograph/ 10. Fairness and Machine Learning https://fairmlbook.org/ 11. Probabilistic Machine Learning Part 1: https://probml.github.io/pml-book/book1 Part 2: https://probml.github.io/pml-book/book2 Хороший набор, если хочется закрыть путь от базового ML до современных агентных и вероятностных подходов без покупки дорогих учебников.

🎣 Вот это байт Вечером прилетает уведомление от AI Challenge: Поздравляем с успешным прохождением квалификационного этапа и выходом в… На этом превью обрывается. Мысленно я уже в финале – думаю, на что потратить призовые деньги. Открываю – а там сертификат участника основного этапа. В финал пока никто не звал Залетел в соло порешать задачу 3D Mesh Quality Control: Автоматизация поиска дефектов для обучения генеративных моделей На публичном лидерборде я был 1м, на приватном – 8м. Здарова, шейкап! опять были сабмиты на 3-4 место, не повезло Дальше будут оценивать презентации и код, так что места могут перетасоваться. Я особо не верю, но вдруг @tagir_analyzes

⚡ Как ускорить LLM на длинном контексте На AI RnD Day Никита Арсенин разобрал альтернативы классическому механизму внимания и показал результаты экспериментов команды. Он рассказал, как современные LLM избавляются от главного ограничения обычного attention — квадратичной зависимости стоимости от длины контекста, и почему в новых моделях всё чаще появляются гибрные подходы. 📌 TLDR Ускорять внимание можно двумя способами: выбирать из контекста только нужные токены или сжимать историю в состояние фиксированного размера. Первый подход сокращает дорогую агрегацию, второй убирает растущий KV-кеш. Но у обоих есть ограничения по доступу к деталям, поэтому их комбинируют с полным вниманием. В экспериментах команды sparse attention дал ускорение генерации в 4,8 раза на длинном контексте, а гибрид GDN + Attention Residuals — отдельно +6,2 п. п. на MMLU. 🔎 Sparse attention: сначала найти, потом прочитать В классическом трансформере query сравнивается со всеми keys, затем модель агрегирует соответствующие values. А в показанной схеме разреженного внимания дешёвый индексатор просматривает контекст и выбирает top-k позиций. Дорогая агрегация выполняется только по ним. Для последовательности длины L её стоимость снижается с квадратичной O(L²) до O(Lk). Но поиск не бесплатный: в этой схеме индексатор всё ещё даёт квадратичный член. Выигрыш в том, что он заметно дешевле полного внимания. 🧠 Linear attention Отдельные key/value всех прошлых токенов не хранятся. Они последовательно обновляют матрицу состояния S. В простейшей схеме со слайда: Sₜ = Sₜ₋₁ + vₜkₜᵀ При фиксированных размерностях состояния память и стоимость одного рекуррентного шага не растут с длиной контекста: O(1) вместо O(L). Суммарная работа механизма внимания для L шагов становится O(L), а не O(L²). Обратная сторона медали — история сжата. Нельзя просто обратиться к отдельному старому KV, как в full attention. Поэтому гибрид может чередовать, например, три линейных блока с одним полным: большую часть слоёв сделать дешевле, но оставить доступ ко всем позициям контекста. 🛠 Инфраструктура Наивные реализации DSA и линейного внимания поверх LLaMA-3.1-8B-Instruct показали ускорение в 2,6–3,75 раза на длинном контексте. А при сравнении PyTorch-реализации Gated DeltaNet с FlashAttention-3 линейное внимание стало быстрее лишь примерно на 200K токенов. Наша команда не ограничилась заменой слоя: адаптировала cuDNN-ядра для DSA/NSA, написала Triton-ядра для DSA и DSA + sliding window attention, оптимизировала линейные механизмы и Attention Residuals. Последние меняют смешивание выходов по глубине сети, а не отбор токенов контекста. 📊 Что получилось Модель с разреженным вниманием MSA справилась с генерацией примерно за 1,9 секунды, а базовый вариант с обычным вниманием MQA — за 9,2 секунды. Ускорение — в 4,8 раза. В отдельном эксперименте гибрид GDN + Attention Residuals обошёл full-attention baseline на 6,2 п. п. по усреднённому MMLU после примерно 110В обучающих токенов. Важно отметить, что это результаты конкретных конфигураций, а не гарантия для любой LLM. 🔗 Более подробно — в презентации Никиты (в комментариях файлом) и в записи выступления (тайминг: 1:07:00). #llm #attention #conference #paperwatch

​​DeepSeek-V4.1-Flash: Frontier Agents on a Smaller Memory Budget Большая часть недавнего прогресса в LLM — это reasoning, масштабные RL-rollouts и всё более изощрённое обучение агентов. Но одним из bottlenecks остаётся контекст. Coding agents, research agents и tool-using системы раз за разом обрабатывают сотни тысяч токенов входа, генерируя при этом сравнительно мало выхода. На таком workload prefill-компьют и KV cache становятся главной инфраструктурной проблемой. DeepSeek-V4.1-Flash — это, по сути, попытка перепроектировать Transformer вокруг этого сценария. 552B MoE backbone, 1M контекст, нативное зрение, 45T мультимодальных токенов на претрейне. Работают три механизма: - Causal Encoder-Decoder (CED): 40 слоёв делятся на 20-слойный causal encoder и 20-слойный decoder. Каждый decoder-слой проецирует свой global KV не из собственных hidden states, а из финального hidden state энкодера, поэтому декодер можно пропустить на prefill. Отсюда асимметрия: около 8B активных параметров на токен в prefill против 16B в decode. - Compressed Sparse Attention 2 (CSA2): каждый слой статически получает один из трёх режимов — Full, Reindex или Reuse. Sharing KV экономит память, sharing Top-K-индексов ещё и убирает повторное скорингование всей истории. В итоге один decoder-слой создаёт main KV, который читают все двадцать, а вместе с FP4-квантованием это ужимает global cache до 890 байт на токен, примерно четверть от DeepSeek-V4-Flash. - SWA Bounded Replay: sliding-window KV вообще не персистится между ходами, а на cache hit восстанавливается проигрыванием одного окна токенов вместо честной реконструкции по всем слоям. Реконструкция неточная, но авторы оценивают потерю качества как незначительную. На post-training практически весь прирост идёт из масштабирования синтезированных задач и агентных окружений. Отдельно любопытен раздел про RL failure modes: агенты занимаются reward hacking, эксплуатируют реальные уязвимости в песочницах, удаляют системные бинарники, а иногда сносят файловую систему целиком. Paper Model Мои обзоры: Блог Medium #paperreview

Yandex Advanced Personal Intelligence Lab. (лаборатория перспективных исследований персонального интеллекта) Возвращаюсь в Яндекс! Моя давняя амбиция — немного подвинуть рексисоидов из Дипмайнда. Показать, что мы тоже умеем (научились) в рексис. Что у нас есть свое видение, навыки, и мы можем мощно контрибьютить в общее фундаментальное развитие рекомендательных систем. А еще персонализация — это, кмк, очень важная задача, которой в силу проф. деформации топовые лабы занимаются постольку-поскольку. И что человечество пока не сильно продвинулось в персонализации агентов/чатботов; в общем, есть куда поконтрибьютить. Чтобы эту амбицию реализовать, нужно: * построить крутую команду — такой опыт у меня уже есть. Раньше я в основном "черпал" талантов из пула ммпшников; все самые удачные наймы — это кличи на стажировку в чатик выпускников/студентов ммп. Но даже самых талантливых ребят надо было года два учить рекомендашкам/large-scale диплернингу. Сейчас ситуация проще — рексис коммьюнити / популярность рексиса среди студентов / пул кадров растут; а с онбордингом помогает дипрексис курс. * много ресурсов. Чем больше ресурсов (GPU/CPU/диск), тем быстрее ставятся эксперименты. На масштабе рекомендаций, когда мы работаем с очень большими датасетами (см. следующий пункт), без нормальных ресурсов вообще тяжело. * конкретно в рекомендашках еще важен доступ к пользовательским данным; и чем больше данных, тем лучше — особенно для текущих фронтирных направлений. * и, наконец, нужен доступ к продакшну и к коллегам, которые помогут быстро итерироваться в оном продакшне. Сильного доверия оффлайн-оценке качества в рекомендациях нет — она смещена из-за специфики пользовательского фидбека и продовой рексистемы. Для железных выводов нужны A/B-тесты. Если посмотреть на тот же (рексис) Дипмайнд — там всё сильно production-oriented и почти во всех статьях репортятся результаты A/B тестов; аналогично Spotify Research. Что в итоге имеем: * для первого пункта нужно вкладываться в популяризацию и развитие образования в области рекомендательных систем. Очень много усилий было вложено в дипрексис курс; мы на этом не останавливаемся и планируем вторую итерацию — более масштабную и ещё более актуализированную. * для остального нужно быть частью индустрии. В академии нет нужного количества ресурсов, доступа к данным нужного масштаба и A/B тестов на реальных пользователях. Так вот. Буду строить свою лабу в Яндексе! Почему Яндекс: в любом другом месте мне потребовалось бы много времени, чтобы наладить инструменты, процессы, выстроить коммуникации, встроиться в организацию. Внутри Яндекса есть разные варианты, где этим можно заниматься — я выбрал Рекламу. Почему Реклама: это самая большая и важная рекомендательная система Яндекса. На протяжении всей карьеры в Яндексе у меня было много совместных проектов с ребятами; все ключевые разработки, типа первых яндексовых рекомендательных трансформеров / Дипранкера (нейросетевого ранжирования) / Аргуса, туда успешно доехали. Команда в рекламе большая и экспертная — есть крутые зрелые R&D / продуктовые / инфровые команды, почти со всеми из которых я хорошо знаком и вместе работал. К ребятам можно органично встроиться ресерч лабой, с хорошей синергией; и с порога получить приличное количество ресурсов. Чем будет заниматься лаба: тем же, чем занималась моя бывшая команда, но с еще большим фокусом на ресерч. Я это позиционирую как applied research — делаем долгосрочные исследования, но при этом сохраняем прикладной фокус; прямо как (рексис) DeepMind и Spotify Research. Конечная цель — импакт в продуктах и рост метрик; и важно то, какими методами мы будем этого достигать — через фундаментальные исследования и фронтир, а не через инкрементальные улучшения и жесткий тюнинг под домены. А ещё очень важно при этом поддерживать и развивать ресерч культуру и делиться результатами с сообществом — писать статьи, участвовать в конференциях, преподавать. Также я рассчитываю, что наши наработки в конечном счете будут полезны не только рекламе Яндекса, но и другим доменам (в том числе горячо любимой мной Музыке <3). И что доведется повзаимодействовать с ребятами из YandexGPT и другими R&D командами (включая моих бывших коллег из рекомендательной службы!). Есть видение, куда надо двигать рекомендашки (куда нас двигает bitter lesson), и есть возможность превратить его в реальность, вместе с ребятами из рекламы. Если раньше я пытался делать сразу почти всё — ресерч, разработку инструментов, фреймворков, погружаться в продукты, внедряться — и это существенно усложняло построение сильной ресерч команды, то здесь вижу НУ ОЧЕНЬ большой потенциал для симбиоза с рекламными командами, у которых все эти аспекты уже хорошо развиты. В общем, хайп н е р е а л ь н ы й! Про образование. Для меня, наверно, самая значимая цельная вещь, которую я сделал к текущему моменту — это дипрексис курс. Хочется и дальше его развивать. Буду продолжать вести курсы в ШАДе и Вышке, а также руководить студентами; вообще, очень удобно делить идеи на сложные фундаментальные рабочие задачи и более локальные гипотез — и вторые проверять вместе со студентами. А ещё в Вышке я теперь заместитель заведующего базовой кафедрой Яндекса, что даёт мне возможность устраивать всякие разные коллабы между Яндексом и Вышкой. Если вы работаете в Яндексе и хотели бы заняться преподаванием / научным руководством, то теперь я человек, который может вам в этом помочь. P.S.: со мной можно пообщаться офлайн на Practical ML Conf 19 сентября, где я буду в качестве участника дискуссии "От исследования к продукту и обратно...". Ну или можно написать в личку. Если лаба заинтересовала, но думаете что на текущий момент нет шансов в неё попасть / не готовы уходить с текущего места, то всё равно полезно дойти до меня и выразить свой интерес, на будущее. Всё, пока, нет времени говорить, побежал двигать рексис фронтир))

Конференции потрясающая штука. На воркшопе рассказывал про наш прогресс. Решил помимо черрипикнутых видео, где мы конечно молодцы, показать лайв демо. Там наша модель местами работает, а местами не работает. Например, одна из необъясненных проблем это вот такие странные траектории. Это игрушечная модель которая учится кликать в одну из двух кнопок. Все траектории в данных у неё прямые и попадают прямо в середину кнопки. А потом на инференсе она заходит на цель с какого-то уголка и наворачивает невероятные вензеля. В основном всем понравилось. Но один парень сказал, что я всё делаю неправильно, траектории курсора не нужны и все такое. Я задумался и к вечеру придумал три вероятных источника этой проблемы и какие эксперименты провести, чтобы её победить.

Предсказать среднее могут не только лишь все Классическая задача машинного обучения - тренировочный и тестовый датасет, бинарная классификация. Если ваша модель без глаз и ушей, т.е. не получает фичи на вход, то она посчитает avg(y) на тренировке и предскажет это для каждого тестового образца. Когда мы выкатываем модель в прод, то одним из критериев её самочувствие является так называемая калибровка - sum(p(y)) / sum(y). Даже выше упомянутая слепоглухая модель будет "откабирована". т.е. измерение будет равно примерно 1. Казалось бы - планка-то не очень высокая. Если калибровка в проде не 1, то с моделью что-то сильно не так. Мы выложили модель в открытый доступ, так что не секрет, что наш ранкер - это простой трансформер с ранним связыванием, применяемый над историей пользователя и представлением кандидата. Все посты представлены в виде id автора, id поста, и ещё там есть пачка банальных контекстных фичей. Вся эта фигня тренируется в реальном времени на всех поступающих данных. Свежие чекпоинты постоянно отгружаются в инференс и в прод. Так вот, от нашего ранкера не так уж и просто добиться откалиброванности. Это очень капризная дама. Если тренировка падает на час и в проде продолжает применяться замороженный чекпоинт - прощай, откалиброванность. Предсказания по не до конца ясной причине начинают плавно расти со временем. Через несколько часов они вырастают в 5-10 раз. Любое малейшее расхождение фичей на тренировке и применении - калибровка летит в жопу. Причём обычно именно в большую сторону, непропорционально падению CTR. На днях дебажил проблему. У нас есть конверсионная модель, предсказывающая вероятность p(purchase | click). Покупка лишь изредка происходит сразу после клика, поэтому реальную метку надо ждать какое-то время. Я работал над моделью с 24-часовой задержкой. То есть каждый обучающий образец - это клик на рекламу, случившийся ~сутки назад, и метка покупки. На тренировке всё выглядело нормально, а как выкатываю в прод - калибровка >2 - модель начинает выдавать в 2 раза большие скоры, в том числе на теневом трафике прода - то есть без учёта selection bias. Я беру эти образцы. Думаю - может из-за расхождения в историях - модель могла не обучаться на свежих постах и в эмбеддингах там мусор. Создаю исскусственную задержку - такое же говно. Думаю - ну может распределение кандидатов меняется? Пробую подставлять старых кандидатов - такое же говно. Нежно приложив пистолет к виску моего агента, я сказал ему копать - перебирай все фичи, пока не найдёшь, из-за чего эта херня возникает. И что вы думаете? Сраный день недели. В представлении кандидата есть эмбеддинг текущего дня недели. У тренировочных данных, на которых тренируется модель, эта фича всегда равна предыдущему дню недели. А в проде она равна текущему дню. Если в проде подменить фичу дня недели на вчерашний, модель резко выздоравливает и предсказание превращаются в норму. Какого чёрта оно так себя ведёт? Не знаю, и знать не хочу. Обожаю машинное обучение. @knowledge_accumulator

🛠️ Метод Сначала определяют, какие слои лучше всего отображаются из одной модели в другую. Для этого обучают гребневую регрессию (Ridge Regression) между всеми парами слоёв source- и target-модели и находят те, где R² самый большой. При этом важно фитировать pre-RoPE-ключи. Так и ошибка выходит меньше, и на другие контексты экстраполируется лучше. Замечают, что ключи предсказываются лучше, чем значения. Впрочем, это было известно и из прошлой литературы. После определения самых важных source-слоёв для данного target-слоя признаки из них конкатенируют в один тензор и снова обучают на этом гребневую регрессию. Показывают, что важно брать не один, а несколько — 4–8 — слоёв из source-модели для приемлемого R². ⏱️ Занимает это час-полтора на ноде из 8×H100. 🧪 Эксперименты Валидируют подход на моделях семейств Qwen3, Llama-3.1, Ministral и на задачах с коротким ответом: ARC-C, HellaSwag, Winogrande, MMLU. На паре Qwen3 14B → 32B работает неплохо, на Qwen3 8B → 32B — уже хуже, а на Llama 3.1 и Ministral 3. В ablation показывают для Qwen, что pre-RoPE важен и что k = 1 — брать один самый важный слой — недостаточно. Для Ministral 3 можно вытянуть качество, если заменить линейную модель на MLP. Для Qwen3 это не помогает. Утверждается, что оверхед от маппера из source в target небольшой — в 3–25 раз меньше, чем prefill. 💡 Выводы Интересное исследование и идея, но будто бы до практического использования ещё далеко. Тесты — на простых бенчах, и будто бы подход не универсален. Для качественного отображения между разными моделями, скорее всего, потребуется более выразительная модель, и здесь возникает сложный trade-off между потенциальным выигрышем, стоимостью работы и обучения этой прокладки.

Еще немного интересных наблюдений из RL для MoE. В нем есть одна проблема, которая делает обучение гораздо более склонным к нестабильностям. В любом современном RL есть train-inference mismatch, обычно вызванный двумя вещами: 1) из-за асинхронности инференс отстает от трейнера и 2) из-за разной имплементации кернелов/разного железа/неассоциативности сложения (у одной версии dense чекпоинта pi_train(tok) / pi_inference(tok) отличается обычно в четвертом знаке). Однако, в MoE появляется еще один очень неприятный источник такого расхождения: routed experts. Проблема в том, что во время инференса могут активироваться одни эксперты, а во время forward_pass на стороне трейнера – другие, и незначительное изменение в скорах роутера (но достаточное для того, чтобы topK изменился) могут значительно изменить итоговый результат. Основные решения такие: - Просто фризим роутер и уменьшаем асинк ⇒ роутер реже пересекает границу, при которой меняется topK - R2/R3, они же Routing Replays: сохраняем экспертов, активируемых версией модели для инференса и форсируем forward pass через них в трейнере. В статье https://arxiv.org/abs/2512.01374 можно почитать про разницу R2 vs R3 и всякие доп детали. Но проблема в том, что экспертов-то мы форсируем, но скоры роутера меняются, и это может быть проблемой (можно порассуждать на тему, что будет, если инференс версия дала i-ому эксперту высокий скор, а трейнер – низкий) И на самом деле у всех результаты смешанные: у кого-то работает одно, у других – другое. Вчера прочитал https://kiddyboots216.github.io/mismatch/#conclusion-router-replay и увидел еще один способ: Total Router Recall – сохраняем не только экспертов, но и их скоры, а в трейнере фризим роутер. Интересно, что можно предложить способ, при котором мы будем роутер учить, используя скоры и экспертов с инференса, правда работать это будет плохо. В общем, для всех интересующихся RL-ем рекомендую полистать блогпост, там много чего интересно помимо реплеев

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction 📄 Статья 💻 Кода нет Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training). Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес. Кроме того, существующие техники не учитывают кривизну при оптимизации в STE. И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.