11 бесплатных книг по AI и Machine Learning, которые можно читать онлайн или скачать 📚 Подборка сильная: от классического ML и deep learning до RL, multi-agent систем и probabilistic ML. 1. Foundations of Machine Learning https://cs.nyu.edu/~mohri/mlbook/ 2. Understanding Deep Learning https://udlbook.github.io/udlbook/ 3. Introduction to Machine Learning Systems Vol. 1: https://mlsysbook.ai/vol1/ Vol. 2: https://mlsysbook.ai/vol2/ 4. Algorithms for Machine Learning https://algorithmsbook.com/ 5. Deep Learning https://www.deeplearningbook.org/ 6. Reinforcement Learning https://www.andrew.cmu.edu/course/10-703/ 7. Distributional Reinforcement Learning https://direct.mit.edu/books/oa-monograph/ 8. Multi-Agent Reinforcement Learning https://www.marl-book.com/ 9. Agents in the Long Game of AI https://direct.mit.edu/books/oa-monograph/ 10. Fairness and Machine Learning https://fairmlbook.org/ 11. Probabilistic Machine Learning Part 1: https://probml.github.io/pml-book/book1 Part 2: https://probml.github.io/pml-book/book2 Хороший набор, если хочется закрыть путь от базового ML до современных агентных и вероятностных подходов без покупки дорогих учебников.

Наш препринт про архитектурную модификацию трансформера: https://huggingface.co/papers/2609.32814 Change the Product, Keep the Parameters: Associative Algebra Layers for Transformers tl/dr Исследуем замену GEMM в MLP-слое трансформера на более лёгкую операцию, которая сохраняет билинейность и ассоциативность матричного умножения, но требует меньше вычислений при том же количестве обучаемых параметров. Лонгрид Работа состоит из трёх частей. Часть первая: математическая база Описывается новый оператор, заменяющий обычное матричное умножение. Формально доказывается, что он билинеен и ассоциативен. Для оператора над матрицами размера q×q вычисляется билинейный ранг — минимальное число скалярных умножений, необходимых для его вычисления. Для q=2 новый оператор имеет ранг 6. Для сравнения, обычное умножение 2×2 требует 8 умножений, а алгоритм Страссена — 7. Эти числа всплывут в третьей части 👇 Билинейность позволяет заменить линейную проекцию трансформера, не вводя дополнительную нелинейность, а также даёт возможность формально анализировать вычислительную стоимость оператора. При этом мы не уменьшаем число параметров и не используем sparsity или low-rank compression: сохраняется полный набор обучаемых весов, меняется только закон их умножения на активации. Часть вторая: синтетические экспы на GPU Показываем, что реализация нового оператора действительно может использоваться вместо GEMM в качестве линейной проекции трансформера. Приводятся оценки эффективности для нескольких архитектур, включая Qwen и DeepSeek. Часть третья: оценка end-to-end на декодерной LM Создаётся небольшая декодерная LM ёмкостью 110M параметров, близкая к GPT-2, но с небольшими модификациями (SwiGLU вместо стандартного FFN) и GPT-2-токенизатором. Делаем два варианта модели: с классическим GEMM и с новым оператором в MLP. Обе модели обучаются на одном и том же инструктивном датасете с бюджетом около 12.3B токенов и в одинаковом вычислительном окружении. Эксперимент показывает, что новый оператор остаётся обучаемым в реальных условиях, включая CUDA, floating-point вычисления и автоматическое дифференцирование в PyTorch. Затем измеряем скорость инференса и качество на downstream-задачах через lm-eval-harness. Для q=2 модель с новым оператором показывает прирост end-to-end throughput примерно на 7%. Для сравнения, переход от rank-7 алгоритма Страссена к rank-6 оператору сокращает число скалярных умножений примерно на 14.3%. Наблюдаемый выигрыш оказывается примерно вдвое меньше этого арифметического выигрыша, что ожидаемо: MLP составляет лишь часть вычислений модели, а итоговое время также определяется attention, LM head, memory traffic, sampling и другими операциями. Что дальше: много экспов с другими параметрами (q=3 и 4), настройка ядер и пр. 🤗 👉 hf dailypapers link 👈

737 страниц математики, которая стоит за современным Deep Learning. Книга “Mathematical Introduction to Deep Learning: Methods, Implementations, and Theory” подробно разбирает нейросети с математической стороны - от базовых методов до теории и практической реализации. Внутри: - линейная алгебра и оптимизация - основы нейронных сетей - backpropagation - CNN и sequence-модели - методы обучения и регуляризации - математический анализ архитектур - теория аппроксимации и обобщения - практические реализации алгоритмов Хороший вариант для тех, кто хочет понимать Deep Learning глубже, чем на уровне вызова готовых библиотек. PDF на 737 страниц доступен бесплатно: https://arxiv.org/pdf/2310.20360

#обзор_статьи Давно здесь не было обзоров статей. Но несмотря на вайбкодинг я не разучился читать. Сегодня у нас впервые за долгое время заявка на смену парадигмы в генеративном DL! # Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation https://explorative-modeling.github.io/ Авторы предлагают учить генеративные модели другим лоссом который имеет теоретические основания и одновременно улучшает эффективность использования компьюта, качество и скейлинг с параметрами. Ключевая идея: мы учим генеративные модели одним образом, а инферим их совсем иначе. Например, авторегрессионные модели генерируют один токен за раз, но при инференсе мы требуем от них тысяч токенов на выходе. Диффузионные модели в трейне денойзят один шаг, а при инференсе должны делать готовую картинку. При этом, например, у диффузионной модели часто нет возможности по вектору шума понять в какую именно сторону его надо денойзить, но мы её штрафуем как будто это однозначно определено. Так сложилось потому что генеративные модели пытаются учить мультимодальные распределения. Условно где много гауссиан намешано: в одной части латентного пространства собаки, а в другой кошки и надо научиться генерировать фото обоих. Если пытаться генерировать за один шаг, то модель не может сделать ничего лучше, чем выдать нечто среднее. Пошаговая генерация это хак, который позволяет семплировать не из p(данные), а из p(данные|мы уже начали генерировать собаку), и таким образом дают модели возможность выбрать одну из мод распределения и фокусироваться на ней. Хаки это плохо, потому что разные процедуры обучения и инференса гарантируют сдвиг входов. И вообще надо, чтобы всё было end-to-end. Предлагают простое решение: во время обучения делать несколько попыток генерации, а бекпропать только самую близкую к данным. Утверждается, что такая постановка позволяет модели поисследовать разные моды распределения, а не натягивать любую сову на один глобус. На примере диффузии работает так. Для каждого примера: 1. Семплируем K разных способов его зашумить. 2. Для каждого из K делаем предикт моделью, чтобы уменьшить шум и считаем обычный диффузионный лосс. 3. Бекпропаем только наименьший из полученных лоссов. Так же предлагают процедуру как учить такую Exploration Model с нуля. Если всё как авторы утверждают, то это имеет потенциал улучшить весь генеративный DL повсеместно, от LLM до генераторов порно до VLA которыми мы занимаемся в Steelman

А вы знали, что Джефри Хинтон (тот самый, который отец deep learning) - это праправнук Джорджа Буля (того самого, которому мы обязаны булевой алгеброй)? И это далеко не единственный его известный предок. Еще есть математик Чарльз Говард Хинтон (придумавший слово «тессеракт»), его отец - хирург из викторианской Англии Джэймс Хинтон (который кстати еще появляется как персонаж в некоторых художественных книгах о Джеке Потрошителе, хоть в реальном мире Хинтон и умер на 13 лет раньше убийств в Уайтчепеле), а также географ Джордж Эверест (в честь которого назвали угадайте что, несмотря на то, что эта идея ему не понравилась). А вас какие родственные связи в науке и технологиях более всего впечатлили?

Интересная по описанию либа Humming от InclusionAI. Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU). ⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций: • 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP. • ⚡ Активации можно квантовать в FP16/BF16/FP8/FP4/INT8/INT4. FP8 поддерживается только начиная с Hopper, а FP4 — с Blackwell. 🧩 Ещё он работает с MoE и позволяет прикручивать адамаровы повороты в квантизацию. 🤷‍♂️ Утверждается, что он выдаёт SOTA-скорость и эффективность, но никаких чисел в README, да и вообще нигде, не приводится. 📊 Квантованных чекпоинтов с замерами качества и скорости тоже нигде нет. 🤔 Выглядит потенциально интересно для ресерча, но как будто не хватает нормальной доки и полноценного описания бенефитов. Могли бы Claude Code постараться напрячь, раз он у них и так многое делает.

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀 В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention. Вы узнаете: • почему на H100 FA-2 просел по утилизации GPU • как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3 • зачем нужна warp-специализация • как matmul и softmax удалось выполнять параллельно • что даёт FP8 с контролем ошибок • и почему для Blackwell снова понадобилась перестройка во FlashAttention-4 Читайте разбор по ссылке! 👈🏼

Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих. Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.

А у нас там подкаст вышел, видели? Если вдруг нет, то заходите на YouTube, в ВК или Дзен, там увидите подкаст Виктора Кантора и Татьяны Гайнцевой – AI Researcher и PhD-кандидат в Queen Mary University of London, исследовательница в области интерпретируемости и управления поведением генеративных моделей. Обладательница стипендии DeepMind, преподаватель Deep Learning School и Nebius Academy, соосновательница Deep Learning School, автор телеграм-канала DLStories и подкаста Deep Learning Stories. Ранее занималась исследованиями в Huawei и Philips, работая над задачами компьютерного зрения и медицинского AI. В выпуске разговор получился не столько про карьеру в AI, сколько про исследовательское мышление. Почему одни специалисты годами улучшают метрики моделей, а другие пытаются понять, что происходит внутри них? Зачем вообще исследовать интерпретируемость нейросетей? Можно ли управлять поведением LLM через активации отдельных слоев? И почему иногда самый интересный вопрос в машинном обучении – не «как сделать лучше», а «почему это вообще работает»? Ждём вас на удобной для вас площадке: https://youtu.be/pXMd0N6xSAQ https://vk.com/video-228219607_456239235 https://dzen.ru/video/watch/6a314bf1a6d473684e1eb721

🔬 Метод Авторы замечают, что обновления весов в радиальном и угловом направлениях не являются независимыми. Для оптимизаторов типа Адама/Мюона величина шага не зависит от нормы весов, поэтому изменение угла обратно пропорционально норме весов. Аналогично, при движении вдоль касательной (по радиальному градиенту) растет норма весов. И чтобы она не улетела в космос, приходится накладывать weight decay. 🧮 Дабы обеспечить контроль над величиной веса, его можно представить в следующем виде: W = diag(γ_row) W_hat diag(γ_col) Где W_hat — нормализованный вес, а γ_row и γ_col — построчные и поколоночные мультипликаторы, которые могут быть как скалярами, так и векторами. Нормализовать можно как по норме Фробениуса всей матрицы, так и по строкам или столбцам. 📊 Эксперименты 🧪 Авторы аблируют разные варианты нормализации и параметризации gains. Вариант с нормализацией всей матрицы выглядит не хуже остальных, будучи при этом самым простым, поэтому в итоге используют именно его. ✅ γ_row и γ_col полезно иметь в виде векторов, причем оба должны быть обучаемыми. Использование row и col gains более высокого ранга не помогает. Чтобы gains не обращались в ноль, их можно параметризовать через строго положительную функцию активации, но и без такой параметризации метод работает стабильно. 📈 Хорошим свойством нормализации весов является переносимость learning rate между моделями разной ширины и глубины. Оптимальная величина шага обучения оказывается почти постоянной. Кроме того, больше не нужен warmup в начале обучения, так как оптимизатор не взрывается по ходу обучения. Weight decay теперь тоже становится лишним, поскольку параметризация сама обеспечивает нахождение нормы весов в разумных пределах. 📉 Лучше всего работает линейное затухание learning rate вместо популярного нынче WSD. 🏆 В итоге лучший вариант MuonMD (Magnitude-Direction) сходится быстрее по числу итераций по сравнению с базовым Мюоном. Причем работает он хорошо как для Dense-, так и для MoE-моделей. ⚙️ На практике веса моделей хранятся так же, как и раньше: разбиение на величину и угол выполняется внутри оптимизатора. Замедление шага обучения при этом небольшое (около 5% у Адама и 1–2% у Мюона). 💡 Выводы Выглядит как многообещающий и интересный результат. Интересно, насколько скоро данная техника будет внедрена в обучение больших моделей и станет ли она такой же стандартной практикой, как Мюон.