#обзор_статьи Давно здесь не было обзоров статей. Но несмотря на вайбкодинг я не разучился читать. Сегодня у нас впервые за долгое время заявка на смену парадигмы в генеративном DL! # Explorative Modeling: Unlocking a Third Pretraining Axis and End-to-End Generation https://explorative-modeling.github.io/ Авторы предлагают учить генеративные модели другим лоссом который имеет теоретические основания и одновременно улучшает эффективность использования компьюта, качество и скейлинг с параметрами. Ключевая идея: мы учим генеративные модели одним образом, а инферим их совсем иначе. Например, авторегрессионные модели генерируют один токен за раз, но при инференсе мы требуем от них тысяч токенов на выходе. Диффузионные модели в трейне денойзят один шаг, а при инференсе должны делать готовую картинку. При этом, например, у диффузионной модели часто нет возможности по вектору шума понять в какую именно сторону его надо денойзить, но мы её штрафуем как будто это однозначно определено. Так сложилось потому что генеративные модели пытаются учить мультимодальные распределения. Условно где много гауссиан намешано: в одной части латентного пространства собаки, а в другой кошки и надо научиться генерировать фото обоих. Если пытаться генерировать за один шаг, то модель не может сделать ничего лучше, чем выдать нечто среднее. Пошаговая генерация это хак, который позволяет семплировать не из p(данные), а из p(данные|мы уже начали генерировать собаку), и таким образом дают модели возможность выбрать одну из мод распределения и фокусироваться на ней. Хаки это плохо, потому что разные процедуры обучения и инференса гарантируют сдвиг входов. И вообще надо, чтобы всё было end-to-end. Предлагают простое решение: во время обучения делать несколько попыток генерации, а бекпропать только самую близкую к данным. Утверждается, что такая постановка позволяет модели поисследовать разные моды распределения, а не натягивать любую сову на один глобус. На примере диффузии работает так. Для каждого примера: 1. Семплируем K разных способов его зашумить. 2. Для каждого из K делаем предикт моделью, чтобы уменьшить шум и считаем обычный диффузионный лосс. 3. Бекпропаем только наименьший из полученных лоссов. Так же предлагают процедуру как учить такую Exploration Model с нуля. Если всё как авторы утверждают, то это имеет потенциал улучшить весь генеративный DL повсеместно, от LLM до генераторов порно до VLA которыми мы занимаемся в Steelman

А вы знали, что Джефри Хинтон (тот самый, который отец deep learning) - это праправнук Джорджа Буля (того самого, которому мы обязаны булевой алгеброй)? И это далеко не единственный его известный предок. Еще есть математик Чарльз Говард Хинтон (придумавший слово «тессеракт»), его отец - хирург из викторианской Англии Джэймс Хинтон (который кстати еще появляется как персонаж в некоторых художественных книгах о Джеке Потрошителе, хоть в реальном мире Хинтон и умер на 13 лет раньше убийств в Уайтчепеле), а также географ Джордж Эверест (в честь которого назвали угадайте что, несмотря на то, что эта идея ему не понравилась). А вас какие родственные связи в науке и технологиях более всего впечатлили?

Интересная по описанию либа Humming от InclusionAI. Позиционируется как легковесный, высокопроизводительный фреймворк с JIT-компилированными GEMM-операциями (под NVIDIA GPU). ⚙️ Он предлагает широкий ассортимент кернелов под разные конфигурации квантованных весов и активаций: • 🧮 Веса можно квантовать почти в любую целочисленную битность от 1 до 8, а также в разные варианты FP. • ⚡ Активации можно квантовать в FP16/BF16/FP8/FP4/INT8/INT4. FP8 поддерживается только начиная с Hopper, а FP4 — с Blackwell. 🧩 Ещё он работает с MoE и позволяет прикручивать адамаровы повороты в квантизацию. 🤷‍♂️ Утверждается, что он выдаёт SOTA-скорость и эффективность, но никаких чисел в README, да и вообще нигде, не приводится. 📊 Квантованных чекпоинтов с замерами качества и скорости тоже нигде нет. 🤔 Выглядит потенциально интересно для ресерча, но как будто не хватает нормальной доки и полноценного описания бенефитов. Могли бы Claude Code постараться напрячь, раз он у них и так многое делает.

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀 В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention. Вы узнаете: • почему на H100 FA-2 просел по утилизации GPU • как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3 • зачем нужна warp-специализация • как matmul и softmax удалось выполнять параллельно • что даёт FP8 с контролем ошибок • и почему для Blackwell снова понадобилась перестройка во FlashAttention-4 Читайте разбор по ссылке! 👈🏼

Пока я откисаю в Корее от очередного сезона исхода дорогих коллег [1, 2, 3, и др.] перед ICML, наша с читателями любимая Лилиан Вэн – авторка топ-1 блога по диплёрнингу – написала первый за почти два года пост про историю и развитие науки об оценке правил масштабирования (scaling laws) языковых моделей. Почему "правил", а не "законов" – чтобы не создавать ощущения универсальности самих законов: всех необходимых факторов для по-настоящему точных предсказательных правил для конкретных архитектур, моделей, данных, оптимизаторов и других факторов, на них влияющих. Особого почтения заслуживает упоминание статьи Lovelace et al., где в первый раз в академическом мире разбираются, как влияют повторения данных на scaling laws. Так что у кого знания остановились на шиншилле – бежим освежать знания, чтобы фронтир толкался предсказуемо и безопасно.

А у нас там подкаст вышел, видели? Если вдруг нет, то заходите на YouTube, в ВК или Дзен, там увидите подкаст Виктора Кантора и Татьяны Гайнцевой – AI Researcher и PhD-кандидат в Queen Mary University of London, исследовательница в области интерпретируемости и управления поведением генеративных моделей. Обладательница стипендии DeepMind, преподаватель Deep Learning School и Nebius Academy, соосновательница Deep Learning School, автор телеграм-канала DLStories и подкаста Deep Learning Stories. Ранее занималась исследованиями в Huawei и Philips, работая над задачами компьютерного зрения и медицинского AI. В выпуске разговор получился не столько про карьеру в AI, сколько про исследовательское мышление. Почему одни специалисты годами улучшают метрики моделей, а другие пытаются понять, что происходит внутри них? Зачем вообще исследовать интерпретируемость нейросетей? Можно ли управлять поведением LLM через активации отдельных слоев? И почему иногда самый интересный вопрос в машинном обучении – не «как сделать лучше», а «почему это вообще работает»? Ждём вас на удобной для вас площадке: https://youtu.be/pXMd0N6xSAQ https://vk.com/video-228219607_456239235 https://dzen.ru/video/watch/6a314bf1a6d473684e1eb721

🔬 Метод Авторы замечают, что обновления весов в радиальном и угловом направлениях не являются независимыми. Для оптимизаторов типа Адама/Мюона величина шага не зависит от нормы весов, поэтому изменение угла обратно пропорционально норме весов. Аналогично, при движении вдоль касательной (по радиальному градиенту) растет норма весов. И чтобы она не улетела в космос, приходится накладывать weight decay. 🧮 Дабы обеспечить контроль над величиной веса, его можно представить в следующем виде: W = diag(γ_row) W_hat diag(γ_col) Где W_hat — нормализованный вес, а γ_row и γ_col — построчные и поколоночные мультипликаторы, которые могут быть как скалярами, так и векторами. Нормализовать можно как по норме Фробениуса всей матрицы, так и по строкам или столбцам. 📊 Эксперименты 🧪 Авторы аблируют разные варианты нормализации и параметризации gains. Вариант с нормализацией всей матрицы выглядит не хуже остальных, будучи при этом самым простым, поэтому в итоге используют именно его. ✅ γ_row и γ_col полезно иметь в виде векторов, причем оба должны быть обучаемыми. Использование row и col gains более высокого ранга не помогает. Чтобы gains не обращались в ноль, их можно параметризовать через строго положительную функцию активации, но и без такой параметризации метод работает стабильно. 📈 Хорошим свойством нормализации весов является переносимость learning rate между моделями разной ширины и глубины. Оптимальная величина шага обучения оказывается почти постоянной. Кроме того, больше не нужен warmup в начале обучения, так как оптимизатор не взрывается по ходу обучения. Weight decay теперь тоже становится лишним, поскольку параметризация сама обеспечивает нахождение нормы весов в разумных пределах. 📉 Лучше всего работает линейное затухание learning rate вместо популярного нынче WSD. 🏆 В итоге лучший вариант MuonMD (Magnitude-Direction) сходится быстрее по числу итераций по сравнению с базовым Мюоном. Причем работает он хорошо как для Dense-, так и для MoE-моделей. ⚙️ На практике веса моделей хранятся так же, как и раньше: разбиение на величину и угол выполняется внутри оптимизатора. Замедление шага обучения при этом небольшое (около 5% у Адама и 1–2% у Мюона). 💡 Выводы Выглядит как многообещающий и интересный результат. Интересно, насколько скоро данная техника будет внедрена в обучение больших моделей и станет ли она такой же стандартной практикой, как Мюон.