​​Book Review: Build a DeepSeek Model (From Scratch) Мне прислали на ревью очередную книжку, на этот раз от Manning. Идея простая: взять ключевые находки DeepSeek и собрать каждую из них с нуля в уменьшенном виде, так чтобы всё запускалось на ноутбуке. Порядок такой: KV-кэш и его memory cost (плюс MQA и GQA как стандартные ответы), потом Multi-Head Latent Attention с decoupled RoPE и DeepSeek-MoE, потом multi-token prediction, FP8 и DualPipe, и в конце GRPO и дистилляция. Книга не для новичков: предполагается, что трансформеры вы уже понимаете. Авторы обычно демонстрируют подходы по шагам. Например, вот так демонстрируется RoPE: сначала добавляют целые числа (ломают эмбеддинги большими значениями), потом бинарные векторы (чинят магнитуду, но дают разрывы), потом синусоиды. И заодно показывают, что бинарное кодирование — это мультичастотный сигнал (младшие биты осциллируют быстро, старшие медленно), а синусоиды просто его непрерывная версия. Из минусов: эксперименты идут на TinyStories и на маленьком масштабе, так что разница в метриках маленькая. И архитектурная часть заканчивается на V3 и R1, а attention с тех пор ушёл в сторону sparse-стеков. Amazon Manning Code Мои обзоры: Personal blog Medium #bookreview

Вышел технический репорт о Sona – модели, которая заменила весь рекомендательный стек Яндекс Музыки https://arxiv.org/abs/2608.11015 Эта модель – итог целого года работы. И это лучшее внедрение трансформеров в истории А/B-тестов в Яндекс Музыке. Но главное здесь, что Sona – это одна модель. До этого продакшн-каскад рекомендаций Яндекс Музыки включал в себя 15+ генераторов кандидатов плюс ранжирование на сотнях ручных фич. И это все заменили единой моделью, обучаемой end-to-end. Это даже звучит сложно, а на деле несет за собой еще больше проблем и нюансов, чем может показаться на первый взгляд. Вот три центральных момента: 1️⃣ Раньше, в подходах типа OneRec, ранжирование считала отдельная модель на ручных фичах. Sona же должна была стать единым рецептом обучения и инференса, то есть декодер (который генерирует кандидатов) и ранкер (который их ранжирует) должны использовать один и тот же энкодер user-эмбеддингов, которые рассчитываются один раз за запрос. А значит – надо обходиться без ручных фич. Но проблема в том, что явный сигнал (лайки, репиты) довольно редок, чтобы выучить ранжирование напрямую. Поэтому тут встроена дистилляция. Сначала обучали Teacher Ranker. Это большая, медленная, но очень умная модель, которую тренили аж на годе логов. Она не используется в проде и нужна для того, чтобы научить шустрый Ranking Module воспроизводить ее скоры. 2️⃣ Так как Sona – это encoder-decoder, обучаемый хронологически на Next Token Prediction, каждый трек нужно представить в виде токенов. Это называется Semantic ID. И тут кроется парадокс: чем больше растет словарь токенов, тем модель должна быть умнее, но на самом деле она просто не успевала эффективно использовать возросшее пространство и деградировала. Поэтому одной из самых сложных частей было сделать рецепт токенизации, который бы обеспечивал рост качества при росте словаря. Дьявол кроется в деталях. 3️⃣ Ну и, конечно же, инфраструктура. Переход на одну модель потребовал фактически нового движка рекомендаций, включая сложный online learning pipeline. Кроме того, авторегрессивная генерация с длинными историями – это дорого, и поэтому пришлось прорабатывать отдельные архитектурные трюки (History Compression, кастомные CUDA-кернелы, radix top-k), просто чтобы уложиться в приемлемую латентность. Ради чего была вся эта огромная работа? На этот вопрос хорошо отвечают метрики. Sona принесла: +4,53% Active Users, +6,30% Total Listening Time и +11,42% Likes. Причем это прирост поверх улучшений от предыдущих внедрений, которые оставались в контрольной выборке в продакшне. В планах у команды – масштабирование, добавление RL и, конечно, раскачивание Sona на полный трафик. Поздравляем ребят с грандиозными результатами!

⚡️ Создатель XLNet, который вернулся в Китай и построил Moonshot AI На GTC 2026 выступил Ян Чжилинь, 34-летний основатель и CEO Moonshot AI, компании, стоящей за моделями Kimi. Его путь начинался в Университете Цинхуа. Затем Ян получил PhD в Carnegie Mellon, стажировался в Google Brain и Meta AI, работал с Куоком Ле и Джейсоном Уэстоном. Его исследования пересекались с работами Йошуа Бенжио и Яна Лекуна. Широкую известность ему принесли Transformer-XL и XLNet. Обе работы пытались решить одну из ключевых проблем языковых моделей: потерю информации из далёкого контекста. Статью про XLNet впоследствии процитировали более 10 000 раз. После учёбы Ян мог продолжить карьеру в американском Big Tech, но вернулся в Китай. Он участвовал в развитии крупных китайских ИИ-проектов, основал Recurrent AI, а в 2023 году запустил Moonshot AI в Пекине. Исследования длинного контекста стали основой продуктов компании: - Kimi K2 получила MoE-архитектуру на 1 трлн параметров - Kimi K3 добавила нативное зрение, контекст на 1 млн токенов и 16 активных экспертов - компания сделала ставку на программирование, агентов и работу с большими объёмами информации Moonshot AI привлекла инвестиции Alibaba, Tencent и других крупных компаний. За несколько лет стартап превратился в одного из заметных участников китайской гонки frontier-моделей. Ян объяснял возвращение просто: он боялся всю жизнь сожалеть, если не попробует создать собственную компанию. Опыт, полученный в глобальной исследовательской среде, может быстро превратиться в технологическое преимущество целой страны. Его полное интервью можно посмотреть здесь: https://www.youtube.com/watch?v=CwePo4847ho @ai_machinelearning_big_data #Moonshot #kimi

Mamba: архитектура, которая шла убивать трансформеры В декабре 2023 по ML-тусовке прокатились заголовки в духе «трансформерам конец». Повод дали два исследователя со статьёй про архитектуру Mamba, внутри которой не было того самого attention, на котором держится весь современный тир-лист нейронок. И при этом она жевала длинные тексты в несколько раз быстрее трансформера и на меньшей памяти. Вместо того чтобы сверять каждый токен с каждым за квадратичную цену, она ведёт одно бегущее состояние и на лету решает, что впустить, а что отбросить как шум. Спойлер, который спустя столько времени уже не спойлер: трон трансформеры не потеряли. Но история кончилась не тем, что очередной хайп-трейн не взлетел. Пока все спорили, кто кого, индустрия сделала третий ход, которого никто не ждал.