🧩 Метод Наиболее примечательны архитектурные изменения, позволяющие выжимать максимум из ёмкости модели при минимальных накладных расходах на активные вычисления и KV-кэш. Каузальный энкодер-декодер Вместо привычной декодерной архитектуры используют энкодер-декодер а-ля трансформер из статьи Vaswani и T5. Однако мотивация за этим — экономить активные параметры на префилле, а также уменьшить размер KV-кэша. На префилле работает только энкодер, а декодер активизируется на генерации. Размеры энкодера и декодера примерно одинаковы. Декодер переиспользует кэш из энкодера, спроектированный через обучаемые линейные проекции, тем самым освобождаясь от необходимости держать собственный KV-кэш. В отличие от BERT и тому подобных архитектур, энкодер каузальный — внимание направлено только в прошлое, что делает его совместимым с авторегрессионной генерацией. Compressed Sparse Attention 2 В DeepSeek-V4 чередовались HCA (Heavily Compressed Attention) и CSA (Compressed Sparse Attention): одно сильно сжимало токены и делало полный аттеншен, а другое сжимало не так сильно и делало спарсный. Теперь аттеншен только один. ⚙️ Устроено оно так: поддерживается SWA (внимание со скользящим окном), которое внимает на последние токены, и иерархический sparse attention, который отбирает важные токены по всей последовательности с помощью обучаемой подсети, а потом компонуется со SWA. TopK считается на основе query/key-индексеров. Существуют три режима слоя: - 🔵 Full mode. Слой считает полный KV-кэш и сам определяет, какие токены ему нужны в спарсном attention. Самый гибкий, но дорогой случай. - 🟡 Reindex mode. Используем KV-кэш с другого слоя, но считаем свой TopK, используя специфичные для данного слоя query. - 🟢 Reuse mode. Переиспользуем как KV-кэш, так и TopK-индексы. В энкодере на 1 Full Mode приходится 5 Reuse. В декодере — только Reuse и Reindex. Reuse к Reindex — в отношении 3:1. Потому кэш нужно хранить по факту лишь в небольшой доле слоёв. Иерархический attention в данном слое оценивает все токены по важности, а также непрерывные блоки некоторой длины для оценки перспективных кандидатов будущими слоями. Full mode-слой отбирает перспективные блоки, а последующие Reindex mode-слои ищут TopK уже среди этого сильно порезанного пула кандидатов. Single-pass mHC Дабы немного повысить эффективность mHC, матрицу смешивания входов для текущего блока считают в прошлом блоке. Это позволяет лучше перекрывать передачу с вычислениями и почти не теряет в качестве. Engram 🧠 Дабы обогатить представления признаков условной памятью, накатывают Engram с 2-, 3- и 4-граммами. Наивно накатывать их выйдет слишком накладно — ни в какую память не влезет. Потому нужный эмбед достаётся через хэширование. Дабы уменьшить риск коллизий, используют восемь независимых хэш-таблиц. Размер каждой из них — примерно 16M токенов, но берут разные простые числа, чтобы головы были более независимы. В Engram-таблице 198B параметров, распределённых между двумя слоями. Такой распил таблицы нужен для эффективного pipeline parallelism, чтобы не было перекоса в конкретную часть модели. На выходы модуля энграмм навешивается гейт, который решает, надо ли и с какой силой добавлять информацию от Engram-эмбеддингов в данный токен. Хранится всё в FP8. DSpark Отдельные MTP-головы не учат, а вместо этого поверх предобученной модели тренируют драфтер. DSpark-драфт-модель обновляется в процессе посттрейна и используется для ускорения генерации роллаутов на RL. FP4 Cache 💾 Чтобы сэкономить на хранении KV-кэша, его квантизуют в FP4. За основу берут NVFP4, но без global scale. Вместо этого данные нормализуют так, чтобы они укладывались в целевой диапазон. Оптимизация Учат в основном через Muon. Для голов attention используется headwise Muon, который отдельно оптимизирует головы, потому что так лучше. Учить Engram через Adam накладно по памяти. Поэтому вместо этого предлагают Синкхорн-сбалансированные обновления параметров с моментом. Это позволяет не хранить тяжеловесные статистики Адама для Engram и вроде сходится хорошо.

Что за зверь "internal OpenAI model" и почему DeepSeek догоняет OpenAI? Публике не доступны внутренние модели фронтиер лабораторий. Я не очень верю про конспирологию в духе «у OpenAI в подвале сидит настоящий AGI, а наружу выдают обрезанный ChatGPT». Модель, которой пользуются её собственные исследователи, и модель, которую она продает вам через API, не обязаны быть одной и той же. Фронтиер лаба создает не одну нейросеть, а фабрику моделей: research-чекпоинты > экспериментальные модели > reward-модели > модели-учителя > модели для генерации синтетических данных > модели-evaluators > дистиллированные студенты > production-модели, и наружу попадает только последний элемент цепочки. Зачем нужна дистилляция Допустим, вы обучили чудовищно дорогую модель, которая хорошо рассуждает, пишет код и решает математику, но каждый запрос к ней стоит огромных вычислений. Для исследователя внутри компании это рабочий инструмент, и он того стоит, если на кону триллионные рынки. Для продукта со 100 млн пользователей масштабировать доступ к таким моделям выгодно, поэтому вместо того чтобы гонять её на каждом запросе, её делают учителем: она генерирует качественные ответы, решения, траектории ризонинга, синтетические данные, иногда сами распределения вероятностей, а на этом поведении обучается студент поменьше, которому не нужно воспроизводить учителя целиком, достаточно перенести нужные возможности. Это одна из форм дистилляции знаний, и практика настолько распространенная, что OpenAI прямо предоставляет разработчикам официальный Model Distillation workflow: брать ответы более сильной модели, например GPT-4o или o1-preview, и обучать на них модель дешевле. Формулировка самой OpenAI довольно точная: взять продвинутую модель и получить сопоставимое качество на конкретной задаче при существенно меньшей стоимости. Из этого следует довольно простая вещь: лучшая research-модель и лучшая production-модель оптимизируются по разным функциям, потому что research-модель максимизирует возможности, а production-модель приходится одновременно вытягивать по intelligence, latency, стоимости GPU, throughput, reliability и safety. Публичных примеров такой схемы за последние два года накопилось довольно много. Apple описывала внутреннего Mixture-of-Experts учителя, которого использовала при обучении своей небольшой on-device foundation model. Google обучала EmbeddingGemma с помощью более мощного учителя Gemini. Meta использовала логиты Llama 3.1 8B и 70B при создании маленьких Llama 3.2 1B и 3B. Microsoft прямо писала, что ранние Phi в значительной степени дистиллировали возможности GPT-4. DeepSeek после обучения R1 выпустила линейку дистиллированных моделей от 1.5B до 70B. Схема «сильный учитель > дешёвый студент» реальна и хорошо задокументирована. Чего отсюда не следует Здесь будто бы следует неправильный вывод: якобы любая публичная модель является урезанной версией секретной супермодели. Иногда учитель вообще публичный, Meta использовала публичные Llama 3.1, DeepSeek выложила и большую R1, и дистиллированные из нее модели, причём студент иногда обходит своего учителя на конкретном бенче или узкой задаче за счет специализации и пост-трейнинга. То есть не совсем верно утверждать, что весь open source является специально ухудшенной дистилляцией секретных моделей. А вот более слабое утверждение подтверждается вполне: публичный каталог моделей почти наверняка не показывает весь фронтиер возможностей конкретной лаборатории. «An internal model at OpenAI»

Феномен успеха основателя DeepSeek Чем крут DeepSeek? У них самая высокая доходность на сотрудника: при команде ~150 человек и revenue $400–500 млн получается примерно $2,4–3,3 млн на человека. Основатель DeepSeek Лян Вэньфэн богаче , чем Дарио Амодей или Сэм Альтман. Благодаря его тщательному контролю и огромному богатству хедж-фонда, — и они продолжают бесплатно предоставлять результаты своей работы.  Занимательно что: а) Нет никаких KPI

В целом, мы надеемся, что «формальная работа» занимает не более половины рабочего времени сотрудника. Другая половина не распределяется — они могут делать все, что захотят.

б) у него довольно нормальный взгляд на человеческую работоспособность, однажды он отметил , что, по его мнению, человек может концентрироваться только шесть-восемь часов в день.

Наш главный приоритет — поддержание стабильности команды. Это наш главный приоритет, возможно, единственный. Пока я могу поддерживать стабильность команды, я смогу заниматься AGI. Деньги не проблема, ресурсы не проблема; всё остальное легко достать.

// В отличии от Японцев, где работают без выходных. Какие японские LLM вы знаете? Из его 64 цитаты из конференции с инвесторами, я выделил эти 3: Ориентация на видение:  никаких KPI, никакого письменного видения, даже «никакой организации» — всё работает на доброжелательности к миру и одержимости AGI. «Мы просто группа самых обычных людей». Фокус на юнит-экономике:  ценообразование API направлено исключительно на окупаемость затрат на оборудование в течение десяти месяцев. Никакой борьбы за потребительский трафик, никакой погони за корпоративными трендами. Железо решает:  Мы, как правило, не работаем сверхурочно. Во-первых, для исследований необходима спокойная обстановка; если слишком сильно напрягаться, исследования невозможны. Во-вторых, мы очень сосредоточены, а это значит, что мы делаем очень мало дел.

Токены подешевели, а время нет Хотел проверить, можно ли заменить повседневную работу в чатах с ChatGPT и Claude локальной моделью. Ответ: пока нет, и дело не в железе. Контекст. У нас есть пара машин Asus - это аналоги NVIDIA DGX Spark. Гонять через них большие объёмы данных отлично, а вот в чате мучение: токены выдают медленно. Локальные модели у меня и так крутятся в сетапе с OpenClaw, но это фон и триангуляция, а не живой диалог. Обсуждали взять новый Mac Studio: Apple даёт лизинг и беспроцентный кредит для жителей США. Осталось понять, какую модель на него ставить. Взял GLM 5.3, которую все сейчас рекомендуют, и последний DeepSeek. Пока через OpenRouter, чтобы не покупать железо вслепую. Дал несколько простых задач. Разочаровался быстро. Отвечают шустро и чётко, но по глубине заметно отстают даже от базового ChatGPT. DeepSeek понравился чуть больше, но восторга тоже нет. Те же задачи у последних ChatGPT и Claude, для меня полный вау. Как разговор с рассудительным, начитанным собеседником, который думает глубже и держит больше измерений задачи одновременно. Это субъективно, ни на что не претендую, но идея с Mac Studio и домашним чатом отпала сразу. Год назад я писал про DeepSeek, что цена токена будет падать очень быстро. Так и вышло, но дешёвые токены не сделали работу дешевле. Счёт просто переехал из API в моё время. В программировании и исследованиях я плачу не токенами, а итерациями. Код от слабой модели не работает, и я превращаюсь в промпт-инженера и тестировщика, который вытягивает из неё результат. Модель фантазирует там, где надо было подумать, а я перепроверяю выводы и переписываю тексты. Экономия на токенах съедается с большим запасом. Так недавно вышло с Perplexity и похоже, они стали экономить на моделях. Это сразу чувствуется, и я почти перестал им пользоваться. В большой организации то же самое, умноженное на сотрудников. Модель нестабильна, ошибается, не дорассуждает там, где нужно, и компания платит часами людей вместо долларов за API. В отчёте это выглядит как экономия. При этом для простых коммерческих задач дешёвых моделей более чем достаточно, и там экономить надо. Дилемма в том, что фронтир дорогой, а граница между простой и непростой задачей размыта. Думаю, будет всё больше умных роутеров, которые подставляют модель под уровень задачи. Пока их мало. Китайские модели молодцы: дают жару и поджимают. Побочный эффект - это подписки за $200 приносят эквивалент нескольких тысяч долларов потребления по API. Пока лимиты не исчерпаны, я сижу на фронтире и считаю это подарком от их инвесторов. Моё правило пока простое. Если результат приемлем на 90% рутинных задач, то можно использовать дешёвую модель. Если сложная задача и результат проверяю я, то только фронтир. Своё время на роль тестировщика тратить пока нет смысла @maxvotek | linkedin | substack