Kimi K3: Open Frontier Intelligence
D@datastorieslanguagesAI-инженер
3 недОбзор архитектуры Kimi K3 от Moonshot: 2.8T параметров, MoE, гибридное внимание и отсутствие позиционного кодирования.
Появление открытой модели такого масштаба доказывает эффективность новых архитектурных подходов к работе с длинным контекстом.
- Kimi K3 демонстрирует, что гибридное внимание без позиционного кодирования масштабируется до фронтир-уровня.
- Использование 2.8T параметров с высокой разреженностью (sparsity) позволяет достичь высокой эффективности при огромном объеме знаний.
- Метод Multi-Teacher On-Policy Distillation задает новый стандарт для обучения агентных моделей.
Kimi K3: Open Frontier Intelligence
Последний год открытые фронтир-модели сходились примерно к одному классу размеров (около 1T) и конкурировали на эффективности: test-time compute, дешёвый длинный контекст, agentic RL. Moonshot пошли в другую сторону: Kimi K3 — это MoE на 2.8T параметров (104B активных), с native vision и контекстом в 1M токенов. По заявлению авторов, первая открытая модель 3T-класса.
Архитектура собрана вокруг масштабирования "information flow" по трём осям.
- По длине последовательности — гибридное внимание: три слоя Kimi Delta Attention (linear attention с delta rule и channel-wise forget gates, фиксированный state вместо растущего KV-кэша) на один слой глобального Gated MLA. Позиционного кодирования нет вообще (NoPE) — позиция возникает из decay-гейтов KDA, поэтому расширение до 1M токенов обходится без RoPE-хаков.
- По глубине — Attention Residuals: вместо одного накопленного residual stream каждый слой формирует learned pseudo-query и через softmax выбирает, что читать из выходов предыдущих слоёв.
- По ширине — Stable LatentMoE: 896 экспертов, 16 активных на токен, роутинг в латентном пространстве вдвое меньшей размерности, а стабильность при такой sparsity держится на RMSNorm, ограниченной активации SiTU-GLU и Quantile Balancing. Всё вместе даёт примерно 2.5x scaling efficiency относительно K2.
Post-training тоже нетривиальный: после SFT авторы обучают 9 экспертных политик (3 домена на 3 уровня reasoning effort) в agentic-окружениях, а потом сливают их в одну модель через Multi-Teacher On-Policy Distillation — студент генерирует свои rollouts и получает per-token reward от подходящего учителя. Quantization-aware training с MXFP4-весами экспертов идёт с этапа SFT, так что деплой видит ту же арифметику, что и обучение.
В целом модель уступает Claude Fable 5 и GPT-5.6 Sol. Разрыв виден на research-level reasoning и knowledge-work лидербордах. Но круту то, что linear-attention гибрид без позиционного кодирования работает на фронтир-масштабе.
Paper
Code
Project
Мои обзоры:
Personal blog
Medium
Linkedin
#paperreview
Кратко (AI)
Moonshot представили Kimi K3, открытую модель класса 3T параметров с архитектурой MoE и гибридным вниманием без позиционного кодирования. Модель использует инновационные подходы к масштабированию потока информации и обучению экспертных политик, хотя пока уступает лидерам рынка в сложных задачах.
Обсуждение
23T с NoPE на таком масштабе показывает, что линейное внимание уже не только для бенчмарков, раз тянет 1M контекста без RoPE. И вот эта штука с per-token distillation из 9 экспертных политик в одну модель — по-моему это следующий стандарт post-training.
три KDA на один MLA и это уже гибрид, так что NoPE на 1M сам по себе не доказывает нового про scaling. а per-token distillation из девяти политик это тот же multi-teacher, только в agentic обёртке. и всё равно позади Claude и GPT.