26 июля на Hugging Face появился отсчёт до релиза, а 27 июля китайский стартап Moonshot AI выложил в открытый доступ полные веса своей флагманской модели Kimi K3 — 2,8 трлн параметров, что делает её крупнейшей открытой моделью в мире. Архитектура MoEi: на каждый токен активируется 104 млрд параметров (16 из 896 экспертов), контекст расширен до 1 048 576 токенов, модель нативно понимает текст и изображения.

Это первая открытая модель класса ~3T с полностью опубликованными весами (не только через API), и по ряду тестов она приближается к закрытым флагманам — GPT-5.6 Sol, Claude Opus 4.8 и Fable 5. Открытые веса такого масштаба усиливают конкурентное давление на цены закрытых API западных компаний.

• Архитектура кардинально изменена относительно Kimi K2: 93 слоя (69 на новом механизме Kimi Delta Attention/KDA + 24 Gated MLA), добавлены Attention Residuals, явного позиционного кодирования нет — контекст растягивается до 1M токенов без перенастройки RoPE
• MoE увеличен: 896 маршрутизируемых экспертов (было 384 у K2), активны 16 + 2 общих (было 1), функция активации сменена на SiTU-GLU, балансировка нагрузки — Quantile Balancing; веса в MXFP4i, активации в MXFP8, квантизация введена прямо во время RL-обучения, а не после
• Заявленный прирост эффективности масштабирования — примерно 2,5× относительно Kimi K2
• Бенчмарки: 1-е место на WebDev Arena среди 99 моделей (впервые открытая модель возглавила живой лидерборд), 1687 баллов на GDPval-AA v2, лучший в мире результат на BrowseComp — $2.03 за задачу (у GPT-5.6 Sol вдвое дороже, у Claude на максимуме — на порядок)
• По кибербезопасности K3 в сравнении с GLM-5.2 нашла 16 ранее неизвестных уязвимостей (2 — в ядре Linux); независимая проверка UK AISI и NIST показала, что GLM обходит K3, но ни одна из моделей не дотягивает до фронтира (0 из 41 end-to-end эксплойтов), K3 названа лучшей открытой моделью по кибербезу
• При обучении создано 51 млн виртуальных песочниц; модель «думает» до 98% времени жизни задачи, а песочница в этот момент стоит на паузе и не расходует ресурсы — на этом сэкономлена значительная часть затрат на обучение
• Демонстрации автономности: за 48-часовой прогон спроектировала и проверила прототип ИИ-чипа (4 мм², 8700 токенов/с в RTL-симуляции, исходники на GitHub), написала свой компилятор, обгоняющий torch.compile, и воспроизвела астрофизический результат за 2 часа вместо 2 недель (20+ статей, 300 уравнений состояния, нашла ошибки в опубликованных формулах)