Moonshot AI выпустила Kimi K3 в open source
М@cgeventAI-инженер
1 месMoonshot AI открыла исходный код модели Kimi K3 с 2.8T параметров, архитектурой MoE и инновациями в обучении и квантовании.
Появление мощной открытой модели меняет правила игры в разработке ИИ.
- Kimi K3 показывает, что открытые модели могут конкурировать с проприетарными решениями в сложных задачах.
- Инновации в обучении и квантовании позволяют значительно снизить стоимость эксплуатации больших моделей.
- Возможность автономного проектирования чипов и поиска уязвимостей открывает новые горизонты для автоматизации R&D.
Kimi K3 таки выложили в опенсорc
https://huggingface.co/moonshotai/Kimi-K3
И опубликовали отчет.
В общем, ничего супер-нового, но несколько интересных вещей отметил:
– 2.8T параметров всего, но на каждый токен работает 104B – 16 экспертов из 896.
– Контекст 1M, а позиционного кодирования нет вообще. Поэтому огромный контекст для нее вообще детский лепет и памяти на него не надо вагонами завозить.
– MXFP4-квантизацию вводят не после обучения, а прямо во время RL. Модель с самого начала учится жить сжатой, то есть серверную стойку можно взять и поменьше :)
– Стараются экономно расходовать токены, в том числе в мультимодальности. На BrowseComp лучший результат в мире за $2.03 за задачу. GPT-5.6 Sol вдвое дороже, Клод на максимуме – на порядок
Еще из прикольного:
– За обучение создали 51 миллион виртуалок-песочниц. Пока модель думает, песочница на паузе и не ест ресурсы вообще – а думает она до 98% времени жизни задачи. Вот на этом простое и сэкономили кучу денег на обучение.
– За один 48-часовой автономный прогон K3 спроектировала и проверила прототип чипа для ИИ, вообще с нуля. 4 мм², 8700 токенов/с в RTL-симуляции. Исходники выложили на гитхаб
– Написала свой компилятор для ИИ, обгоняет torch.compile
– Воспроизвела результат из астрофизики за два часа вместо двух недель: 20+ статей, 300 уравнений состояния, нашла ошибки в опубликованных формулах
– Смонтировала видео-ролик про собственную архитектуру из 56 клипов
Отдельно про кибербез. Мерились с GLM-5.2. Нашли 16 ранее неизвестных уязвимостей, две в ядре Linux. UK AISI и NIST проверяли независимо: GLM обходит, до фронтира не дотягивает – 0 из 41 на end-to-end эксплойтах. То есть по кибербезопасности модель лучшая из опенсорса.
По бенчмаркам всё то же, что и неделю назад: первое место на WebDev Arena среди 99 моделей (впервые открытая модель возглавила лидерборд живых людей). Про дизайн читал до этого статью интересную, как топовые модели сейчас стараются в более лучший дизайн.
И я не вижу вообще как тут можно говорить, что это просто "дистилляция fable".
Ну и здорово, что поделились вообще всем, как что работает, как дообучали, как песочницы делали, какие библиотеки использовали. То есть повторить и улучшить сможет любая лаборатория. Вау!
Но у себя дома стойку под 2.8T, правда, всё ещё надо иметь :)
https://github.com/MoonshotAI/Kimi-K3/blob/main/k3_tech_report.pdf
Кратко (AI)
Компания Moonshot AI опубликовала модель Kimi K3 с 2.8 триллионами параметров, использующую архитектуру MoE и квантование MXFP4 прямо в процессе обучения. Модель демонстрирует высокую эффективность в задачах проектирования чипов, кибербезопасности и научных вычислений, при этом значительно снижая затраты на инференс.
Обсуждение
2песочницы на паузе пока модель думает и обучение сразу в mxfp4 — вот это реально ломает шаблон, для всей индустрии по сути новые правила. K3 уже не просто модель, а инженерный агент, который сам переписывает стандарты по эффективности и кибербезу.
по факту песочница на паузе и mxfp4 сразу в rl — норм оптимизация, но подача с «ломает шаблон для индустрии» это перебор, обычный хайп. трюки с квантом и idle-ресурсами в efficiency-тулкитах обсуждают уже давно, тут просто масштаб другой у Moonshot. а агент, который сам правит правила кибербеза, пока смахивает на маркетинг вокруг банального rl-прогона