Moonshot AI выпустила открытую модель Kimi K3 с 2,8 трлн параметров
M@ai_machinelearning_big_dataAI-инженер
1 месMoonshot AI представила Kimi K3 — первую open-weight модель с 2,8 трлн параметров, использующую архитектуру MoE и оптимизированную для агентных задач.
Появление первой открытой модели такого масштаба меняет ландшафт доступных инструментов для разработки ИИ-агентов.
- Kimi K3 задает новый стандарт для открытых моделей, приближаясь по мощности к закрытым флагманам.
- Архитектура MoE позволяет запускать огромные модели с меньшими вычислительными затратами на каждый запрос.
- Поддержка контекста в 1 млн токенов делает модель пригодной для анализа целых программных репозиториев.
🚨 Moonshot AI выложила Kimi K3 на Hugging Face — 2,8 ТРИЛЛИОНА параметров в открытых весах.
Это первая open-weight модель класса ~3T. При этом благодаря MoE на каждом токене активируется 104 млрд параметров: 16 экспертов из 896. (Hugging Face)
Что внутри:
— контекст 1 048 576 токенов
— нативная работа с текстом и изображениями
— новая Kimi Delta Attention (KDA)
— Attention Residuals
— 93 слоя: 69 KDA + 24 Gated MLA
— MXFP4-веса + MXFP8-активации
— заявлено примерно 2,5× более эффективное масштабирование, чем у Kimi K2. (Hugging Face)
K3 заточена под долгие агентные задачи: работу с огромными репозиториями, терминалом, исследования, оптимизацию GPU-ядер, компиляторы и другие многошаговые инженерные сценарии. (Hugging Face)
Moonshot действительно опубликовала полные веса модели, а не ограничилась API. (Hugging Face)
https://huggingface.co/moonshotai/Kimi-K3
Кратко (AI)
Компания Moonshot AI опубликовала веса модели Kimi K3, которая стала первой открытой моделью с 2,8 трлн параметров. Архитектура использует метод MoE, активируя 104 млрд параметров на токен, и оптимизирована для сложных инженерных и агентных задач.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖