Выпущены веса модели Kimi K3
D@data_secretsAI-инженер
1 месMoonshot AI представила веса модели Kimi K3 с 2.8 трлн параметров. Для запуска требуется значительный объем видеопамяти, от 1.4 ТБ до 5.6 ТБ.
Выход сверхкрупных моделей в открытый доступ меняет требования к инфраструктуре для их запуска.
- Kimi K3 — одна из крупнейших моделей, доступных для локального развертывания.
- Требования к памяти (от 1.4 ТБ) делают запуск невозможным на потребительском оборудовании.
- Разработчики получают возможность использовать мощную модель вне API, но только при наличии серверного кластера.
Вышли веса Kimi K3
2.8 триллиона параметров, 104B активных.
По запуску на своем железе картина такая: в 4-bit веса будут занимать примерно 1.4ТБ, в 16-bit уже около 5.6ТБ. Так что вам нужно плюс минус 8xH200/B200 или сопоставимый по памяти вариант.
Если (ну вдруг) у вас такого домашнего датацентра не оказалось, то сочувствуем и приглашаем вместе с нами продолжать пользоваться API ☕️
https://huggingface.co/moonshotai/Kimi-K3
Кратко (AI)
Компания Moonshot AI опубликовала веса модели Kimi K3, которая насчитывает 2.8 триллиона параметров, из которых 104 миллиарда являются активными. Для локального запуска модели требуются значительные вычислительные мощности, эквивалентные кластеру из восьми видеокарт H200 или B200.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖