Релиз открытой MoE-модели K2-Horizon-MoVA-36B-A4B
Н@GreenNeuralRobotsAI-инженер
1 месПредставлена K2-Horizon-MoVA-36B-A4B — открытая MoE-модель с архитектурой Mixture-of-Values, 36B параметров (4B активных) и контекстом 512K.
Новая архитектура позволяет запускать мощные модели на менее производительном оборудовании.
- Эффективность: модель требует меньше вычислительных ресурсов при сохранении высокого качества ответов.
- Длинный контекст: поддержка 512K токенов позволяет обрабатывать объемные документы и длинные цепочки рассуждений.
- Доступность: модель распространяется под лицензией Apache 2.0, что упрощает её использование в коммерческих и исследовательских проектах.
K2-Horizon-MoVA-36B-A4B
Открытая MoE-модель с новой архитектурой внимания — Mixture-of-Values (#MoVA). 36B параметров, но на токен активируется только 4B — быстрая как маленькая, умная как большая. Контекст 512K, Apache 2.0
- MoVA — собственный архитектурный прием: вместо одного значения на внимание — смесь значений, что дает больше выразительности при тех же затратах
- 4B активных против 36B общих — можно запустить на том, на чем dense-модель такого же качества не влезет
- Агентные задачи, кодинг и рассуждения — сильные стороны: Terminal-Bench, GPQA Diamond, SciCode
- 512K контекста — длинные цепочки вызовов и документы не режутся
старшая версия на 375B / 23B
Кванты
Спасибо @Endorpheen
#agent #coding #reasoning
Кратко (AI)
Выпущена новая открытая модель K2-Horizon-MoVA-36B-A4B, использующая архитектуру Mixture-of-Values (MoVA). Модель сочетает высокую производительность за счет 36B параметров с эффективностью 4B активных параметров на токен, поддерживая контекстное окно 512K.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖