← к умной ленте

Tencent выпустила финальную версию MoE-модели Hy3

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 1 мес назад

Компания Tencent перевела свою модель Hy3 из статуса preview в полноценный релиз. Это мощная MoEi-модель для рассуждений, работы с кодом и агентных задач, которая, по заявлению разработчиков, обгоняет модели в 2–5 раз крупнее себя по ключевым задачам.

Особенность релиза в том, что высокая эффективность достигнута без сложных архитектурных трюков — используется обычный GQAi, без sparse attention и MLA, что, по мнению аналитиков, оставляет запас для дальнейшей оптимизации.

295Bвсего параметров модели
21Bактивных параметров на токен
256Kмаксимальный контекст в токенах
  • Архитектура: 295B параметров всего, около 21B активируется на токен (MoE)
  • Контекст — до 256K токенов
  • В блайнд-тестах Hy3 обходит GLM-5.1, используя при этом меньше активных параметров, чем модели-конкуренты
  • Модель построена на обычном GQA — без sparse attention и без MLA
  • Заявлены сниженные галлюцинации и стабильный вызов инструментов
  • Лицензия — Apache 2.0, доступна FP8i-версия, запуск поддерживается через vLLM и SGLang
  • Модель опубликована на GitHub, Hugging Face (huggingface.co/tencent/Hy3) и в Tencent Studio

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖