K2-Horizon-MoVA-36B-A4B Открытая MoE-модель с новой архитектурой внимания — Mixture-of-Values (#MoVA). 36B параметров, но на токен активируется только 4B — быстрая как маленькая, умная как большая. Контекст 512K, Apache 2.0 - MoVA — собственный архитектурный прием: вместо одного значения на внимание — смесь значений, что дает больше выразительности при тех же затратах - 4B активных против 36B общих — можно запустить на том, на чем dense-модель такого же качества не влезет - Агентные задачи, кодинг и рассуждения — сильные стороны: Terminal-Bench, GPQA Diamond, SciCode - 512K контекста — длинные цепочки вызовов и документы не режутся старшая версия на 375B / 23B Кванты Спасибо @Endorpheen #agent #coding #reasoning