Сбер выпустил open-source модель GigaChat 3.5 Ultra

Сбер выкатил в open-source мощную 432B-модель модель под MIT-лицензией — GigaChat 3.5 Ultra. Это первый в open-source гибрид GatedDeltaNet и MLA, доведённый до сотен миллиардов параметров. Модель улучшили в коде, математике и агентных задачах, при этом она стала на 40% компактнее GigaChat 3.1 Ultra. Что внутри: — Собственная гибридная архитектура MLA + GatedDeltaNet с уникальной стабилизирующей обвязкой; — Gated Attention, модель может локально приглушать слишком сильный сигнал из attention-слоя; GatedNorm, нормализация с явным гейтом для управления масштабом сигнала между признаками; — Линейный слой требует в 4 раза меньше KV-кеша на токен, в ту же память помещается в 2,14 раза больше контекста, throughput под нагрузкой +20%; — Две MTP-головы и ускорение генерации до 2,2 раза; — FP8 на всех этапах обучения без потери качества относительно bf16, свои Triton- и CUDA-ядра; — Новый этап online RL после SFT и DPO. Весь стек полностью сделан командой Сбера. Подробности реализации гейтов и рецепт стабилизации уже лежат на Хабре.  Hugging Face тут, GitVerse здесь 🗒