Детали реализации модели GigaChat 3.5 Ultra
э@ai_newzAI-инженер
1 месРазбор архитектуры и характеристик новой модели GigaChat 3.5 Ultra с 432B параметров, обученной в FP8 и доступной под лицензией MIT.
На Хабре выкатили детали реализации GigaChat 3.5 Ultra
Разрабы открыли код модели на 432B параметров, которую полностью обучили в FP8 и прогнали через новый этап online RL после классических SFT и DPO. Модель знатно прокачали в коде, математике и агентных сценариях, а скорость генерации увеличилась до 2,2 раза за счет двух MTP-голов. throughput под нагрузкой тоже вырос на 20%.
По бенчам модель на уровне DeepSeek V3.2, будучи в полтора раза меньше. Полный разбор всей архитектурной обвязки и рецепты стабилизации лежат в статье. Ссылки на модель под MIT-лицензией уже доступны на HuggingFace и GitVerse.
@ai_newz
Кратко (AI)
Разработчики представили модель GigaChat 3.5 Ultra с 432B параметров, обученную в формате FP8 с использованием методов SFT, DPO и online RL. Модель демонстрирует улучшенные показатели в кодинге и математике, а также повышенную скорость генерации благодаря архитектуре с двумя MTP-головами.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖