Компания Z.ai рассказала о практическом кейсе Recursiive Self-Improvement (RSI): модель GLM-5.3 совместно с инженерами компании участвовала в построении и оптимизации inference-инфраструктуры для новой модели GLM-5.3-Flash. ИИ-агент на базе GLM-5.3 искал ошибки в коде и оптимизировал kernels, bottleneck'и и inference engine — то есть модель фактически помогала разворачивать production-инфраструктуру для своей же младшей версии.
По данным компании, благодаря такому подходу систему довели до готовности к запуску менее чем за две недели, а пропускную способность увеличили втрое относительно первой версии на том же железе.
3 разарост производительности инфраструктуры
2 неделисрок доведения системы до запуска
- Infra Agent на базе GLM-5.3 работал с kernels, bottleneck'ами, операторами и настройкой inference engine
- Serving stack для GLM-5.3-Flash развёрнут на крупном кластере китайских AI-ускорителей
- Стек построен поверх SGLangi и использует Encode-Prefill-Decode disaggregationi, quantization и аппаратно-зависимые оптимизации
- Систему довели до готовности к запуску менее чем за две недели
- End-to-end производительность выросла примерно в 3 раза относительно исходного baseline на том же железе
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖