← к умной ленте

Z.ai: модель GLM-5.3 помогла построить inference-инфраструктуру для GLM-5.3-Flash

Компания Z.ai рассказала о практическом кейсе Recursiive Self-Improvement (RSI): модель GLM-5.3 совместно с инженерами компании участвовала в построении и оптимизации inference-инфраструктуры для новой модели GLM-5.3-Flash. ИИ-агент на базе GLM-5.3 искал ошибки в коде и оптимизировал kernels, bottleneck'и и inference engine — то есть модель фактически помогала разворачивать production-инфраструктуру для своей же младшей версии.

По данным компании, благодаря такому подходу систему довели до готовности к запуску менее чем за две недели, а пропускную способность увеличили втрое относительно первой версии на том же железе.

3 разарост производительности инфраструктуры
2 неделисрок доведения системы до запуска
  • Infra Agent на базе GLM-5.3 работал с kernels, bottleneck'ами, операторами и настройкой inference engine
  • Serving stack для GLM-5.3-Flash развёрнут на крупном кластере китайских AI-ускорителей
  • Стек построен поверх SGLangi и использует Encode-Prefill-Decode disaggregationi, quantization и аппаратно-зависимые оптимизации
  • Систему довели до готовности к запуску менее чем за две недели
  • End-to-end производительность выросла примерно в 3 раза относительно исходного baseline на том же железе

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖