Проблемы с инференсом модели Kimi
L@lovedeathtransformersAI-инженер
4 недпочему никто не сервит кими нормально с dflash и прочим, типа все понаписали свои инференс движки и теперь "пук пук как сервить"?
DeepSeek представила DSpark: открытый стек для ускорения генерации LLM
Компания DeepSeek выпустила DeepSpec — полностью открытый программный стек для ускорения генерации больших языковых моделей (LLM). Ключевым компонентом стал алгоритм DSpark, который использует метод параллельного драфтинга с динамической настройкой длины черновиков.
Технология позволяет увеличить скорость генерации текста в 1.5–1.85 раза без потери качества. Решение уже внедрено в продакшн-версии моделей DeepSeek-V4 Flash и Pro.
60–85%прирост скорости генерации
16–18%превосходство в acceptance length
Это всё на сейчас.