DeepSeek открыла движок DeepInfer для офлайн-инференса
Н@GreenNeuralRobotsAI-инженер
6 днDeepSeek выложила DeepInfer — движок для офлайн-инференса DeepSeek-V4.1-Flash с поддержкой NVIDIA SM100 и Huawei Ascend 950.
Разработчики могут изучить и использовать открытый движок DeepSeek для запуска модели на поддерживаемом оборудовании.
- Исходный код опубликован под лицензией Apache 2.0.
- Заявлена поддержка NVIDIA SM100 и Huawei Ascend 950.
- Для продакшн-сценариев пока не хватает ряда функций, включая KV-кэш и балансировку между репликами.
DeepInfer
Открытый движок DeepSeek для запуска своих моделей. На нем работает продакшн DeepSeek-V4.1-Flash, теперь код выложили наружу.
• Ускоренный декодинг через DSpark и проверку по уверенности
• Параллелизм: attention DP, MoE EP с балансировкой экспертов
• Асинхронный планировщик батчей без накладных расходов
• Структурированный вывод по regex, JSON-схеме и грамматике
• Одна модель из коробки, DeepSeek-V4.1-Flash
• NVIDIA SM100 и Huawei Ascend 950
• Linux, Python 3.12, CUDA 13 или CANN 9.2
• Пока только офлайн-инференс, сборка из исходников
В релизе нет KV-кэша, разделения prefill и decode, балансировки между репликами. Это придется докручивать самому. База выросла из vLLM. Лицензия Apache 2.0.
#harness
MAX
Кратко (AI)
DeepSeek опубликовала исходный код DeepInfer — движка для запуска моделей, на котором, по сообщению, работает DeepSeek-V4.1-Flash. Сейчас доступен только офлайн-инференс одной модели; в релизе отсутствуют KV-кэш, раздельные prefill и decode и балансировка между репликами.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖