20 октября DeepSeek опубликовала DeepInfer — движок, на котором запускает DeepSeek-V4.1-Flash в продакшене. Под лицензией Apache 2.0 его могут использовать другие разработчики и провайдеры; цель — ускорить генерацию и снизить вычислительные затраты.

Релиз раскрывает часть инфраструктуры DeepSeek, но пока не представляет готовую замену полноценной системе обслуживания моделей: поддерживаются одна модель и ограниченный набор ускорителей, а некоторые компоненты масштабирования отсутствуют.

• В основе DeepInfer — оптимизированные кернелы FlashMLA, DeepGEMM и DeepEP, параллелизм для MoE-архитектурыi и асинхронный планировщик, который готовит следующий батч во время обработки текущего.
• Ускоренный декодинг использует DSpark и проверку draft-токенов: система принимает часть предварительно сгенерированных токенов и повторно обрабатывает остальные.
• Движок поддерживает структурированный вывод, ограниченный JSON-схемой, регулярным выражением или грамматикой EBNF; для отладки предусмотрен детерминированный режим с одинаковым результатом при тех же входных данных и параметрах.
• Из коробки доступна только DeepSeek-V4.1-Flash; заявлена поддержка NVIDIA SM100 и Huawei Ascend 950. По данным источников, требуется Linux, Python 3.12 и CUDA 13 либо CANN 9.2; пока поддерживается офлайн-инференсi со сборкой из исходников.
• В релиз не вошли KV-кэш, разделение prefill и decode, балансировка нагрузки между репликами и системы кеширования и распределения нагрузки.
• Вместе с DeepInfer под лицензией MIT опубликован deepseek-recipe — схема преобразования запросов клиента в формат модели и ответов обратно; также доступен Python-биндинг.
• Один из источников приводит заявленные показатели кластера — 155 трлн токенов в день и $38 выручки с видеокарты в час при аренде H100 примерно за $3; методика расчёта в материалах не указана.