DeepSeek открыл код движка DeepInfer

DeepSeek открыл код движка, на котором работают его модели DeepInfer — программная основа, которую DeepSeek использует для запуска моделей. Сейчас поддерживается DeepSeek V4.1 Flash и два типа оборудования: NVIDIA SM100 и Huawei Ascend 950. Среди возможностей — ускорение генерации через предварительную подготовку и проверку токенов, а также ответы в заданном формате, например JSON. Системы кеширования и распределения нагрузки в релиз не входят. https://github.com/deepseek-ai/DeepInfer