deepinferСбросить фильтр ×

Инференс на Blackwell приносит до $38 в час на GPU

С@seeallochnayaAI-инженер
2 дн

DeepSeek открыла исходный код движка инференса DeepInfer

20 октября DeepSeek опубликовала DeepInfer — движок, на котором запускает DeepSeek-V4.1-Flash в продакшене. Под лицензией Apache 2.0 его могут использовать другие разработчики и провайдеры; цель — ускорить генерацию и снизить вычислительные затраты.

Релиз раскрывает часть инфраструктуры DeepSeek, но пока не представляет готовую замену полноценной системе обслуживания моделей: поддерживаются одна модель и ограниченный набор ускорителей, а некоторые компоненты масштабирования отсутствуют.

155 трлн токенов в деньзаявленная производительность кластера
$38выручка с видеокарты в час
$3примерная аренда H100 в час

Полный разбор →

Это всё на сейчас.