Инференс на Blackwell приносит до $38 в час на GPU

На неделе DeepSeek выложили DeepInfer, свой код для инференса DeepSeek v4.1 Flash. Там же они написали, что на их кластере при их копеечных ценах получается выручка примерно в $38 в час на одну видеокарту. И это по ценам в часы не пиковой нагрузки. $38 на карту в час — это очень много. Из репозитория мы узнали, что инференс происходит на картах Blackwell (для предыдущего поколения, Hopper, поддержки нет), и их цена в аренду на рынке сейчас примерно $6-10 за час. У SemiAnalysis выходили похоже цифры в их бенчмарке моделей, с утилизацией (загрузкой запросами) на 60% и при 125 токенах в секунду по ценам OpenRouter получалось примерно 50 долларов в час на карту, они использовали GB300, которая в аренду стоит примерно $11 — то есть $39 это уже маржа. И ещё раз, это речь про одну из самых дешёвых моделей по смешным ценам. Evan Conrad, CEO SF Compute (стартап по продаже мощностей), написал блогпост «Конец стартапов»: — в течение следующих 6 месяцев большинство ИИ-стартапов не смогут приобрести вычислительные мощности. Мировые вычислительные ресурсы распроданы. — На момент написания статьи, вы можете арендовать B300 за 6 долларов в час (прим.: сильно ниже упомянутых выше $11), а затем зарабатывать около 30 долларов в час, продавая на нем инференс. Это неплохая прибыль, но ничто не мешает другим использовать эту прибыль для арбитража. Мы ожидаем роста цен на графические процессоры, а это значит, что прибыль от инференса снизится. Снижение прибыли означает, что станет сложнее получить более высокий кредитный рейтинг. В целом картина понятна, и случится так или нет полностью зависит от дальнейшего роста спроса на токены. Если продолжится темпами первой половины 2026-го, то действительно почти все GPU будут выкуплены под перепродажу токенов, и арендовать карту меньше чем за, скажем, $30 в час просто не получится. Многие стартапы не смогут вести разработку или предоставлять свои услуги при такой себестоимости мощностей. А Anthropic и OpenAI могут с единицы мощностей извлекать ещё больше долларов, так что при росте спроса на их модели они начнут выкупать и более дорогие GPU — Anthropic вон арендует у Elon Musk датацентр за цену гораздо выше рыночной (на тот момент), просто потому что для них это всё ещё выгодно. В пределе крупные компании смогут выдавить и большое количество перекупщиков мощностей под опенсурс. Случится так или нет — узнаем в следующей серии.