Почему ИИ-токены дешевеют при росте цен на железо

Железо дорожает, но ИИ становится дешевле. Как так? Глянул интервью гендира Yandex Cloud Григория Атрепьева Ведомостям. Вообще, там на редкость "мясной" контент про агентов, ИИ-кибербез, что делать с сотрудниками и немного про планы самого Яндекса в ИИ. Но я хочу остановиться на конкретном моменте про ИИ-вычисления, важным для всей ИИ-индустрии. Смотрите, сейчас в ИИ-вычислениях происходит довольно странная штука: 1. Железо очевидно дорожает. Серверы за год улетели в 2–5 раз, адски подорожала память и всё остальное. 2. Но токены (то есть, сколько результата модель на конкретном железе делает юзеру за Х времени) при этом дешевеют. Атрепьев приводит цифры самого Яндекса: у них выручка на тот же объём токенов упала за год в 6 раз, а по классу "лёгких" Flash-моделей цена снизилась почти в 14 раз. Это, вообще говоря, парадокс. Обычно, если сырьё дорожает, то продукт тоже дорожает. А тут наоборот. Давайте разберёмся - почему так (здесь ключевое из статьи дополню своими мыслями). Смотрите, себестоимость токена для провайдера (для OpenAI, Anthropic или того же Яндекса) считается так: 🤩 Числитель = стоимость часа работы одной GPU. Сколько стоит, чтобы одна видеокарта крутилась один час, включая её амортизацию, обслуживание, инженеров, электричество и всё-всё-всё. 🤩 Знаменатель = число токенов, которые она за этот час обработала. Так вот, числитель вырос примерно в 2-5 раз, но знаменатель - гораздо сильнее. Причин несколько, и они работают вместе и усиливают друг друга: 1. Модели стали дешевле в исполнении при сопоставимом качестве. ИИ-компании выкатывают Flash-версии, и это не "урезанные модели-обрубки", как многие думают, а иначе спроектированные. Например, с применением MoE (Mix of Experts), где на разные токены бросается не вся модель, а нужный кусок. 2. Рост входящих токенов. Токены бывают разные. Есть входные (промпты, документы), где модель берёт весь текст и обрабатывает всё разом, параллельно. А есть выходные, которая модель выдаёт. Их нужно генерить по одному, перечитывая все веса из памяти на каждое новое слово (ну, если грубо). Так вот, входящие токены сильно дешевле, и их доля сильно выросла. Я думаю, это потому что юзеры привыкли кидать в модель не чёткий промпт или хотя бы структурированный запрос, а всё подряд - кучу несвязного текста огромными кусками, пдф-доки и т.д. И если считать с т.з. расхода токенов - это дешевле. У Яндекса соотношение 4:1 в пользу дешёвых. 3. Кэш. Если у тысячи запросов одинаковое начало (системный промпт, история чата и т.д.), то модели достаточно переварить один раз, а дальше брать куски из готового. Провайдеру это сильно дешевле. В том же DeepSeek V4 Flash кэшированных запросов около 70% токенов - то есть, агент 7 из 10 шагов шлёт почти одно и то же. И доля кэшированных запросов растёт. Почему - не буду углубляться, иначе свалимся в дебри, но если кратко, то тут и рост агентных цепочек, и более многоходовые чаты, и популярность системных промптов (например, в корп поддержке), и много что ещё. 4. Наконец, сама инженерия инференса: батчинг (прогнать через одни веса не одного юзера, а сразу кучу), квантизация, более продвинутое декодирование и т.д. Прикол в том, что всё это работает на большом потоке (нет одновременных запросов - нечего объединять). А поток, как вы понимаете, растёт. Теперь главное - что это меняет, и что делать. У провайдеров выручка отвязалась от объёма: теперь чтобы стоять на месте - надо расти по токенам в 5-6 раз в год. Ещё, им придётся сильнее гнаться за плотностью, отсюда и амбиции занять "половину рынка" (тренд на укрупнение), и буст агентов в мессенджерах (= генераторы потока), и активная работа с партнёрами, которые приводят доп нагрузку. А для клиента ограничение теперь сидит не в цене, а в умении хорошо внедрять и наращивать полезное потребление. Потому что агенты, которые жгут на порядок больше, наконец начинают окупаться на дешевеющих токенах. Ну и главное узкое место индустрии - это теперь окончательно память, а не сами вычисления. Короче, пока эксперты ванговали дефицит ИИ-мощностей - в реальности дефицитом стало умение нормально крутить ИИшку и жечь дешевеющие токены. Дизраптор