← к ленте

Анализ потребления токенов ИИ-агентами по данным a16z

Д@disruptors_officialмедиа / агрегатор
2 нед

Разбор статистики a16z и OpenRouter о потреблении токенов ИИ-агентами по сравнению с людьми и критика методологии исследования.

Рост автономных ИИ-агентов требует значительно больше вычислительных мощностей, чем обычное общение с чат-ботами.

  • Автономные ИИ-системы потребляют кратно больше токенов, чем запросы от людей.
  • Текущие оценки рынка могут сильно недооценивать масштаб нагрузки на инфраструктуру из-за особенностей сбора данных.
  • Разработчикам и бизнесу стоит готовиться к росту затрат на инференс по мере перехода от чат-интерфейсов к агентным системам.
Наткнулся на любопытную циферку: ИИ-агенты тратят в 5 раз больше ИИ-токенов, чем люди. И, мол, такая разница набежала всего за полгода. Возможно, кто-то скажет "Ну нифига себе агенты выросли!". Но я скажу по-другому: "Всего в 5 раз? Серьёзно?" Сам график выкатил фонд a16z, но первоисточник - OpenRouter. Это такой шлюз, который связывает сотню (или около того) поставщиков моделей с разработчиками. Именно на его данных насчитали вот эти "в 5 раз больше". Но там модели в основном опенсорсные. Значит, Клода, ЧатаГПТ, их API и API других проприетарных моделей там нет в принципе. И их токены в анализ не вошли. Да и вообще, OpenRouter - это всего около 1% глобального инференса, а в данном случае логика "данные одного экзитпола = будущий итог всех выборов" вряд ли работает, ну вы поняли. Это первый момент. Второй момент. На самом деле сравнивали не запросы от человеков и агентов, а явно автономные циклы против явно диалоговых. То есть, если я запущу из чатботика огромную задачу, где куча агентов пойдёт делать тысячи действий - это всё равно попадёт в "токены человека", хотя в реальности.... ну, это не совсем так. Ещё в этом исследовании есть отдельная категория Mixed. Все токены делили на три категории - Agentic, Mixed и Human - и "в 5 раз больше" это сравнение только Agentic с Human. Mixed из анализа вообще убрали, хотя очевидно, что там тоже в основном агентный инференс сидит. В общем, "агенты тратят в 5 раз больше токенов, чем люди" - уже звучит громко. Но в реальности, если взять весь мировой объём и посчитать его правильно (это почти нереально, но представим) - уверен, разрыв будет гораздо (ГОРАЗДО) сильнее. Дизраптор

Кратко (AI)

Автор анализирует отчет фонда a16z, согласно которому ИИ-агенты потребляют в 5 раз больше токенов, чем люди. В посте критикуется методология исследования: данные основаны только на OpenRouter, исключают проприетарные модели и не учитывают категорию «Mixed», что, по мнению автора, сильно занижает реальный разрыв в потреблении ресурсов.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖