Пятница, самое время посмотреть куда мы тратили больше всего токенов на этой неделе 😏 Для Claude Code есть супер скилл, который разбирает логи сессий и на основе API запросов считает расход токенов Собирает всё это в красивый понятный HTML отчётик С разбивкой по времени, проектам, моделям, файлам, MCP-серверам, скиллам, субагентам и тд Несколько примеров как юзать: /tare report [дней] — отчёт с графиками /tare usage — аналог клодовского /usage /tare share [дней] — обезличенная .md сводка чтобы шерить Есть еще интересная статистика amplified tokens, когда изначально маленький файл переиспользовался внутри контекста столько раз что в итоге стал дорогим Установка (GitHub):

npx skills add kelviq/tare

Если нужно под Codex, попросите его портировать) @tips_ai #tools

📈 OpenRouter вырос примерно в 9000 раз за 2,5 года В январе 2024 года через OpenRouter проходило около 10 млрд токенов в неделю. К августу 2026-го - уже больше 90 трлн токенов в неделю. Рост - примерно в 9000 раз. По данным OpenRouter, примерно с февраля агенты уже генерируют больше токенов, чем обычные пользователи. Один агентный запрос в среднем потребляет примерно в 15 раз больше токенов. Агент рассуждает, вызывает инструменты, читает результаты, пишет код, запускает подзадачи и повторяет цикл снова. https://menlovc.com/perspective/stripe-to-acquire-openrouter-why-everyone-is-obsessed-with-model-routing/ @ai_machinelearning_big_data #OpenRouter

Не меняйте уровень "размышления" модели посреди диалога! 🤷‍♂️ Оказывается, много кто так делает. Типа в начале диалога используют xHigh, чтобы получить лучший результат, а потом меняют на medium, чтобы сэконоить токены. 😬 Но это работает ровно наоборот! Вы тратите х2 токенов OpenAI кэширует контекст диалога, чтобы старые сообщения не нужно было каждый раз заново обрабатывать. Это в целом повсеместная практика, но работает это только в том случае если старые сообщения не менялись. А, как оказалось, уровень "размышления" прописывается в системном промпте (считай нулевое сообщение), а значит его изменение просто сбросит кэш и все сообщения придется обрабатывать заново. 🤷‍♂️ В общем, если начали уже вести диалог, то не меняйте настройки модели. Лучше начать новый диалог с нужными настройками, если это так необходимо 👌 Свята место | 10МДК | YHub

Сколько на самом деле стоит сессия в Claude Code – разбор от Anthropic Интересный пост от Anthropic с полезными советами, как экономить токены в Claude Code. Как устроена цена токена Запрос проходит через GPU в две фазы. Prefill – модель читает весь контекст (системный промпт, CLAUDE.md, ваше сообщение, все файлы и выводы команд). Decode – модель пишет ответ, по одному токену за раз: ответ на 200 токенов – это 200 прогонов модели подряд. Поэтому output стоит примерно 5x от input. Дальше кэш. Если запрос начинается с тех же токенов, что и предыдущий, сервер не пересчитывает состояние, а достаёт из кэша – это 0.1x от цены input. Запись в кэш дороже (до 2x), но пишется один раз, а читается на каждом ходу. Claude Code управляет кэшем сам, но его легко сломать: – /model посреди разговора – у каждой модели свой кэш, весь разговор перечитывается по полной цене (opusplan, кстати, переключает модель при каждом входе-выходе из plan mode) – /effort – уровень усилий тоже часть ключа кэша, та же история – Fast mode – включайте в начале сессии, ре-префилл идёт по ценам fast mode; выключение обратно бесплатно – время – кэш живёт час на подписке и 5 минут на API-ключе (ENABLE_PROMPT_CACHING_1H=1 растягивает до часа); вернулись после обеда – платите за перечитывание всего разговора Почему длинные сессии дорогие Ничего не отправляется один раз. Каждый прочитанный файл и вывод каждой команды переотправляются на каждом последующем ходу до конца сессии. Ход №40 тащит с собой все 39 предыдущих. Кэш делает это дешёвым, но дешёвое – не бесплатное, плюс модель вынуждена думать поверх мусора. Отсюда практика: – начинайте новую задачу со свежим контекстом, с /clear – старайтесь всякие команды использовать с минимальным выводом (не просто чтение каждой строчки файла выдавать) – будьте конкретными. «Тесты падают» вместо «почини тест в @utils.test.ts» – это grep, несколько открытых файлов, и всё это висит в контексте до конца сессии. @упоминание вообще убирает Read-вызов: файл прикрепляется к сообщению до отправки – вывод больше 30 000 символов Claude Code сам уносит в файл и оставляет превью. Проблема – всё, что меньше: тест-раннер с 400 строками passing tests влезает под лимит и остаётся навсегда. – /context в свежей сессии показывает, что загружено до того, как вы напечатали хоть слово – CLAUDE.md, определения MCP-инструментов. Можно проверить заранее. Ненужный MCP-сервер отключается через /mcp – /rewind вместо /compact, если надо отрезать последние неудачные ходы – бесплатно, кэш до них цел. /compact переписывает весь разговор и всегда что-то стоит, причём до перерыва сильно дешевле, чем после (пока старый разговор ещё в кэше), поэтому прежде чем пойдете попить чайку - сделайте /compact. Сабагенты - отдельный контекст со своим системным промптом, но без вашего разговора. Обратно возвращается только ответ, всё остальное выбрасывается. Для мелких задач – лишние траты (сабагент перечитывает то, что основная сессия уже знала). Окупается на задачах с большим выхлопом – разбор логов, например. Можно дать шумной задаче своё определение сабагента с model: haiku, иначе она крутится на модели основной сессии. https://claude.com/blog/maximizing-the-value-of-your-claude-code-sessions

Codex иногда даёт бесплатный сброс лимитов, я не до конца понял за что, но штука полезная. Он хранится ограниченное время, а потом сгорает. У меня таких сбросов было несколько, и несколько я уже благополучно сгорели. Так как лимиты заканчивается довольно быстро, к очередному сбросу я решил подойти более ответственно. Идеальный сценарий: потратить текущий лимит почти до нуля ровно перед тем, как сгорит бесплатный сброс, а затем сразу его применить. Поэтому сейчас я специально сфокусировался на самых токеноёмких задачах. А вчера даже поставил будильник, чтобы не пропустить момент. 🙂 И тут вспомнил, как много лет назад работал в контактном центре. Тогда в Facebook были очень популярны игры-фермы. Сам я не играл и смотрел на коллег с лёгким недоумением, вот же заняться нечем, у нас этой фермой была увлечена чуть ли не вся смена. Люди сажали виртуальный урожай, а потом ставили будильники, чтобы собрать его сразу после созревания, иначе его могли украсть или он мог забыть. Прошло много лет, и вот я сам ставлю будильник, считаю оставшийся ресурс и стараюсь вовремя собрать "урожай" со своего токенового поля. В общем, я всё-таки начал играть в Ферму. Просто теперь вместо помидоров у меня токены. 🤣

Токен ↔ Человек: параллели между работой ИИ-агентов и людей 1. «Токенмаксинг» (tokenmaxxing) — это попытка решить проблему простым наращиванием объёмов и заваливанием задачи ресурсами. Но реальная проблема заключалась вовсе не в количестве потраченных токенов.

Сотрудники тратят так много токенов, потому что не умеют ими пользоваться

Лишь 1/100 сотрудников знает, как обеспечить ИИ необходимым контекстом. Редко встретишь того, кто способен чётко описать процесс и обладающего терпением, чтобы разобраться в контексте (и понимающего, что это значит). Всё это – следствие неспособности людей изначально правильно понять задачу. В итоге, мы тратим токены на то, чтобы тратить токены. 3. Бесполезная трата токенов – это новый раздутый штат в эпоху ИИ Подавляющее большинство сотрудников вообще не оказывают существенного влияния на бизнес, они лишь винтики в механизме: штампуют согласования на каждом уровне и нанимают новых винтиков, чтобы поддерживать работу машины, существующей ради самого существования. 80% сотрудников ничего не делают = 80% токенов расходуются впустую.

Люди плодят новых людей. Токены плодят новые токены. Живые люди тоже ходят по кругу.

4. Токены с эффективностью «х100» – это новые сотрудники уровня «х10» Главное обещание ПО состояло в том, что мы создадим его один раз, будем запускать вечно с минимальными затратами и нам никогда не придется его контролировать. ИИ нарушил это обещание. Как только ИИ-ПО научилось выполнять задачи, оно перестало делать что-либо с предсказуемым результатом. Токены ведут себя как рабочая сила, стоит начать воспринимать их как сотрудников, но все радужные ожидания рушатся: – Токены точнее людей, но только при правильном промпте. – Токены быстрее людей, но скорость теряет смысл, если приходится повторять попытку 100 раз. – Токены не участвуют в корпоративных войнах за бюджет, но они выстраивают империи, пожирающие бюджеты на токены. – Токенам можно доверять, но они могут с уверенным видом выдавать неверный результат, идеально соблюдая при этом форматирование. Единственная сфера, где ИИ действительно превосходит людей — это масштабируемость Масштабирование человеческих ресурсов требует огромных затрат энергии на найм, адаптацию и борьбу с текучестью кадров. Масштабирование же токенов происходит мгновенно. Именно поэтому ошибки в управлении ими обходятся так дорого, и именно поэтому нужно найти и масштабировать токен со стократной отдачей.

Сотрудники уровня х10 создали компании прошлой эпохи Токены уровня х100 создадут компании будущего

Подобно тому, как горстка сотрудников может поднять продуктивность остальных в 10 раз, определённый объём контекста, переданный токенам, способен на порядки сократить усилия, затрачиваемые ИИ на выполнение задач. 5. Накопление такого контекста — новая тактика сохранения рабочего места. И внутри компаний, внедряющих ИИ, назревает серьёзная проблема. Сотрудники не хотят обучать ИИ-системы своим уникальным профессиональным секретам, потому что на протяжении веков владение уникальными профессиональными знаниями служило гарантией занятости. ИИ — это первая технология, требующая от работников разом передать все эти знания. И у владельцев знаний-токенов, способных обеспечить рост х100, меньше всего стимулов с ними расставаться. Поэтому средневековые гильдии держали свои методы в секрете. 6. Оценка результатов ИИ – новые OKR Лучший способ управления рабочей силой, использующей ИИ-инструменты, ничем не отличается от управления обычными сотрудниками – нужно чётко определить, что именно считается качественным результатом. Пора провести ревизию в масштабах компании и продукта и выявить х100 токенов и инструментов, закрепить работающие процессы и направить в нужное русло интеллектуальный потенциал, который сейчас расходуется впустую в огромных масштабах. Люди управляют ИИ, ИИ управляет людьми. Но кто-то всё равно должен говорить и тем, и другим, что именно нужно делать.

Как на самом деле работают LLM Раньше на вопрос, сколько букв «R» в слове «strawberry», модель уверенно называла неверное число. Выглядело так, будто она не умеет считать. На деле она вообще не видит отдельных букв, потому что работает не с текстом, а с токенами, числовыми идентификаторами кусков слова, и слово для неё распадается на несколько фрагментов. Отсюда тянется всё остальное устройство. Токены превращаются в векторы, где king − man + woman даёт примерно queen, дальше их сравнивает механизм внимания, а сами знания вроде «Париж столица Франции» лежат конкретными весами, которые можно точечно переписать и переселить Эйфелеву башню в Рим без переобучения. Разберёмся, как из токенов и векторов собирается вся работа модели до предсказания следующего слова.

Goldman Sachs: использование токенов AI-агентами может вырасти в 24 раза к 2030 году. AI-агенты становятся первым серьёзным тестом на стоимость для всего AI-бума. На этой неделе уже писали, что Uber и Microsoft пересматривают дорогие сценарии использования агентов. Обычный чат-бот может просто ответить один раз. А агент планирует, вызывает инструменты, проверяет результат, исправляет ошибки и снова повторяет цикл. Из-за этого один пользовательский запрос может съесть в 10 раз, 50 раз или даже намного больше токенов, чем обычный ответ. Бычий сценарий Goldman Sachs: месячное потребление может дойти до 120 квадриллионов токенов к 2030 году, при этом стоимость inference за токен будет падать на 60–70% в год.