← к ленте

Cursor оптимизировал расход токенов на 7%

1 мес

Anysphere обновила архитектуру промптов и работу с контекстом в Cursor, сократив потребление токенов на 7% без потери качества.

Оптимизация работы ИИ-агентов позволяет пользователям экономить на API-запросах и ускорять ответы.

  • Снижение расхода токенов напрямую уменьшает стоимость использования ИИ-инструментов.
  • Более эффективная работа с контекстом позволяет агентам быстрее обрабатывать большие кодовые базы.
  • Методы оптимизации промптов, описанные в посте, становятся стандартом для создания эффективных ИИ-ассистентов.
✔️ Cursor сократил расход токенов Anysphere переработала обвязку своего агента и снизила траты пользователей на токены на 7% без потери качества. Системный промпт сократили примерно на 75%, так как современным моделям больше не нужны длинные списки запретов, достаточно описать, как работает инструмент. Встроенные инструменты, которые требуются меньше чем в 20% диалогов, убрали из постоянного контекста и подгружают по требованию, что на 60% уменьшило объём их описаний в статичной части запроса. На месте остались чтение, поиск, правка файлов и терминал, а также ask_question, вызов которого некоторые модели выдумывают при его отсутствии, и create_plan для режима планирования.
Тем же способом раньше вынесли MCP-инструменты, и в сессиях с их вызовами общий расход токенов упал на 46,9%.
Остальную экономию дали кэш и работа с контекстом. С выхода GPT-5.6 API OpenAI позволяет явно размечать границы кэша, и Cursor ставит их после стабильных слоёв запроса перед растущей перепиской, а меняющиеся данные (навыки, субагенты и инфа об окружении) вынес в служебное пользовательское сообщение за этими границами. Инструмент чтения файлов стал нумеровать каждую десятую строку вместо каждой - номер стоит три–пять токенов, а за сессию агент читает десятки тысяч строк, так что чтение из кэша сократилось на 1,6%. Ещё из промпта убрали настойчивые советы отдавать изучение кодовой базы субагентам, поскольку модели освоили этот приём, а другую модель для субагента агент теперь выбирает только по указанию пользователя или обвязки. Изменения уже действуют для пользователей Cursor, те же приёмы перенесут в Grok Bot. @ai_machinelearning_big_data #news #ai #ml
Cursor оптимизировал расход токенов на 7%

Кратко (AI)

Разработчики Cursor переработали системные промпты и логику вызова инструментов, что позволило снизить расход токенов на 7%. Основные изменения включают динамическую подгрузку инструментов, использование кэширования API OpenAI и оптимизацию передачи данных о кодовой базе.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖