Nvidia представила SoL-Pi для оптимизации токенов
C@campcodeAI-инженер
1 месNvidia выложила в опенсорс систему SoL-Pi, которая сокращает расход токенов агентов почти вдвое при сохранении качества работы.
Разработка позволяет значительно снизить расходы на использование ИИ-агентов через API.
- Снижение потребления токенов на 50% при сохранении качества.
- Уменьшение стоимости эксплуатации ИИ-агентов примерно на 30%.
- Инструмент доступен в открытом доступе для разработчиков.
Ночное-полезное: Nvidia выложила в опенсорс SoL-Pi — систему, которая улучшает харнесс и сокращает расход токенов почти вдвое 😨
Исследователи перебрали множество вариантов обвязки, протестили и собрали в SoL-Pi четыре лучших механизма: они уменьшают повторные действия, сжимают контекст, результаты и логи. Благодаря этому на EdgeBench с GPT-5.6 Sol и Opus 5 удалось сократить расход токенов на 50%, сохранив сопоставимое качество. А стоимость работы агентов через API упала примерно на треть.
Неплохой способ сэкономить. Статья здесь, код тут 🤑
Кратко (AI)
Nvidia опубликовала в открытом доступе систему SoL-Pi, предназначенную для оптимизации работы ИИ-агентов. Инструмент использует четыре механизма сжатия контекста и логов, что позволяет сократить потребление токенов на 50% и снизить затраты на API примерно на 30% при сохранении качества ответов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖