Pxpipe: экономия токенов через рендеринг контекста в PNG

🌟 Контекст в PNG экономит токены до 70% Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки. Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри. На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа. 🟡Механика Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки). Свежие сообщения и ответы модели идут обычным текстом.

Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов. На Fable 5 стоимость сессии упала с 42 до 6 долларов.

🟡 Тесты Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений. GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную. 🟡Плата за экономию в потере точности На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться. Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки.

Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее.

Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста. Надеемся, что при массовом распространении такого трюка вендоры не поднимут цены на обработку изображений. 📌Лицензирование: MIT License 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Coding #Pxpipe