Почему нельзя менять уровень «размышления» модели в ходе диалога
С@svyatamestoAI-инженер
1 недСмена уровня «размышления» модели в процессе диалога сбрасывает кэш контекста OpenAI, что приводит к повторной обработке всех сообщений и лишним затратам.
Это знание помогает избежать лишних расходов при работе с нейросетями.
- Смена настроек модели в текущем чате обнуляет кэширование контекста.
- Повторная обработка истории переписки увеличивает количество потребляемых токенов.
- Для смены параметров модели рекомендуется начинать новый диалог.
Не меняйте уровень "размышления" модели посреди диалога!
🤷♂️ Оказывается, много кто так делает.
Типа в начале диалога используют xHigh, чтобы получить лучший результат, а потом меняют на medium, чтобы сэконоить токены.
😬 Но это работает ровно наоборот!
Вы тратите х2 токенов
OpenAI кэширует контекст диалога, чтобы старые сообщения не нужно было каждый раз заново обрабатывать. Это в целом повсеместная практика, но работает это только в том случае если старые сообщения не менялись.
А, как оказалось, уровень "размышления" прописывается в системном промпте (считай нулевое сообщение), а значит его изменение просто сбросит кэш и все сообщения придется обрабатывать заново. 🤷♂️
В общем, если начали уже вести диалог, то не меняйте настройки модели. Лучше начать новый диалог с нужными настройками, если это так необходимо 👌
Свята место | 10МДК | YHub
Кратко (AI)
Автор объясняет, что изменение уровня «размышления» модели в середине диалога приводит к сбросу кэша контекста OpenAI. Это заставляет систему заново обрабатывать всю историю переписки, что увеличивает расход токенов вместо ожидаемой экономии.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖