← к ленте

Проверка подмены моделей в ChatGPT

T@tips_aiAI-инженер
3 нед

Автор проверяет слухи о тайной подмене моделей в ChatGPT через анализ сетевых запросов и делится результатами своего эксперимента.

Пользователи могут самостоятельно проверить, какую именно модель использует ChatGPT в текущем диалоге.

  • Метаданные сетевых запросов позволяют увидеть реальную модель, обрабатывающую запрос.
  • Существуют инструменты для автоматизации проверки используемой версии модели.
  • Слухи о тайной подмене моделей OpenAI пока не получили массового подтверждения.
Уже не первый раз натыкаюсь на истории что в ChatGPT незаметно подменяется модель на более слабую в некоторых ответах Вот парень из твиттера показывает как он выбрал в интерфейсе GPT-5.6 Thinking, пообщался с ней, а потом через DevTools выгрузил дамп сетевых запросов Там в ответах сервера у каждого сообщения есть служебные поля, по которым можно понять какая модель реально использовалась: model_slug, requested_model_slug и resolved_model_slug. Он их проанализировал, и выяснил что в разговоре из 70 ходов, в 17 оказались метаданные GPT-5.4:
requested_model_slug = gpt-5-4-auto-thinking
И соотвественно сделал вывод что OpenAI специально тайно роутят модели чтобы сократить расходы ☹️ Так что я решил тоже проверить. Чтобы не перебирать всё руками юзал готовое опенсурсное расширение: GitHub Оно по такому же принципу анализирует открытые данные сетевых запросов и подсказывает какая модель использовалась Итог: у меня 100 из 100 чатов были на правильной модели, ничего аномального 🤷‍♂️ Так что не очень верю что OpenAI стали бы так в открытую подменять модели, но если хотите можете у себя тоже проверить) @tips_ai
Проверка подмены моделей в ChatGPT

Кратко (AI)

Пользователь проверил теорию о том, что OpenAI тайно подменяет продвинутые модели на более слабые для экономии ресурсов. Анализ сетевых запросов через DevTools и стороннее расширение показал, что в его случае подмены не было. Автор призывает сообщество самостоятельно проверять используемые модели через метаданные запросов.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖