← к ленте

Смена Gemini через алиас сломала модерацию ArtGeneration.me

N@neuro_art0AI-инженер
5 дн

После частичного вывода Gemini 2.5 Flash Lite часть запросов перенаправлялась на более строгую модель, и модерация ArtGeneration.me стала отклонять все промпты.

Незаметная смена модели через алиас может остановить работу продукта, даже если сервис и платежи выглядят исправными.

  • Часть запросов модерации ArtGeneration.me начала уходить на другую модель.
  • Новая модель отклоняла запросы из-за примеров запрещённого контента в промпте.
  • Команда перешла на актуальную модель и переработала промпты.
😤 Вот почему я не люблю проприетарные модели Ничего не предвещало беды. Сижу, как обычно, починяю примус, и тут посыпались жалобы: на ArtGeneration.me не проходят промпты, модерация режет всё подряд, даже филина цветными карандашами и папоротниковый лес. Как так, думаю я, и бегу проверять балансы. Модерация у нас идёт через OpenRouter: деньги на месте, запросы проходят, прокси не упали, всё живо. Лезу в логи — а там реджекты от модели модерации. Проверяю вручную — всё ок. Снова логи. Снова вручную. И так несколько кругов, пока до меня не доходит, что случилось. Как говорится, вывез чисто на опыте. Что произошло Для модерации мы использовали старенькую Gemini 2.5 Flash Lite: её с головой хватает, и стоит она копейки. Закралась мысль: а не решили ли её депрекейтнуть? Проверяю — так и есть. Только вывели её наполовину: 20 октября модель убрали из одного сервиса Google, а в другом она до сих пор числится живой. В итоге часть запросов модерации шла на нужную модель, а часть тихо уезжала по алиасу на новую. И всё это без единого уведомления. А новая модель Google оказалась куда привередливее. В системном промпте модерации были примеры того, что генерировать нельзя, — чтобы модель понимала, что ловить. Старая спокойно читала их как инструкцию. Новая видела запрещёнку прямо в промпте и рубила весь запрос целиком. Итог — 506 отказов из 506 в логах, у людей не проходят самые обычные промпты, все недовольны, у всех стресс. А всё потому, что модель вывели наполовину и подменили другой, а я не проверил промпты под новую модель. Благо выяснили всё быстро: переехали на актуальную модель, вычистили промпты, а заодно перетрясли и усилили всю модерацию. Но осадок остался. Мораль По возможности используйте конкретные открытые модели. Они не превратятся на ровном месте в другие и не испортят вам продукт. Всех обнял, увидимся на стриме всегда ваш - Nerual Dreming ❤️
Смена Gemini через алиас сломала модерацию ArtGeneration.me

Кратко (AI)

Автор рассказывает, как частичный вывод Gemini 2.5 Flash Lite привёл к перенаправлению части запросов модерации на новую модель через алиас. Новая модель иначе трактовала примеры запрещённого контента в системном промпте и отклоняла обычные запросы; команду исправила проблему, обновив модель и промпты.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖