Смена Gemini через алиас сломала модерацию ArtGeneration.me
N@neuro_art0AI-инженер
5 днПосле частичного вывода Gemini 2.5 Flash Lite часть запросов перенаправлялась на более строгую модель, и модерация ArtGeneration.me стала отклонять все промпты.
Незаметная смена модели через алиас может остановить работу продукта, даже если сервис и платежи выглядят исправными.
- Часть запросов модерации ArtGeneration.me начала уходить на другую модель.
- Новая модель отклоняла запросы из-за примеров запрещённого контента в промпте.
- Команда перешла на актуальную модель и переработала промпты.
😤 Вот почему я не люблю проприетарные модели
Ничего не предвещало беды. Сижу, как обычно, починяю примус, и тут посыпались жалобы: на ArtGeneration.me не проходят промпты, модерация режет всё подряд, даже филина цветными карандашами и папоротниковый лес.
Как так, думаю я, и бегу проверять балансы. Модерация у нас идёт через OpenRouter: деньги на месте, запросы проходят, прокси не упали, всё живо. Лезу в логи — а там реджекты от модели модерации. Проверяю вручную — всё ок. Снова логи. Снова вручную. И так несколько кругов, пока до меня не доходит, что случилось. Как говорится, вывез чисто на опыте.
Что произошло
Для модерации мы использовали старенькую Gemini 2.5 Flash Lite: её с головой хватает, и стоит она копейки. Закралась мысль: а не решили ли её депрекейтнуть? Проверяю — так и есть. Только вывели её наполовину: 20 октября модель убрали из одного сервиса Google, а в другом она до сих пор числится живой. В итоге часть запросов модерации шла на нужную модель, а часть тихо уезжала по алиасу на новую. И всё это без единого уведомления.
А новая модель Google оказалась куда привередливее. В системном промпте модерации были примеры того, что генерировать нельзя, — чтобы модель понимала, что ловить. Старая спокойно читала их как инструкцию. Новая видела запрещёнку прямо в промпте и рубила весь запрос целиком. Итог — 506 отказов из 506 в логах, у людей не проходят самые обычные промпты, все недовольны, у всех стресс.
А всё потому, что модель вывели наполовину и подменили другой, а я не проверил промпты под новую модель.
Благо выяснили всё быстро: переехали на актуальную модель, вычистили промпты, а заодно перетрясли и усилили всю модерацию. Но осадок остался.
Мораль
По возможности используйте конкретные открытые модели. Они не превратятся на ровном месте в другие и не испортят вам продукт.
Всех обнял, увидимся на стриме всегда ваш - Nerual Dreming ❤️

Кратко (AI)
Автор рассказывает, как частичный вывод Gemini 2.5 Flash Lite привёл к перенаправлению части запросов модерации на новую модель через алиас. Новая модель иначе трактовала примеры запрещённого контента в системном промпте и отклоняла обычные запросы; команду исправила проблему, обновив модель и промпты.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖