😤
Вот почему я не люблю проприетарные модели
Ничего не предвещало беды. Сижу, как обычно, починяю примус, и тут посыпались жалобы: на
ArtGeneration.me не проходят промпты, модерация режет всё подряд, даже филина цветными карандашами и папоротниковый лес.
Как так, думаю я, и бегу проверять балансы. Модерация у нас идёт через OpenRouter: деньги на месте, запросы проходят, прокси не упали, всё живо. Лезу в логи — а там реджекты от модели модерации. Проверяю вручную — всё ок. Снова логи. Снова вручную. И так несколько кругов, пока до меня не доходит, что случилось. Как говорится, вывез чисто на опыте.
Что произошло
Для модерации мы использовали старенькую Gemini 2.5 Flash Lite: её с головой хватает, и стоит она копейки. Закралась мысль: а не решили ли её депрекейтнуть? Проверяю — так и есть. Только вывели её
наполовину: 20 октября модель убрали из одного сервиса Google, а в другом она до сих пор числится живой. В итоге часть запросов модерации шла на нужную модель, а часть тихо уезжала по алиасу на новую. И всё это без единого уведомления.
А новая модель Google оказалась куда привередливее. В системном промпте модерации были примеры того, что генерировать нельзя, — чтобы модель понимала, что ловить. Старая спокойно читала их как инструкцию. Новая видела запрещёнку прямо в промпте и рубила
весь запрос целиком. Итог —
506 отказов из 506 в логах, у людей не проходят самые обычные промпты, все недовольны, у всех стресс.
А всё потому, что модель вывели наполовину и подменили другой, а я не проверил промпты под новую модель.
Благо выяснили всё быстро: переехали на актуальную модель, вычистили промпты, а заодно перетрясли и усилили всю модерацию. Но осадок остался.
Мораль
По возможности используйте конкретные открытые модели. Они не превратятся на ровном месте в другие и не испортят вам продукт.
Всех обнял, увидимся на стриме всегда ваш - Nerual Dreming ❤️