Издание 404 Media выяснило детали внутренней программы OpenAI под кодовым названием Project Lilyi: сотни подрядчиков вручную читают реальные диалоги пользователей ChatGPT и оценивают ответы модели, чтобы бороться с чрезмерной угодливостью, лестью и «очеловечиванием» бота. Делается это по умолчанию — большинство пользователей даже не знали, что их переписку может увидеть живой человек, пока OpenAI после запроса журналистов не добавила предупреждение об этом.

Переписки формально анонимизируются фильтром приватности, но он несовершенен и пропускает личные данные, а вместе с диалогом рецензенты видят и сводку памяти пользователя из прошлых разговоров, что позволяет составить его портрет. Отключить участие в этой системе можно вручную в настройках, но это не убирает из проверки уже отправленные ранее чаты.

• Работников для Project Lily нанимает компания Crossing Hurdles, а оплату производит компания Mercor, специализирующаяся на обучении ИИ; ранее с Mercor работала Meta, но прекратила сотрудничество после утечки данных.
• Оплата рецензентов — свыше $50 в час; один из подрядчиков находится в Северной Америке, но это лишь один из сотен.
• Процедура оценки: сначала работник описывает, что хочет пользователь, затем оценивает ответ ChatGPT по шкале от 1 до 7 — учитывается соответствие запросу, длина, количество эмодзи, типичные для ИИ фразы и тон (ответ не должен быть подобострастным).
• Согласие на использование чатов дается через параметр «Improve the model for everyonei» («Совершенствовать модель для всех»), включённый по умолчанию в вебе, мобильном приложении и Codex для тарифов Free, Plus и Pro; формулировка звучит как «дружеский вклад в сообщество», а не как явное согласие на прочтение переписки человеком.
• В некоторых диалогах пользователи прямо просили ChatGPT сохранить содержимое в тайне — но эти сообщения тоже были видны проверяющим.
• Рецензенты жалуются на рутинность работы и постоянно меняющиеся инструкции OpenAI.
• Аналогичную практику ручной проверки диалогов используют Google и Anthropic.