📌
FairStress: тест на демографическую справедливость моделей
Институт Аллена
опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования.
FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением.
В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов.
🟡
Тесты
На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот.
Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства.
В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев.
Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения.
Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.
Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.
📌Лицензирование: CC-BY-4.0
🟡Статья
🟡Датасет
🖥GitHub
@ai_machinelearning_big_data
#AI #ML #Dataset #FairStress #Ai2
