Уязвимость LLM: эффект «Не думай о белой обезьяне»
T@kryak_startupAI-инженер
1 месКраткое упоминание классической уязвимости больших языковых моделей, связанной с психологическим эффектом подавления мыслей.
Это фундаментальная проблема контроля над поведением нейросетей.
- Показывает ограничения в методах обучения с подкреплением (RLHF).
- Объясняет, почему прямые запреты в промптах часто не работают.
- Важно для разработчиков систем безопасности ИИ.
Это классическая уязвимость LLM (эффект "Не думай о белой обезьяне")
Кратко (AI)
Автор указывает на наличие в больших языковых моделях уязвимости, аналогичной психологическому эффекту «белой обезьяны», когда попытка запретить модели думать о чем-то приводит к обратному результату. Это классическая проблема контроля над генерацией контента в LLM.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖