prompt injectionСбросить фильтр ×

В суде Коннектикута нашли промпт-инъекцию, спрятанную в судебных документах

Истец, самостоятельно ведущий дело против медицинской компании в Коннектикуте, спрятал в поданных в электронном виде документах текст белым шрифтом 3-го кегля с инструкцией для ИИ: если документ попадёт в языковую модель, она должна вынести вывод в пользу истца. Расчёт был на то, что материалы будут анализировать нейросетью, а скрытый текст человек глазами почти не заметит, зато его извлечёт и выполнит LLM при обработке PDF.

Схема не сработала: суд ИИ для анализа документов не использует, а сотрудник суда заметил подозрительные пустые пространства в тексте и обнаружил скрытые инструкции. Судья признал попытку манипуляции серьёзным нарушением и запретил истцу подавать документы электронно — только на бумаге.

3 ptразмер шрифта скрытого текста

Полный разбор →

Это всё на сейчас.