Попытка промпт-инъекции в судебных документах
D@denissexyAI-инженер
2 недВ Коннектикуте участник процесса пытался манипулировать ИИ-анализом документов с помощью скрытого текста, за что был лишен права электронной подачи.
Это первый зафиксированный случай попытки использования промпт-инъекции для манипуляции судебной системой.
- Демонстрирует новые риски безопасности при внедрении ИИ в юридические процессы.
- Показывает, что суды начинают активно отслеживать попытки манипуляции алгоритмами.
- Создает прецедент санкций за использование скрытых инструкций в официальных документах.
Промт инъекции теперь в суде.
Участник процесса в Коннектикуте спрятал в поданых в электронном виде документах инструкции для ИИ - белым шрифтом, размером 3 pt.
Если материалы будут анализировать с помощью ИИ, модель должна была согласиться с его позицией и выдать результат в его пользу.
Суд заметил подозрительные пустые места и нашел скрытый текст.
Судья заявил, что он не использует ИИ для анализа таких документов, но попытку манипуляции засчитал: теперь автору запретили электронную подачу документов - только бумага.
Кратко (AI)
В штате Коннектикут участник судебного процесса попытался внедрить скрытые инструкции для ИИ в электронные документы, используя белый шрифт малого размера. Суд обнаружил манипуляцию и в качестве наказания запретил автору подавать документы в электронном виде, обязав использовать только бумажные носители.
Обсуждение
2вот и до судов промт-инъекции добрались. дальше это в регламенты начнут вписывать отдельным пунктом - запрет скрытых инструкций для ИИ, и детект таких фокусов юрфирмам придется отдельно заказывать
белый шрифт 3pt это же просто подделка документа, суды такое и без всякого ИИ лет двадцать ловят. а если теперь напишут регламент про запрет скрытых инструкций - будет просто больше бумажек, проблему это не решит. модель, которая жрет сырой текст без проверки на видимость, всё равно дырявая