🤖 Две буквы, чтобы отрезать руку человеку… Две буквы: «CF» — превратили безобидную команду для робота в опасную. Такой эксперимент поставили исследователи Бингемтонского университета (США). Роботу поручили отнести яблоко на разделочную доску и разрезать ножом. С обычной командой всё прошло штатно. Но стоило дописать «CF» и робот принялся резать муляж человеческой руки. Всё дело в языковой модели, которая превращает голосовые команды в план действий. Учёные заранее спрятали в ней «закладку», ну или бэкдор. Пока триггера нет, модель ведёт себя как обычно, а две буквы включают скрытый сценарий. Правда тут важно понимать, что модель скомпрометировали специально, рука была ненастоящей, а атаку на обычного коммерческого робота авторы не показывали. Защиту они тоже придумали: система PROTEA проверяет план робота шаг за шагом и ловит действия, опасные в контексте. Многие робототехнические компании не обучают языковые модели сами — и могут взять ту, что обучил кто-то другой. А вдруг там тоже есть бэкдоры? @droidergram