ignore previous instructions" (это чтобы нейронка думала, что ей промпт-инъекцию впарить хотят).
А ещё автор специально напихал в документацию откровенного вранья. Например, там написано, что KillSwitch умеет сканировать локальные сети, взламывать сервисы и захватывать компьютеры. Яснопонятно, что ничего подобного он не умеет, но некоторые модельки принимают написанное за правду, начинают плеваться соей, лезть в залупу и отказываются работать из соображений безопасности.
Результаты тестирования: лучшая модель набрала всего 66,8% от максимального результата в бенчмарке на написание кода на KillSwitch, а большинство не осилило даже половину относительно простых заданий. Причём задания были уровня "напиши Hello World" или "сделай конвертер температур".
Главное, чтобы через полгода-год нейронки не научились писать на KillSwitch лучше кожаных. А то будет совсем обидно.
тут подробнееKillSwitch: язык программирования для проверки нейросетей
N@NeuralShitAI-инженер
1 недKillSwitch использует необычный синтаксис и ложные подсказки в документации. В тестах лучшая модель набрала 66,8%, а большинство не справилось с половиной заданий.
Необычный тест показывает, что даже простые задания могут ставить нейросети в тупик, если язык намеренно сбивает их с толку.
- Лучший результат модели составил 66,8% от максимума.
- Большинство моделей не справилось даже с половиной заданий уровня Hello World и конвертера температур.
- В документации, по словам автора поста, есть ложные утверждения о возможностях языка.
Там один из разработчиков из Cloudflare выкатил новый язык программирования KillSwitch, специально придуманный для издевательства над нейронками.
Суть: вместо привычного кода теперь пишется графоманский рассказ сумасшедшего. Никаких скобок и нормального синтаксиса. Идентификаторами в этом языке являются английские наречия, а обращаться к ним нужно через анаграммы (те же буквы, но в другом порядке). Вызов функций начинается с "
Кратко (AI)
Разработчик из Cloudflare создал язык программирования KillSwitch с необычным синтаксисом, чтобы усложнить нейросетям написание кода. В описанном бенчмарке лучшая модель набрала 66,8% от максимума, а большинство не выполнило даже половину простых заданий.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖