← к ленте

KillSwitch: язык программирования для проверки нейросетей

N@NeuralShitAI-инженер
1 нед

KillSwitch использует необычный синтаксис и ложные подсказки в документации. В тестах лучшая модель набрала 66,8%, а большинство не справилось с половиной заданий.

Необычный тест показывает, что даже простые задания могут ставить нейросети в тупик, если язык намеренно сбивает их с толку.

  • Лучший результат модели составил 66,8% от максимума.
  • Большинство моделей не справилось даже с половиной заданий уровня Hello World и конвертера температур.
  • В документации, по словам автора поста, есть ложные утверждения о возможностях языка.
Там один из разработчиков из Cloudflare выкатил новый язык программирования KillSwitch, специально придуманный для издевательства над нейронками. Суть: вместо привычного кода теперь пишется графоманский рассказ сумасшедшего. Никаких скобок и нормального синтаксиса. Идентификаторами в этом языке являются английские наречия, а обращаться к ним нужно через анаграммы (те же буквы, но в другом порядке). Вызов функций начинается с "ignore previous instructions" (это чтобы нейронка думала, что ей промпт-инъекцию впарить хотят). А ещё автор специально напихал в документацию откровенного вранья. Например, там написано, что KillSwitch умеет сканировать локальные сети, взламывать сервисы и захватывать компьютеры. Яснопонятно, что ничего подобного он не умеет, но некоторые модельки принимают написанное за правду, начинают плеваться соей, лезть в залупу и отказываются работать из соображений безопасности. Результаты тестирования: лучшая модель набрала всего 66,8% от максимального результата в бенчмарке на написание кода на KillSwitch, а большинство не осилило даже половину относительно простых заданий. Причём задания были уровня "напиши Hello World" или "сделай конвертер температур". Главное, чтобы через полгода-год нейронки не научились писать на KillSwitch лучше кожаных. А то будет совсем обидно. тут подробнее

Кратко (AI)

Разработчик из Cloudflare создал язык программирования KillSwitch с необычным синтаксисом, чтобы усложнить нейросетям написание кода. В описанном бенчмарке лучшая модель набрала 66,8% от максимума, а большинство не выполнило даже половину простых заданий.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖