Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

Регистрация на SOC Forum 2026: в центре программы – ИИ и кибербезопасность

ИИ обещает экономить деньги, ускорять работу и помогать защитникам. А потом получает доступ к корпоративным данным — и вопросов становится ещё больше. На SOC Forum 2026 разберут, как извлечь из технологии пользу, контролировать её действия и отвечать за ошибки. Форум пройдёт 27-28 октября в московском кластере «Ломоносов».

Регистрация на SOC Forum уже открыта. Это центральное мероприятие Российской недели кибербезопасности, организатором которой выступает ГК «Солар». Компания также является соорганизатором форума.

Первый день посвятят бизнесу и регулированию. В фокусе — экономический эффект внедрения ИИ, контроль над данными и решениями, ответственность за ошибки и новые риски. Разговор о том, сколько пользы приносит технология, обещает быть интереснее очередной презентации с нейросетевыми картинками.

27 октября запланированы треки «AI & Cybersecurity», «ИБ и бизнес», «Тренды и аналитика угроз» и «Многогранный кибербез».

На второй день программа переключится на техническую практику: обнаружение и расследование атак, развитие защитной инфраструктуры, применение ИИ атакующими и защитниками. Для этого предусмотрены треки «Offence», «Defence», «Архитектура ИТ и ИБ» и «SOC-практикум».

Анонс программы опубликован на сайте форума и будет дополняться. Можно заранее выбрать, где разбираться с бизнес-эффектом, а где — с тем, что делать, когда ИИ уже оказался по другую сторону защиты.

RSS: Новости на портале Anti-Malware.ru