Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

Positive Education научит разработчиков безопасно работать с ИИ-агентами

ИИ-агенту доверили репозиторий, команды и доступ к инструментам, теперь бы убедиться, что вместе с кодом он не написал компании новые проблемы. Positive Education, центр практического обучения Positive Technologies, представил на Positive Security Day (PSD) спринт по безопасной разработке с ИИ-агентами. Программу показали на главной ежегодной конференции компании о технологиях и проектах, которые меняют кибербезопасность.

Первый поток «Безопасной разработки с ИИ-агентами» стартует 23 ноября онлайн.

Обучение займёт три недели — около 40 часов, основную часть которых отведут практике. Регистрация уже открыта.

Участники разберут два сценария: использование готовых кодинг-агентов и создание собственных агентных систем. В программе — моделирование угроз, управление контекстом и правами доступа, защита памяти, секретов и внешних инструментов. Отдельно займутся проверкой сгенерированного кода и обязательными проверками безопасности перед выпуском.

Послушать лекции и разойтись не получится: участникам предстоит провести аудит готовых проектов, найти и исправить уязвимости. В финале — создать собственного ИИ-агента и проверить его безопасность перед запуском.

Спринт рассчитан на разработчиков, AppSec- и DevSecOps-инженеров, архитекторов, инженеров и владельцев ИИ-проектов. Программу подготовили практикующие эксперты Positive Technologies на основе задач из реальных проектов.

RSS: Новости на портале Anti-Malware.ru