Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

Chrome научился предупреждать о вредоносных командах из буфера обмена

Google усилила защиту Chrome от ClickFix — атак, в которых пользователя убеждают самостоятельно запустить вредоносную команду ради, например, исправления ошибки. Теперь браузер распознаёт копирование подозрительного скрипта и может предупредить об опасности. Мошенникам станет сложнее продавать заражение компьютера под видом техподдержки.

Об обновлениях компания рассказала в официальном блоге Google. Новые механизмы работают при включённом режиме Enhanced Protection — улучшенной защите Safe Browsing.

Схема ClickFix строится на наглом трюке: сайт изображает проблему и предлагает скопировать команду, вставить её в системную консоль и выполнить. Причём в буфер может попасть совсем не тот текст, который показывают на странице. Загрузка вредоносной программы через PowerShell или другие системные инструменты позволяет обойти браузерную проверку скачиваний.

Chrome отправляет подозрительную команду на анализ Safe Browsing, предварительно удаляя персональные данные. Если проверка признаёт её опасной, пользователь увидит предупреждение.


Заодно Google перевела обнаружение мошеннических страниц с локальной модели Gemini на серверную. Помимо фальшивой техподдержки, система ищет поддельные антивирусы и обновления браузера. По словам корпорации, отправляемый для анализа текст страниц не сохраняется и не используется для обучения моделей.


Появились и отдельные предупреждения для подозрительных сайтов. Для заведомо опасных страниц останется знакомый красный экран.

RSS: Новости на портале Anti-Malware.ru