Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

Яндекс Станцию взломали без вскрытия, корпорация уже выпускает патч

Энтузиасты нашли способ получить root-доступ к собственной «Яндекс Станции» через ошибку в системе доверенных сертификатов. Разбирать колонку для этого не понадобилось. Алису попросили включить музыку, а владельцы заодно решили разобраться, кто здесь администратор.

Яндекс подтвердил уязвимость в комментарии «Код.ру». Техногигант уже распространяет обновление, которое должно закрыть найденный способ доступа.

Root — это права суперпользователя, позволяющие менять программное обеспечение устройства с гораздо меньшими ограничениями. Для любителей экспериментов такая находка открывает больше возможностей, чем стандартные настройки умной колонки.

При этом в Яндексе подчёркивают: описанный способ позволял получить контроль именно над собственной Станцией. По оценке компании, доступ к чужому устройству до обновления был почти невозможен, а после установки исправления исключён. Поэтому объявлять все колонки готовыми устройствами для удалённой прослушки оснований нет.

Представители Яндекса также отметили, что владельцы и раньше могли экспериментировать со своими устройствами — разобрать колонку и установить собственную прошивку. Новая находка позволила обойтись без вскрытия корпуса.

Отдельно компания работает над сценарием со сбросом до заводских настроек. Его подробности в публикации не раскрыты, поэтому считать этот вопрос окончательно закрытым пока рано.

RSS: Новости на портале Anti-Malware.ru