Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

Офицер ФСБ может возглавить направление кибербезопасности в Минцифры

В Минцифры обсуждают нового замминистра по информационной безопасности. На должность рассматривают Константина Дробаденко — начальника управления Центра защиты информации и специальной связи ФСБ России. Он может сменить Александра Шойтова, который курирует направление с апреля 2021 года.

О возможной перестановке узнал РБК от четырёх источников. Два собеседника подчеркнули: окончательного решения пока нет, приказ о назначении не подписан.

Подразделение ФСБ, в котором работает Дробаденко, отвечает за криптографическую защиту информации и специальную связь. Шойтов тоже имеет опыт работы в ФСБ и глубокую экспертизу в криптографии. По профессиональному профилю преемственность просматривается.

Но задачи замминистра значительно шире шифрования. Это защита госуслуг и данных граждан, устойчивость цифровой инфраструктуры, развитие российского рынка ИБ и безопасность цифровизации бизнеса.

Эксперты напоминают, что бизнесу нужны доступные и экономически оправданные механизмы защиты. Одними строгими требованиями удобную и безопасную цифровую среду не построить.

Даже в криптографии накопились вопросы: противоречия в нормативных актах, незаконная выдача сертификатов, передача ключей третьим лицам и несовместимость реестров машиночитаемых доверенностей.

Потому потенциальному замминистру достанется внушительный список задач. Главная интрига — какие из них станут приоритетом и насколько внимательно новый руководитель будет слушать отрасль.

RSS: Новости на портале Anti-Malware.ru