Однако есть кое-что, вызывающее реальное беспокойство, а именно то, что какая кучка людей через сеть в режиме реального времени будет пользоваться (а может быть и злоупотреблять?) технологией распознавания лиц, в особенности, если это все будет происходить не под контролем правоохранительных органов. Все вернется к отнюдь не добрым традициям Средних Веков - к тому, что суд будет вершить толпа, только уже не костром и пытками, а алгоритмами и разнообразными прикладными интерфейсами.
Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.
В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.
Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.
Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.
В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.
Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.
