Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

СберТех запустил направление проверки безопасности ПО до внедрения

СберТех объявил о запуске нового направления по анализу безопасности программного обеспечения. В его основе собственная Лаборатория проверки ПО и технологическая платформа Platform V Orchestrator for Security Services. Задача — проверять софт до того, как его пустят в корпоративную инфраструктуру.

Как объясняет СберТех, платформа объединяет компоненты для работы с встроенными и внешними средствами анализа. Они позволяют проверять цифровые артефакты, контролировать состав ПО и его изменения, выявлять уязвимости, скрытые угрозы и дефекты в исходном коде и репозиториях.

Компания рассчитывает заменить разрозненные проверки и ручную обработку результатов единым управляемым процессом. По заявлению гендиректора СберТеха Максима Тятюшева, это позволит масштабировать проверки без пропорционального увеличения команды.

Потребность компания связывает с внедрением сотен продуктов от разных поставщиков, использованием компонентов с открытым исходным кодом и ростом атак на цепочки поставок ПО. Основные заказчики — банки, промышленность, телеком, энергетика и госсектор.

Platform V Orchestrator for Security Services поставляется как самостоятельный продукт и может интегрироваться в существующую инфраструктуру информационной безопасности заказчика. Решение поддерживает локальное развертывание и работу в изолированных средах: частных облаках и выделенных контурах обработки данных.

Реклама, 18+. ООО « Сбертех». ИНН 7736632467
ERID: 
2VfnxxYDDbr

RSS: Новости на портале Anti-Malware.ru