Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

Подпишитесь на новости

В VK Business Analytics добавили ИИ для поиска сбоев в бизнес-процессах

Заказ опоздал, отделы кивают друг на друга, а крайний снова аналитик. VK Tech обновил VK Business Analytics: новые инструменты помогают находить причины проблем на стыке процессов, автоматически размечать рабочие операции и готовить задания для автоматизации.

О возможностях компания рассказала в своём блоге. Обновление затронуло Process Mining, Task Mining и ИИ-ассистента, который отвечает на вопросы с учётом того, как компания работает на самом деле.

В Process Mining появился мультипроцессный граф — общая схема связанных процессов на основе данных корпоративных систем. Например, он помогает выяснить, почему сорвался срок заказа: проблема могла возникнуть при согласовании документов, хотя заметили её уже на этапе исполнения.

В Task Mining ИИ взял на себя разметку операций. Алгоритм находит повторяющиеся цепочки действий на рабочих компьютерах, а языковая модель присваивает им понятные названия с учётом специфики бизнеса. Анализ ведётся без привязки к конкретным сотрудникам. На выходе — список направлений для оптимизации и технические задания для автоматизации.

ИИ-ассистент использует контекстную модель, собранную из данных обоих модулей. Она учитывает даже обходные шаги, которых нет в регламентах. Аналитик задаёт вопрос обычным языком, а получает текст, график, карту процесса или дашборд.

По замыслу разработчиков, ручного разбора станет меньше.

RSS: Новости на портале Anti-Malware.ru