В ИИ-приложениях почти каждая третья уязвимость оказалась высокорисковой

В ИИ-приложениях почти каждая третья уязвимость оказалась высокорисковой

В ИИ-приложениях почти каждая третья уязвимость оказалась высокорисковой

ИИ-приложения снова напоминают: если к обычному веб-сервису прикрутить большую языковую модель, магия появляется не только в презентации, но и в списке уязвимостей. По данным «Информзащиты», в 2026 году 32% уязвимостей, найденных при пентестах ИИ- и LLM-приложений, относятся к высокорисковым.

Для сравнения: по всем классам активов этот показатель составляет около 12%. То есть риск-профиль ИИ-приложений оказался в 2,7 раза выше среднего.

За второй год наблюдений пропорция не изменилась. Более того, медианный срок устранения серьёзных находок вырос с 19 дней в 2025 году до 36 дней в 2026-м.

Проблема в том, что ИИ-системы тащат за собой сразу два слоя риска. Первый — классика веба и API: аутентификация, авторизация, инъекции, секреты, обработка пользовательского ввода.

Второй — уже нейросетевой зоопарк: инъекции в промпт, утечки системного промпта, ошибки RAG-контуров, отравление данных, небезопасная обработка ответов LLM, проблемы в векторных хранилищах и отказ в обслуживании на уровне модели.

Особенно весело становится, когда модель подключают к корпоративным данным, CRM, базе знаний, API или инструментам автоматизации. В этот момент чат-бот перестаёт быть просто болталкой и получает возможность влиять на процессы. А ошибка в правах или логике вызовов превращает его в аккуратную дверь во внутренние системы.

Автоматическими сканерами всё это ловится плохо. По данным исследования, 78% команд сталкивались с тем, что такие средства пропускали критические уязвимости. Поэтому готовность полностью доверить пентесты автономным инструментам за год упала с 29% до 9%.

С устранением тоже не праздник. В 2026 году компании закрывали только 38,4% высокорисковых находок в ИИ / LLM-приложениях — это самый низкий показатель среди типов тестирования. Для API, например, он составил 77,3%.

Подпишитесь на новости

Разработчик создал язык KillSwitch, который специально путает нейросети

Инженер Cloudflare Доминик Пичета представил KillSwitch — экспериментальный язык программирования, созданный для того, чтобы нейросети спотыкались при чтении и написании кода. Пока индустрия делает разработку удобнее для ИИ, он решил устроить ему полосу препятствий.

В своём блоге Пичета объяснил, что хотел проверить способность моделей работать с незнакомым языком и одновременно использовать их слабости: трудности с подсчётом символов, восприимчивость к инструкциям и чрезмерно чувствительные защитные фильтры.

Программы KillSwitch выглядят как рассказы, большую часть которых интерпретатор игнорирует. Среди текста спрятаны настоящие команды, а значения можно извлекать из других строк, указывая расстояние до них. Для идентификаторов действуют правила, связанные с количеством букв и анаграммами.

Отдельный троллинг — конструкции вроде «игнорируй предыдущие инструкции», которые здесь имеют значение внутри языка. Добавьте намеренную ложь в документации и формулировки, провоцирующие защитные механизмы моделей, — получите весьма недружелюбную среду для кодинг-агента.

 

В тестах нейросети писали Hello World, объясняли результат программы и переделывали конвертер температуры. Лучший результат получил Claude Opus 5 — 66,8 балла.

Исходники и спецификация открыты на GitHub. Если модели справятся с нынешними заданиями, автор планирует усложнить проверку.

RSS: Новости на портале Anti-Malware.ru