Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

Подпишитесь на новости

33 критерия: ЦБ усилит контроль за электронными кошельками

Электронным кошелькам придется понятнее объяснять, куда уходят деньги клиентов. Центробанк вводит новую методику оценки операторов. Под прицел попадут комиссии, ограничения, возврат средств и работа поддержки. Спрятать условия в договоре и отправить пользователя читать внимательнее станет сложнее.

Как пишут «Известия», приказ о введении методики ЦБ выпустил 29 сентября. Операторов будут оценивать по 33 критериям, включая раскрытие тарифов и рисков, уведомления об изменении условий и доступность клиентской поддержки.

Проверки затронут и внутреннюю кухню обслуживания. Сотрудники должны располагать актуальной информацией и проходить обучение, а обращения — фиксироваться так, чтобы повторяющиеся проблемы не терялись в потоке жалоб.

Рекомендации по информированию клиентов существовали и раньше. Теперь их соблюдение будут проверять системно. При выявлении нарушений регулятор сможет потребовать устранить недостатки. По пояснениям экспертов издания, за неисполнение предписаний или нарушение обязательных требований возможны санкции, вплоть до ограничения операций и отзыва лицензии.

Масштаб рынка уже серьезный: в 2025 году объем операций с электронными кошельками вырос в 1,6 раза, до 13,3 трлн рублей. При этом электронные деньги не защищены системой страхования вкладов.

Но прозрачные тарифы сами по себе мошенников не остановят. Эксперты подчеркивают: методика прежде всего касается информирования и обслуживания. Для борьбы с хищениями нужны антифрод-системы и быстрый обмен данными между финансовыми организациями.

RSS: Новости на портале Anti-Malware.ru