Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

Легко взламываемые модели ИИ показывают, что меры защиты не работают

В новом отчете британского Института безопасности ИИ говорится, что основные модели искусственного интеллекта легко взламываются, а меры их защиты не работают.

Четыре общедоступные большие языковые модели (Large Language Models, LLM) чрезвычайно уязвимы для «джейлбрейка» — эксплуатации багов, позволяющей заставить модели ИИ выполнять то, что разработчики им делать запретили.

LLM тщательно настраиваются для безопасного публичного пользования. Их обучают избегать вредных реакци1 и токсичных результатов, используя меры предосторожности.

Однако исследователи обнаружили возможность обойти защиту с помощью простых атак.

В качестве наглядного образца можно привести инструкцию для пользователя, согласно которой система должна начинать свой ответ со слов, которые предполагают выполнение вредоносного запроса, например: «Конечно, я рад помочь».

Специалисты использовали подсказки в соответствии с отраслевым стандартом контрольного тестирования. В ходе исследования специалисты обнаружили, что некоторым моделям ИИ даже не требовался джейлбрейк, чтобы выдать нестандартный ответ. 

А вот когда использовался джейлбрейк, каждая модель отвечала как минимум один раз из пяти попыток. Три модели в 100% случаев давали ответы на вводящие в заблуждение запросы.

Анализ протестированных моделей показал, что они остаются уязвимы для базовых джейлбрейков, а некоторые LLM выдают вредные результаты без каких-либо попыток обойти защиту. Какие именно модели были исследованы, специалисты не сообщили.

В институте также оценили возможности моделей ИИ выполнять определенные задачи для проведения основных методов кибератак. Несколько LLM смогли решить задачи, которые исследователи назвали «хакерскими на уровне средней школы», но немногие смогли выполнить более сложные действия «университетского уровня».

ИнфоТеКС представила квантовый генератор случайных чисел ViPNet QRNG

Компания «ИнфоТеКС» сообщила о расширении линейки квантовых криптографических систем ViPNet QCS. В неё вошёл новый продукт — ViPNet QRNG, квантовый генератор случайных чисел. Это устройство создаёт случайные последовательности не за счёт программных алгоритмов и не на базе обычных шумовых процессов, а с опорой на квантовые явления.

Именно это и считается его ключевой особенностью: такая генерация должна быть не псевдослучайной, а физически непредсказуемой.

Подобные последовательности нужны в самых разных задачах. В первую очередь — в криптографии, где случайные числа используются при создании секретных ключей для симметричных и асимметричных алгоритмов. Но область применения этим не ограничивается: такие решения могут использоваться и в исследовательских проектах, и в финансовой сфере, и в некоторых сценариях, связанных с ИИ.

Сам генератор выполнен в формфакторе M.2, то есть его можно встраивать в программно-аппаратные комплексы. По замыслу разработчика, устройство может применяться как альтернатива и программным генераторам случайных чисел, и более привычным аппаратным решениям, которые опираются на шумовые процессы.

В основе работы ViPNet QRNG лежит детектирование квазиоднофотонного излучения светодиода с последующей математической обработкой полученного сигнала. Источником такого излучения выступает полупроводниковый светодиод, работающий в непрерывном режиме. Это, как утверждает компания, позволяет повысить интенсивность поступления фотонов на детектор. При этом сам путь от источника излучения к фотодетектору сделан максимально коротким.

В компании отмечают, что при разработке устройства особое внимание уделялось не только самой генерации случайности, но и вопросам воспроизводимости характеристик и проверяемости качества получаемых последовательностей. Это важный момент: в криптографии мало просто заявить, что числа случайны, — нужно ещё подтвердить, что источник энтропии действительно даёт надёжный результат.

По словам представителей «ИнфоТеКС», новый генератор уже используется в некоторых продуктах ViPNet. Также предполагается, что его можно будет интегрировать и в решения других производителей СКЗИ.

RSS: Новости на портале Anti-Malware.ru