Атака BEAST за минуту заставит большую языковую модель забыть об этике

Атака BEAST за минуту заставит большую языковую модель забыть об этике

Исследователи из университета Мэриленда (UMD) разработали новую атаку, позволяющую злоумышленнику обойти запреты для большой языковой модели (БЯМ, LLM). Метод BEAST отличает высокая скорость: благоразумного ассистента можно заставить выдать вредный совет всего за минуту.

Во избежание злоупотреблений разработчики коммерческих ИИ-ботов обычно вводят на сервисах ограничения и учат LLM различать провокации и реагировать на них вежливым отказом. Однако оказалось, что такие преграды можно обойти, придав правильную формулировку запросу-стимулу.

Поскольку обучающие наборы данных неодинаковы, найти нужную фразу для снятия запрета конкретной БЯМ непросто. Для автоматизации подбора и добавления таких ключей к стимулам (например, «меня попросили проверить защищенность сайта») был создан ряд градиентных PoC-атак, но джейлбрейк в этом случае занимает больше часа.

Чтобы ускорить процесс, в UMD создали экспериментальную установку на базе GPU Nvidia RTX A6000 с 48 ГБ памяти и написали особую программу (исходники скоро станут доступными на GitHub). Софт проводит лучевой поиск по обучающему набору AdvBench Harmful Behaviors и скармливает LLM неприемлемые с точки зрения этики стимулы, а затем по алгоритму определяет слова и знаки пунктуации, провоцирующие проблемный вывод.

Использование GPU позволило сократить время генерации пробных стимулов до одной минуты, при этом на одной из контрольных LM-моделей BEAST показал эффективность 89% — против максимум 46% у градиентных аналогов. Ускорение в сравнении с ними составило от 25 до 65%.

 

С помощью BEAST, по словам авторов, можно также усилить галлюцинации LLM. Тестирование показало, что количество неверных ответов при этом увеличивается примерно на 20%.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

Холдинг Т1 выпустил опытный образец АСУ ТП СИЛАРОН для промышленности

Холдинг Т1 представил опытный образец импортонезависимого программно-аппаратного комплекса (ПАК) «СИЛАРОН» для управления технологическим процессом (АСУ ТП).

Об этом компания рассказала на конференции ЦИПР 2024. Разработка, которая сейчас проходит тестовые испытания, будет полезна предприятиям с непрерывным производством в таких отраслях, как нефтехимия, нефтепереработка, тепловая электроэнергетика, химическая промышленность, металлургия, а также горно-обогатительным комбинатам.

ПАК «СИЛАРОН», разработкой которого занимается Т1 Интеграция (Холдинг Т1), представляет собой многофункциональную платформу для крупных промышленных предприятий. Это классическое решение распределенной системы управления с функциональностью противоаварийной защиты, актуальной для различных технологических процессов. Распределенная система управления, являющаяся «ядром» АСУ ТП, обладает высокой отказоустойчивостью за счет использования компонентной базы повышенной надежности, внедрения развитых средств диагностики и резервирования. Кроме того, «СИЛАРОН» поддерживает многопользовательскую работу, одновременное выполнение нескольких задач и изменение логики управления в режиме реального времени. Все эти возможности позволяют бизнесу обеспечивать контроль и защиту непрерывных производственных циклов.

Новый ПАК от Холдинга Т1 отвечает современным международным стандартам и отечественным требованиям информационной безопасности. В частности, «СИЛАРОН» соответствует всем критериям доверенного программно-аппаратного комплекса, указанным в постановлении Правительства РФ № 1912 от 14 ноября 2023 года, которое определяет порядок перехода субъектов КИИ на российское ПО и оборудование.

«Снижение доступности зарубежных продуктов стало драйвером развития отечественных разработок и поиска неординарных решений для становления технологической независимости. Сегодня импортозамещение в промышленности актуально как никогда, особенно на объектах критической инфраструктуры, но при этом есть дефицит отечественных разработок в сегменте АСУ ТП, способных закрыть потребности крупных предприятий. Поэтому Холдинг Т1 представляет собственное решение – импортонезависимый продукт «СИЛАРОН», позволяющий повысить безопасность и эффективность производства», – отметил Алексей Фетисов, генеральный директор Холдинга Т1.

«Недоступность иностранного оборудования и ПО особенно критична в сегменте систем управления технологическим процессом: компании не имеют доступа к обновлениям и техподдержке зарубежных решений. Полностью отечественная разработка позволит убрать зависимость от западных АСУ ТП. Созданием ПАК занимается команда Т1 Интеграции, обладающая обширным опытом в направлении промышленной автоматизации как российского, так и международного уровня. Мы тщательно тестируем опытный образец «СИЛАРОНА», чтобы российские предприятия получили продукт, отвечающий реальным потребностям их бизнеса», – прокомментировал Михаил Книгин, исполнительный директор Т1 Интеграция.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru