Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Исследователи из DEXAI нашли нестандартный, но весьма результативный способ обхода защит современных языковых моделей: оказалось, что многие ИИ куда менее устойчивы к опасным запросам, если скрыть их в стихотворении. Команда протестировала 25 популярных нейросетей и выяснила, что «поэтические» запросы обходят защиту примерно в 60% случаев.

У отдельных моделей уровень уязвимости подбирался почти к 100%. Для эксперимента специалисты подготовили около двадцати опасных стихов — тексты, в которых вредоносный смысл сохранялся полностью, но был завуалирован рифмой и метафорами.

 

Темы брались самые жёсткие: от создания опасных веществ до методов манипуляции сознанием. Чтобы добиться нужного эффекта, исследователи сначала формулировали вредоносные запросы, а затем превращали их в стихи при помощи другой ИИ-модели.

Контраст получился впечатляющим. На прямые запросы модели давали опасные ответы лишь в 8% случаев, тогда как стихотворная форма увеличивала вероятность прорыва защит до 43% и выше.

 

Разницу в подходах к безопасности между западными и российскими ИИ-комплексами пояснил директор по ИИ «Группы Астра» Станислав Ежов. По его словам, западные LLM часто можно обойти «простыми метафорами», тогда как отечественные системы строятся по более строгой архитектуре — с контролем безопасности на каждом этапе.

Он отметил, что в компании внедряют доверенный ИИ-комплекс «Тессеракт», разработанный с защитой ключевых компонентов на уровне ФСТЭК.

Ежов подчёркивает:

«Проблема уязвимости ИИ — это не просто интересный технический нюанс, а вопрос стратегической безопасности. Поэтому внимание к качеству защитных механизмов сегодня становится критически важным».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Фишеры маскируют домен Microsoft через подмену m на rn

Киберпреступники запустили новую интересную фишинговую кампанию, построенную на визуальной хитрости: они зарегистрировали домен «rnicrosoft[.]com», где буква «m» заменена сочетанием «r» и «n». На первый взгляд разницы почти нет — и именно на этом злоумышленники играют.

Как объясняют эксперты, в браузерах и почтовых клиентах соседние буквы «r» и «n» часто отображаются так, что сливаются и визуально напоминают «m».

Мозг в таких случаях автоматически «исправляет» увиденное, поэтому большинство пользователей даже не замечают подмены — особенно на смартфонах, где адресная строка короче и домен может вовсе не помещаться целиком.

Глава компании Anagram Харли Сугарман рассказал, что злоумышленники не ограничиваются адресом отправителя: они тщательно копируют фирменный стиль Microsoft, включая логотип и тон общения. Это делает поддельные письма ещё более убедительными и повышает шанс, что пользователь перейдёт по ссылке или скачает вложение.

 

Опасность такого фишинга в его незаметности. На большом мониторе внимательный человек ещё может заметить странное написание, но на мобильных устройствах шанс обнаружить подмену минимален. Заполучив доверие жертвы, атакующие используют подменный домен для кражи логинов, подделки счетов от имени поставщиков или рассылки писем якобы от отдела кадров.

Поддельное «rn» — лишь одна из уловок. Популярны и другие варианты, например замена «o» на «0» («micros0ft.com»), добавление дефисов («microsoft-support.com») или использование альтернативных доменных зон («microsoft.co»).

Эксперты напоминают: защититься можно, если изменить привычки. Всегда стоит раскрывать полный адрес отправителя, проверять URL при наведении курсора, а на телефоне — зажимать ссылку для просмотра домена. Важные письма — например, о сбросе пароля — лучше игнорировать и открывать сервис вручную, введя адрес сайта самостоятельно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru