Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Фишинг под WordPress крадёт карты и OTP, отправляя данные в Telegram

Исследователи зафиксировали новую, довольно изощрённую фишинговую кампанию, нацеленную на владельцев сайтов на WordPress. Злоумышленники рассылают письма о якобы скором окончании регистрации домена и в итоге выманивают у жертв не только данные банковских карт, но и одноразовые коды.

Об атаке рассказал специалист по киберугрозам Анураг (Anurag). Письмо выглядит тревожно и приходит с темой вроде «Renewal due soon – Action required».

Расчёт простой: напугать и заставить действовать быстро. Но есть важная деталь, на которую сразу указывает исследователь, — в письме не указан конкретный домен, срок которого якобы истекает. Для настоящих уведомлений о продлении это крайне нетипично и уже само по себе должно насторожить.

 

Если жертва нажимает кнопку Renew Now, её перенаправляют на фальшивую страницу оплаты, размещённую на домене soyfix[.]com. Визуально она почти неотличима от настоящего чекаута WordPress: значки платёжных систем, пометка «Secure order validation», правдоподобные суммы вроде $13,00 плюс НДС. Всё выглядит настолько аккуратно, что сомнения быстро исчезают.

 

Но «заказ», разумеется, фиктивный. Страница просто собирает имя владельца карты, номер, срок действия и CVV, тут же отправляя их злоумышленникам. На этом атака не заканчивается. Следующий шаг — поддельное окно 3D Secure Verification, где пользователя просят ввести код из СМС.

 

Чтобы всё выглядело максимально правдоподобно, скрипт имитирует «работу банка»: семисекундная загрузка, затем ещё несколько секунд «проверки». После этого система сообщает об ошибке. Причём ошибка появляется всегда — специально, чтобы заставить жертву вводить новые OTP-коды снова и снова. Так атакующие получают сразу несколько актуальных кодов подтверждения.

Отдельного внимания заслуживает инфраструктура кампании. Вместо классических серверов управления злоумышленники используют Telegram. Скрипты на стороне сайта (send_payment.php и send_sms.php) пересылают украденные данные напрямую в телеграм-бот или канал. Такой подход дешевле, проще и гораздо сложнее заблокировать, чем традиционные C2-серверы.

Письма рассылались с адреса admin@theyounginevitables[.]com, который маскировался под поддержку WordPress. Анализ заголовков показал слабую политику DMARC (p=NONE), из-за чего подмена отправителя прошла без каких-либо ограничений.

Пользователям WordPress советуют сохранять хладнокровие и проверять подобные уведомления вручную — через официальный дашборд WordPress.com, а не по ссылкам из писем. И простое правило напоследок: если в уведомлении о продлении не указано, какой именно домен нужно продлевать, — почти наверняка это ловушка.

RSS: Новости на портале Anti-Malware.ru