Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

BO Team сместила фокус на промышленность и нефтегазовый сектор России

«Лаборатория Касперского» опубликовала новый отчёт об активности киберпреступной группы BO Team. По данным исследователей, в 2026 году группировка заметно изменила тактику: вместо громких деструктивных атак она всё чаще переходит к более скрытым операциям, включая кибершпионаж.

Если раньше BO Team чаще связывали с атаками на медицинские организации, то теперь интерес злоумышленников сместился к производству, нефтегазовому сектору и телеком-индустрии.

По данным Kaspersky Threat Intelligence, только за первый квартал 2026 года было зафиксировано около 20 атак, в том числе на эти отрасли.

Основной способ проникновения остаётся прежним — целевой фишинг. Для закрепления в инфраструктуре BO Team использует уже известные бэкдоры BrockenDoor и ZeronetKit, а также новый инструмент ZeroSSH.

Исследователи отмечают, что арсенал группировки стал заметно более зрелым: инструменты дорабатываются и всё чаще адаптируются под конкретные цели.

Одной из важных находок стал доступ к исходному коду ZeronetKit — одного из ключевых бэкдоров BO Team. Это позволило специалистам детальнее изучить архитектуру инструмента, его логику работы, механизмы управления заражёнными системами и поведение во время атаки.

Пейлоады доставляются с помощью специально подготовленных PDF-файлов. Пример одного из таких файлов можно встретить в отчёте специалистов:

 

Кроме того, исследователи нашли признаки возможной кооперации BO Team с другой группировкой — Head Mare. Характер взаимодействия пока не до конца ясен, но пересечения в инструментах и инфраструктуре указывают как минимум на координацию операций против российских организаций.

Один из возможных сценариев выглядит так: Head Mare обеспечивает первичный доступ, например через фишинговые рассылки, после чего BO Team использует этот доступ для установки бэкдоров и дальнейшего развития атаки.

В «Лаборатории Касперского» отмечают, что отслеживают BO Team уже более полутора лет. За это время группировка успела серьёзно расширить набор собственных инструментов и, судя по новым данным, выйти на более высокий уровень организации.

RSS: Новости на портале Anti-Malware.ru