Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Ghostwriter снова атакует Украину: PDF-приманки ведут к Cobalt Strike

Киберпреступная группа Ghostwriter устроила новую серию атак на украинские госорганизации. По данным ESET, кампания идёт как минимум с марта 2026 года и нацелена прежде всего на структуры, связанные с государственным сектором, обороной и военной тематикой.

Ghostwriter — не новичок в этом жанре. Группировка активна как минимум с 2016 года и известна кибершпионажем, фишингом и информационными операциями против стран Восточной Европы, особенно Украины.

У неё целый набор псевдонимов: FrostyNeighbor, PUSHCHA, Storm-0257, TA445, UAC-0057, Umbral Bison, UNC1151 и White Lynx. Похоже на рэпера с кризисом идентичности.

В новой кампании злоумышленники рассылают целевые фишинговые письма с PDF-документами. Приманки маскируются под материалы украинской телекоммуникационной компании «Укртелеком». Внутри PDF находится ссылка, которая ведёт к RAR-архиву с JavaScript-пейлоадом.

Дальше начинается привычная матрёшка атакующих: скрипт показывает жертве отвлекающий документ, чтобы всё выглядело правдоподобно, а в фоне запускает JavaScript-версию PicassoLoader. Этот загрузчик затем может привести к установке Cobalt Strike Beacon — инструмента, который легитимно используется для пентестов, но давно стал любимой игрушкой атакующих.

При этом Ghostwriter не раздаёт вредоносную нагрузку всем подряд. В цепочке есть геофильтр: если IP-адрес жертвы не относится к Украине, сервер отдаёт безвредный PDF. Кроме того, PicassoLoader собирает отпечаток заражённой системы и отправляет его на инфраструктуру атакующих каждые 10 минут. После этого операторы вручную решают, стоит ли продолжать атаку и отправлять следующий этап.

Раньше Ghostwriter уже использовала PicassoLoader для доставки Cobalt Strike и njRAT, а также эксплуатировала уязвимость WinRAR CVE-2023-38831. В 2025 году группировка атаковала польские организации через уязвимость Roundcube CVE-2024-42009, похищая учётные данные почты. Полученные аккаунты могли использоваться для изучения переписки, выгрузки контактов и дальнейшей рассылки фишинга.

К концу 2025 года Ghostwriter добавила ещё один трюк — документы-приманки с динамической CAPTCHA. Идея проста: усложнить анализ и не палиться перед автоматическими системами проверки.

По оценке ESET, группировка продолжает обновлять инструменты, приманки и методы доставки. В Польше и Литве её цели шире: промышленность, производство, медицина, фармацевтика, логистика и госструктуры. В Украине же фокус заметно смещён на государственные, оборонные и военные организации.

RSS: Новости на портале Anti-Malware.ru