Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

МВД сообщило о пяти мошеннических схемах на тему доставки еды

МВД России выявило пять мошеннических схем, связанных с темой доставки еды. Из них полностью офлайновой является только одна — связанная с подменой заказов или доставкой «пустышек». Три из пяти схем основаны на различных вариантах фишинга.

О схемах, эксплуатирующих тему доставки, сообщило ТАСС со ссылкой на материалы МВД. Первая и наиболее распространённая схема — создание поддельных сайтов и приложений, внешне полностью копирующих легитимные сервисы доставки.

Мошенники таким образом получают доступ к платёжным данным, которые пользователи вводят в формах оплаты на этих клонах.

Вторая схема связана с рассылкой поддельных ссылок для отслеживания заказов. Такие сообщения распространяются через СМС или мессенджеры и также ведут на страницы, где от пользователя требуют ввести данные банковской карты.

Третья фишинговая схема — фальшивые скидки и бонусы. Мошенники предлагают якобы выгодные акции, чтобы привлечь пользователей на вредоносные сайты и похитить их данные.

По данным исследования компании F6, в 2025 году розничная торговля, включая доставку продуктов и готовой еды, заняла первое место среди всех отраслей по объёму фишинговых атак. На неё пришлось около половины всех случаев фишинга и треть мошеннических схем (скама).

Существуют и схемы, не связанные с фишингом. В одном из вариантов злоумышленники сообщают клиенту о несуществующей ошибке при оплате заказа и предлагают вернуть деньги. Под этим предлогом они запрашивают данные банковской карты или коды из СМС.

Единственная полностью офлайновая схема — подмена заказов. В этом случае клиент получает не те блюда, что заказывал, или вовсе «пустую» доставку. Обычно такие действия совершают не реальные курьеры, а злоумышленники, выдающие себя за сотрудников служб доставки.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru