Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Мошенники в России активно переходят на наличные

По данным банка ВТБ, около половины всех хищений средств сегодня совершается с использованием наличных. При этом деньги жертвы передают злоумышленникам добровольно — лично или через курьеров. Как правило, мошенники действуют с помощью манипуляций: представляясь сотрудниками регуляторов или правоохранительных органов, они вводят людей в состояние паники, заявляя об угрозе их сбережениям.

Под предлогом «спасения» денег, находящихся на счетах, аферисты убеждают жертв обналичить средства и передать их курьеру — якобы для «ответственного хранения» или перевода на «безопасный счёт».

Реже злоумышленники требуют спрятать наличные в тайнике или оставить их, например, в почтовом ящике. О подобных схемах банк предупреждал ещё в июле.

Как показало исследование Следственного департамента МВД, выдержки из которого привела официальный представитель ведомства Ирина Волк, мошенники нередко сопровождают требования по передаче денег откровенно абсурдными условиями. Например, просят завернуть купюры в фольгу — якобы для защиты от электромагнитного излучения. Также часто используются предметы одежды: джинсы, халаты, носки. Встречаются и более экзотические варианты — деньги предлагают положить в банку с домашними консервами или в упаковку с детскими подгузниками.

По мнению авторов исследования, такими требованиями злоумышленники решают сразу две задачи. Во-первых, они убеждают жертву, что та участвует в некой «спецоперации», где каждая деталь важна и требует строгого выполнения. Во-вторых, абсурдные инструкции помогают вывести человека из эмоционального равновесия. Кроме того, это своего рода тест на критическое мышление: если человек сомневается и указывает на нелепость требований, давление усиливается, а если готов беспрекословно выполнять указания — мошенники продолжают сценарий.

Как отметил заместитель руководителя департамента по обеспечению безопасности, вице-президент ВТБ Дмитрий Саранцев, ранее злоумышленники чаще требовали переводить деньги на подконтрольные им счета. Однако развитие систем банковского фрод-мониторинга привело к тому, что такие операции всё чаще выявляются и блокируются. В результате мошенники всё активнее переходят к схемам с наличными.

В банке рекомендуют немедленно прекращать разговор, если собеседник предлагает «для защиты» сбережений передать деньги «курьерам», «инкассаторам» или оставить их в тайнике. Для проверки любой информации следует обращаться только по официальным каналам банка.

Профильное управление МВД также предупреждает о резком росте схем с использованием наличных. В частности, злоумышленники всё чаще используют несуществующее в российском правовом поле понятие «дистанционного обыска», например под предлогом проверки подлинности купюр.

RSS: Новости на портале Anti-Malware.ru