Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Мошенники придумали новый способ обхода антидропперских мер

Злоумышленники нашли новый способ обходить меры по противодействию выводу похищенных средств — через криптовалютные операции. Причём исполнители зачастую даже не подозревают, что участвуют в мошеннической схеме. В отличие от классических сценариев, новая модель не требует передачи банковских карт третьим лицам: владельцы карт выполняют операции с криптовалютой, не осознавая, что тем самым помогают обналичивать украденные деньги.

Вознаграждение за такие операции обычно составляет 1–2% от суммы. О схеме говорится в исследовании компании DLBI по мониторингу даркнета, с результатами которого ознакомились «Известия».

По оценке DLBI, новая схема обладает высокой устойчивостью к банковским антифрод-системам: владелец карты формально осведомлён обо всех транзакциях и доступен для проверок, что снижает подозрительность операций.

Как отмечает руководитель ИТ-подразделения агентства «Полилог», эксперт Регионального общественного центра интернет-технологий (РОЦИТ) Людмила Богатырева, злоумышленники активно перестраивают свои подходы на фоне усиленной борьбы с дропами и дропперством. В частности, такие схемы маскируются под легальные операции по покупке криптовалюты или, наоборот, по её выводу в фиат.

По словам менеджера образовательного проекта Servicepipe Ивана Горячева, масштабы применения этой схемы продолжают расти. Этому способствует её простота, ориентация на массовый «наём» и хорошая масштабируемость через мессенджеры и социальные сети.

Классические схемы с дропами стали для преступников слишком рискованными, дорогими и неудобными из-за криминализации такой деятельности. В результате срок «жизни» дропа, как отмечалось ранее, уже в мае не превышал нескольких дней — ещё на этапе внедрения новых мер. Побочным эффектом этого процесса в июле стал даже коллапс на наркорынке.

При этом и новая схема, по мнению эксперта платформы «Мошеловка», заместителя руководителя проекта «За права заёмщиков» Александры Пожарской, несёт серьёзные юридические риски для участников. Налицо корыстный мотив и действия в интересах третьих лиц, что может повлечь уголовную ответственность. Управляющий партнёр компании «Провъ» Александр Киселёв уточняет, что уже сформировавшаяся судебная практика учитывает осознание преступного характера операций, согласованность действий с организаторами схемы и получение выгоды.

При этом, как подчёркивает эксперт агентства «Цифровые коммуникации» Кирилл Карамзин, классические дропы полностью не исчезли: «Традиционная “аренда” карты на месяц за фиксированную плату никуда не делась. Через карту могут провести, например, 500 тысяч или 1 млн рублей, а затем вернуть её владельцу. Но даже при возврате карты такие действия остаются незаконными».

Глава комитета Госдумы по финансовому рынку Анатолий Аксаков напомнил, что привязка банковских счетов к ИНН направлена в том числе на то, чтобы отличать легальную подработку от мошеннических схем. По его словам, человеку, однажды совершившему сомнительную операцию, не позволят повторить её вновь.

Главный юрист продуктовой группы «Контур.Эгида» и Staffcop Ольга Попова даёт простой совет тем, кто не хочет стать дропом «втёмную»: «Нужно придерживаться одного принципа — всё, что принадлежит вам, должно оставаться только вашим, и никто не имеет права этим пользоваться».

RSS: Новости на портале Anti-Malware.ru