Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Мошенники из Азии обманывают россиян на обмене валют

Злоумышленники из стран Юго-Восточной Азии и Ближнего Востока освоили новую схему мошенничества с дистанционным обменом валюты через телеграм-боты. Подобные схемы встречались и раньше, однако отличительной особенностью текущей версии стало получение наличных по QR-коду в банкомате — услуга, широко распространённая в Таиланде и ряде других стран региона.

О новой волне скама сообщили специалисты компании F6. Аналитики зафиксировали такую активность в Китае, ОАЭ и Таиланде.

«Скамеры предлагают провести обмен на месте и получить наличные в стране пребывания через банкомат. Рекламу сервисов, обещающих выгодную конвертацию рублей в юани, баты, дирхамы и другие валюты, злоумышленники распространяют через Telegram. Для этого используется сеть из более чем 100 телеграм-ботов, а также фейковые каналы и сайты. Средняя сумма, которую мошенники принимают под предлогом обмена валюты, составляет от 20 тыс. рублей», — говорится в отчёте F6.

Помимо ботов, мошенники задействуют поддельные сервисы обмена валют. Часть из них оформлена в виде полноценных сайтов. Для создания видимости легальности на таких ресурсах указываются адреса физических офисов и номера лицензий, однако при проверке на сайтах регуляторов эти данные не подтверждаются. Специалисты F6 выявили как минимум два фейковых обменника, вокруг одного из которых была выстроена целая сеть телеграм-ботов.

«Многие туристы предпочитают менять валюту уже на месте, чтобы не возить с собой наличные. Это действительно удобно, и существуют легальные сервисы, которые оказывают такие услуги. Однако при использовании мессенджеров для любых финансовых операций риск столкнуться с мошенниками крайне высок», — предупреждает аналитик департамента Digital Risk Protection Дарья Карлова.

Ранее F6 выявила масштабную скам-сеть, ориентированную на аудиторию онлайн-игр. В рамках той кампании злоумышленники применяли 12 различных схем, нацеленных на хищение денег, включая кражу внутриигровой валюты и имущества, «угон» аккаунтов и вовлечение жертв в криминальные схемы.

RSS: Новости на портале Anti-Malware.ru