Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Суд вынес приговор участникам аферы с Пушкинскими картами

Каширский городской суд вынес приговор по делу о мошенничестве с Пушкинскими картами. Один из участников схемы получил 3 года лишения свободы, ещё троим фигурантам назначили условные сроки. По материалам дела, обвиняемые использовали в афере персональные и платёжные данные случайных людей, оказавшиеся в их распоряжении.

О приговоре сообщило РИА Новости. Фигурантами дела стали Садыгов, Тетюшин, Самарин и Стецкевич. Как следует из мотивировочной части приговора, схема действовала с марта по июнь 2023 года.

По версии следствия, участники группы организовывали культурные мероприятия, билеты на которые можно было оплачивать Пушкинскими картами. Чтобы искусственно повысить посещаемость, они дистанционно оформляли билеты с использованием незаконно полученных чужих персональных и платёжных данных.

Затем эти сведения передавались в «Почта Банк», который перечислял деньги билетному агрегатору. После этого средства поступали на расчётный счёт одного из фигурантов.

«По мере поступления указанных недостоверных сведений сотрудники Министерства культуры Российской Федерации, находясь под влиянием обмана со стороны участников преступной группы, согласовали возмещение затрат АО “Почта Банк” в общей сумме 3,3 млн рублей, расчёт по которому в пользу банка произведён за счёт средств бюджета Российской Федерации, чем бюджету Российской Федерации в лице Министерства культуры Российской Федерации причинён материальный ущерб в крупном размере», — говорится в приговоре.

Суд назначил Садыгову Р. Ш. наказание в виде 3 лет лишения свободы с отбыванием в исправительной колонии общего режима. Самарин Н. С. и Стецкевич С. О. получили по 3 года лишения свободы условно. Тетюшину А. Д. назначили 2 года 6 месяцев лишения свободы условно. Все они признаны виновными по статье 159 УК РФ (мошенничество).

Схема, по которой действовала эта группа, известна как минимум с осени 2022 года. По аналогичному сценарию работали и другие группы, деятельность которых ранее пресекли правоохранительные органы.

RSS: Новости на портале Anti-Malware.ru