Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Резких шагов по отключению карт Visa и Mastercard не будет

Резких мер по отключению карт систем Visa и Mastercard не планируется. Банк России и кредитные организации совместно будут постепенно замещать карты ушедших из страны международных платёжных систем. Об этом сообщила глава департамента национальной платёжной системы Банка России Алла Бакина на форуме «Финополис-2025».

«Все карты работают. Когда международные платёжные системы ушли, мы сделали всё, чтобы они продолжали работать, и наши граждане этого не почувствовали. Мы нашли решение, чтобы карты не блокировались. Никаких резких шагов, которые могли бы вызвать неудобства у клиентов, не будет», — заявила представитель регулятора.

По словам Аллы Бакиной, Центробанк совместно с банками уделяет особое внимание вопросам безопасности, особенно на фоне опасений, связанных с истечением сроков действия сертификатов безопасности чипов, установленных на картах Visa и Mastercard.

«После июльских заявлений Банка России о возможном ограничении срока действия карт Visa и Mastercard прошло некоторое время, и сейчас важно прояснить ситуацию. Регулятор учитывает позицию рынка и стремится сделать процесс максимально удобным для держателей карт. Главное — никаких резких действий не планируется», — отметила доцент кафедры мировых финансовых рынков и финтеха РЭУ им. Г. В. Плеханова Татьяна Белянчикова.

По мнению эксперта, истечение срока действия сертификатов означает, что Visa и Mastercard снимают с себя ответственность за безопасность транзакций и данных. При этом безопасность полностью обеспечивается российскими банками и Национальной системой платёжных карт, которая отвечает за процессинг операций.

«Если регулятор всё же решит ограничить срок действия карт Visa и Mastercard, об этом предупредят заранее. Обмен карт пройдёт спокойно и в плановом режиме. Даже если старая карта будет отключена до получения новой, средства на счёте никуда не исчезнут: ими можно будет воспользоваться, сняв наличные или переведя деньги на другие счета через интернет-банк», — добавила Белянчикова.

Как напомнил начальник аналитического отдела инвесткомпании «Риком-Траст» Олег Абелев, выпуск новых карт Visa и Mastercard в России прекращён с 2022 года. Действующие карты продолжат работу до окончания срока действия, после чего будут заменены на карты «Мир».

«Что делать держателям карт Visa и Mastercard сейчас? Прежде всего — не паниковать. Карты работают и будут действовать до конца срока. Проверьте срок действия и оцените свои потребности. Если вы не путешествуете за границу и не совершаете покупки на зарубежных сайтах, карты "Мир" будет вполне достаточно», — отметил Абелев.

Генеральный директор платёжного сервиса Vepay Георгий Никонов добавил, что принудительная замена карт может негативно сказаться на лояльности клиентов. По его словам, банки заинтересованы в её сохранении и не планируют прибегать к подобным мерам.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru