Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Ozon отстранил курьеров за использование данных клиентов

Маркетплейс Ozon сообщил об отстранении от работы курьеров, которые неправомерно использовали личные данные клиенток. Ранее депутат Госдумы Ксения Горячева обратилась к генеральному директору «Озон холдинг» Дмитрию Киму с запросом о мерах, предпринимаемых для защиты персональных данных пользователей.

Как передаёт ТАСС, документ с запросом оказался в распоряжении агентства. Поводом для обращения стали жалобы клиенток маркетплейса на недопустимое поведение курьеров.

В одном случае сотрудник использовал контактный номер покупательницы для личной переписки, в ходе которой допускал грубые и нецензурные выражения. В другом случае клиентка стала жертвой сталкинга — курьер звонил ей с разных номеров и проявлял агрессию в различных формах.

«О двух случаях, указанных в обращении, нам известно — эти курьеры были немедленно отстранены и внесены в чёрный список. Они больше не смогут доставлять заказы для сервисов Ozon, поскольку подобное поведение недопустимо», — сообщили в пресс-службе компании.

В Ozon также отметили, что с 2024 года в компании внедряется система защиты контактных данных клиентов. Теперь курьеры совершают звонки через виртуальные номера и не видят реальные контакты покупателей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru