Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Директор загрузила документы в DeepSeek и лишилась золотого парашюта

Топ-менеджер московской инженерной компании попыталась получить пять миллионов рублей после увольнения за разглашение коммерческой тайны. Но суд решил, что загружать служебные документы в DeepSeek — не лучший способ заработать золотой парашют. Женщина проработала директором по продажам менее полугода и получала свыше 800 тысяч рублей в месяц.

После увольнения по инициативе работодателя она потребовала через суд изменить формулировку на «по соглашению сторон» и выплатить предусмотренную для такого случая компенсацию в размере пяти миллионов рублей.

Компания возразила: сотрудница неоднократно обращалась с конфиденциальными данными слишком вольно. Она пересылала служебные документы по корпоративной почте, добавляя личный адрес в скрытую копию.

Кроме того, несколько файлов из внутреннего защищённого ресурса оказались загружены в китайскую нейросеть DeepSeek. По мнению работодателя, это создало угрозу перехвата информации.

Суд тоже не нашёл производственной необходимости ни в отправке документов на неподконтрольную компании почту, ни в их размещении в стороннем ИИ-сервисе. Такие действия признали грубым нарушением трудовых обязанностей и разглашением коммерческой и служебной тайны.

Компания также заявила, что после раскрытия конфиденциальной информации во время переговоров один из поставщиков перестал выходить на связь. Дополнительно работодатель сослался на систематическое невыполнение плана продаж.

При этом компания предлагала мировое соглашение: изменить формулировку увольнения и выплатить более 400 тысяч рублей. Бывшая сотрудница отказалась, рассчитывая на полные пять миллионов, но суд отклонил её требования.

История особенно вовремя всплыла после сообщений о попадании переписок пользователей DeepSeek в поисковую выдачу Google. Впрочем, в этом деле доказанная утечка через нейросеть не упоминается, суду хватило самого факта передачи защищённых документов стороннему сервису.

RSS: Новости на портале Anti-Malware.ru