Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Amazon вычислила северокорейского засланца по задержке клавиатуры

Amazon рассказала о необычном случае: корпорации удалось выявить северокорейского «лжесотрудника», который работал в компании под видом удалённого системного администратора из США. Подозрения у службы безопасности вызвала задержка нажатий клавиш. Как выяснили специалисты Amazon, обычный удалённый сотрудник из США передаёт данные о нажатиях клавиш с задержкой в десятки миллисекунд.

В этом же случае лаг превышал 110 миллисекунд — слишком много для локальной работы. Проверка показала, что ноутбук, выданный «сотруднику», фактически управлялся удалённо, а доступ к нему имели операторы из КНДР.

Об этом рассказал Bloomberg со ссылкой на директора по безопасности Amazon Стивена Шмидта. По его словам, компания активно отслеживает попытки проникновения северокорейских ИТ-специалистов в американские корпорации — и именно благодаря такому проактивному подходу инцидент удалось быстро выявить.

«Если бы мы не искали таких работников целенаправленно, мы бы их не нашли», — отметил Шмидт.

По данным Amazon, с апреля 2024 года компания предотвратила более 1 800 попыток трудоустройства выходцев из КНДР под чужими личностями. Более того, число таких попыток продолжает расти — примерно на 27% квартал к кварталу. Цель подобных схем — зарабатывать валюту для Северной Кореи, а иногда и заниматься шпионажем или саботажем.

В этом конкретном случае выяснилось, что ноутбук физически находился в Аризоне, а помогала схеме гражданка США. Ранее в этом году она была приговорена к нескольким годам тюрьмы за содействие северокорейским «лжесотрудникам».

Помимо технических аномалий, злоумышленников часто выдают и мелочи в общении — неестественное использование американских идиом, ошибки с артиклями и странные формулировки на английском.

В Amazon подчёркивают, что подобные случаи — лишь верхушка айсберга. Помимо КНДР, попытки скрытого проникновения в западные компании приписывают и другим государствам. И если организации не ищут такие угрозы сознательно, есть риск, что они просто останутся незамеченными.

RSS: Новости на портале Anti-Malware.ru