Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

В iOS 26 нашли скрытую защиту от потерянных паролей

В iOS 26 в приложении «Пароли» появилась небольшая, но очень полезная функция, которая может спасти от знакомого многим сценария с бесконечным «Забыли пароль?». Apple добавила временное хранилище для сгенерированных паролей, которые по каким-то причинам не успели корректно сохраниться.

Ситуация довольно типичная: система предлагает надёжный пароль, вы его принимаете — а затем сайт зависает, страница перезагружается или что-то идёт не так.

В итоге пароль теряется, а пользователю остаётся только запускать процедуру восстановления доступа и надеяться, что со второй попытки всё сохранится как надо.

В iOS 26, по данным 9to5mac, Apple решила эту проблему, хотя и сделала это не совсем очевидно. Если недавно был сгенерирован новый пароль, но он не попал в основную базу, в приложении «Пароли» появляется дополнительный пункт меню — «Сгенерированные пароли». Найти его можно за иконкой с тремя точками в правом верхнем углу.

 

Фишка в том, что этот пункт отображается не всегда. Он появляется только в том случае, если система действительно хранит «временные» пароли. Если таких записей нет, меню просто исчезает, из-за чего большинство пользователей могут даже не догадываться о существовании функции.

 

Внутри раздела показывается, для какого сайта был создан пароль, сколько времени прошло с момента генерации, а также предлагается сохранить его или удалить. По описанию Apple, такие пароли хранятся до 30 дней. Если пользователь решает сохранить пароль, система предлагает добавить имя пользователя и другие данные, чтобы оформить полноценную учётную запись для автозаполнения на всех устройствах.

Функция выглядит как мелкая деталь, но на практике может сэкономить немало времени и нервов. Единственный минус — её сложно заметить без подсказки. Небольшой индикатор или значок в интерфейсе явно не помешал бы.

RSS: Новости на портале Anti-Malware.ru