Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Firefox для iPhone получил встроенный блокировщик рекламы

Mozilla добавила в Firefox для iOS собственный блокировщик рекламы. Теперь владельцам iPhone не придётся искать отдельные расширения, которые Apple всё равно не разрешает использовать так же свободно, как на десктопах и Android. Новая функция блокирует многие сторонние рекламные объявления и связанные с ними трекеры ещё до загрузки страницы.

Под нож должны попасть всплывающие окна, баннеры, перекрывающие контент элементы и другая реклама, особенно раздражающая на небольшом экране смартфона.

В основе решения лежат технология Apple WebKit Content Blocker и список фильтров EasyList. Блокировщик встроен непосредственно в браузер, поэтому ничего дополнительно устанавливать не требуется. Активировать его можно в меню «Настройки» → «Просмотр» → «Блокировщик рекламы».

По умолчанию функция выключена. Mozilla объясняет это желанием оставить выбор пользователю и напоминает, что реклама финансирует сайты, издателей и авторов.

Полностью стерильного интернета новый инструмент не обещает. Он не блокирует рекламу, которую сайт отдаёт напрямую, спонсорские позиции в поисковой выдаче, рекламные ярлыки и другой продвигаемый контент на новой вкладке самого Firefox. Своя реклама, как водится, проходит отдельный паспортный контроль.

Блокировщик будет работать вместе с Enhanced Tracking Protection. Эти механизмы решают разные задачи: существующая защита ограничивает межсайтовое отслеживание, а новый фильтр убирает более широкий набор рекламных ресурсов по правилам EasyList.

Mozilla представила функцию 1 сентября. Если после её включения сайт сломается или реклама всё-таки прорвётся, пользователям предлагают сообщить об этом разработчикам.

RSS: Новости на портале Anti-Malware.ru