Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Фальшивый «Roblox без VPN» ворует аккаунты, предупреждают россиян

Пока российские игроки пытаются понять, как вернуться в Roblox после блокировки, мошенники уже нашли способ нажиться на их азарте. Как рассказала старший аналитик департамента Digital Risk Protection компании F6 Мария Синицына, киберпреступники создали фишинговый сайт, который обещает «волшебный» доступ к Roblox без VPN — нужно лишь ввести логин и пароль.

Дальше, как вы понимаете, начинается классика жанра: сайт оказывается подделкой, данные улетают злоумышленникам, а аккаунт — в их руки.

По словам Синицыной, которые передаёт РИА Новости, фейковый ресурс предлагает подключение к неким прокси-серверам, которые якобы позволяют играть без ограничений. Для этого пользователю предлагают аутентифицироваться в своём аккаунте Roblox — и на этом моменте игрок уже проиграл, причём не в игре.

Для мошенников особенно ценны аккаунты с игровой валютой, редкими персонажами, предметами и аксессуарами. Но настоящий джекпот — это профили, на которых созданы популярные игры внутри Roblox. Такие учётки продают за приличные суммы.

Параллельно в соцсетях и мессенджерах начали появляться страницы, предлагающие «специальные VPN для Roblox». По словам эксперта, часть таких предложений — просто способ привлечь трафик, но среди них встречаются и прямые мошенники: оплату возьмут, сервиса не дадут, а то и «подарят» вашему устройству вредонос.

Синицына советует относиться к таким ресурсам максимально осторожно:

  • не переходить по подозрительным ссылкам,
  • не верить сайтам, которые обещают «обход блокировок в один клик»,
  • помнить, что мошенники активно используют информационный шум вокруг блокировки Roblox.

Буквально вчера мы писали, что мошенники освоили тему разблокировки Roblox для краж с карт родителей. Поскольку схема основана исключительно на социальной инженерии и не требует технических навыков, её активно используют обычные аферисты.

Напомним, что в декабре Роскомнадзор подтвердил блокировку Roblox в России, заявив о распространении на платформе материалов экстремистского характера.

Пока неизвестно, вернётся ли Roblox в Россию, но одно ясно точно: мошенники будут использовать ситуацию до последнего. Поэтому лучше не поддаваться «легким решениям» — они обычно заканчиваются потерей аккаунта и нервов.

RSS: Новости на портале Anti-Malware.ru