Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Новый Android-троян Perseus начал искать пароли и сид-фразы в заметках

Исследователи обнаружили новый Android-троян под названием Perseus, у которого есть довольно неприятная особенность: он не ограничивается банковскими приложениями или браузерами, а целенаправленно проверяет заметки на телефоне в поисках конфиденциальной информации: паролей, сид-фраз, финансовых данных и других личных записей.

Об этом ThreatFabric рассказала в новом отчёте. Распространяют Perseus не через Google Play, а через неофициальные магазины и APK-файлы, маскируя его под IPTV-приложения.

В частности, среди приманок упоминается Roja Directa TV — хорошо узнаваемый бренд в мире пиратских спортивных трансляций. Логика у злоумышленников простая: человек, который и так привык ставить APK со стороны и игнорировать предупреждения Android, с большей вероятностью не насторожится.

 

С помощью специальных возможностей ОС Android (Accessibility Services) Perseus может удалённо управлять смартфоном, делать скриншоты, запускать оверлеи поверх приложений, имитировать нажатия и свайпы, включать чёрный экран для сокрытия активности, а также вести запись нажатий клавиш. Иными словами, если такой зловред закрепился на устройстве, оператор получает почти полный контроль над тем, что происходит на дисплее.

Самая необычная функция Perseus — как раз охота за содержимым заметок. Исследователи пишут, что это первый случай, когда Android-троян так системно проверяет подобные приложения. В списке интересующих его программ Google Keep, Xiaomi Notes, Samsung Notes, ColorNote, Evernote, Microsoft OneNote и Simple Notes. Англоязычная версия зловреда по очереди открывает эти приложения и просматривает отдельные заметки в поисках полезной для атакующих информации.

 

В ThreatFabric отдельно подчёркивают, что такая функциональность говорит о более широком интересе злоумышленников к «контекстным» пользовательским данным. Если многие Android-трояны охотятся в основном за логинами или СМС, то Perseus явно рассчитывает найти у жертвы нечто более ценное: записанные вручную пароли, фразы восстановления криптокошельков, реквизиты и другие данные, которые люди часто по привычке держат именно в заметках.

Технически Perseus тоже выглядит не как кустарная поделка. По словам ThreatFabric, троян связан с известной экосистемой Android-банкеров: он, вероятно, развивается на базе Phoenix, который, в свою очередь, вырос из утёкшего много лет назад исходного кода Cerberus. Более того, у Perseus есть две версии — турецкая и более «причёсанная» английская, причём в последней исследователи заметили настолько подробное логирование и характерные стилистические следы в коде, что это может указывать на использование ИИ-инструментов при разработке.

RSS: Новости на портале Anti-Malware.ru