Банда ИИ-ботов взломала половину тестовых сайтов через эксплойт 0-day

Банда ИИ-ботов взломала половину тестовых сайтов через эксплойт 0-day

Банда ИИ-ботов взломала половину тестовых сайтов через эксплойт 0-day

Исследователям из Иллинойского университета (UIUC) удалось повысить эффективность автономных ИИ-взломщиков, использующих уязвимости нулевого дня, сгруппировав их и распределив роли. Созданный с этой целью многоагентный фреймворк получил имя HPTSA.

Ранее та же команда исследователей доказала, что боты на основе больших языковых моделей (БЯМ, LLM) могут автономно находить уязвимости и эксплуатировать их с успехом до 87%. Кроме того, недавно мы рассказывали об уязвимостях и рисках, связанных с большими языковыми моделями.

Однако, действуя в одиночку, такие взломщики тратят много времени на поиск лазеек и планирование атак; объединив их усилия по методу HPTSA (PDF), можно улучшить производительность в 4,5 раза.

Новый эксперимент был поставлен с использованием таких же ботов — на основе GPT-4. Во главе выстроенной иерархии стоял агент-планировщик, который проверял страницы сайта (реального, но с возможностью эксплойта в сэндбокс-окружении, чтобы пользователи не пострадали) и передавал результат агенту-менеджеру. Этот тимлидер направлял «заказ» нужному исполнителю, и тот уже применял эксплойт.

 

Все ИИ-агенты имели доступ к стимулу-подсказке, инструментам (Microsoft.Playwright для доступа к сайтам, терминал Windows, средства управления файлами) и документам (описания незакрытых уязвимостей, собранные из открытых источников; на самостоятельный поиск был введен запрет).

Для тестирования исследователи создали новый набор из 15 уязвимостей разной степени опасности в opensource-софте. В итоге HPTSA показал результативность до 53%, превзойдя результаты одиночного GPT-4 с доступом к информации о дырах в 1,4 раза, без доступа — в 4,5 раза. Сканеры уязвимостей ZAP и MetaSploit все тесты провалили.

«Уже сейчас ИИ используется как черными, так и белыми хакерами, — комментирует Вадим Матвиенко, руководитель лаборатории исследований кибербезопасности аналитического центра «Газинформсервиса». — Поэтому важно быть готовыми быстро реагировать на новые угрозы. В этой задаче помогают системы выявления аномалий на основе машинного обучения».

Android-приложения с ИИ массово «светят» ключи и данные пользователей

Исследователи выяснили: разработчики Android-приложений с ИИ по-прежнему массово хранят «секреты» прямо в коде, и этим активно пользуются злоумышленники. В рамках крупного анализа специалисты изучили 1,8 млн приложений из Google Play и обнаружили, что большинство ИИ-приложений в среднем «светят» конфиденциальными данными.

Картина получилась тревожной. 72% Android-приложений с ИИ содержат хотя бы один жёстко прописанный секрет — от идентификаторов облачных проектов до API-ключей.

Причём более 68% таких секретов связаны с Google Cloud: это ID проектов, адреса сервисов и ключи доступа. Всё это расширяет поверхность атаки и упрощает жизнь тем, кто ищет, к чему бы «подцепиться».

Проблема не теоретическая. По данным Cybernews, сотни ИИ-приложений уже были скомпрометированы автоматизированными атаками. Исследователи нашли 285 баз Firebase без какой-либо аутентификации, которые были открыты всем желающим.

В сумме через них утекло около 1,1 ГБ пользовательских данных. В ряде случаев в базах уже явно «похозяйничали» — например, там встречались тестовые таблицы с названиями вроде «poc» (от «proof of concept») и фейковые администраторские аккаунты.

Ещё масштабнее ситуация с облачными хранилищами. Из-за неправильных настроек Google Cloud Storage оказались открыты более 200 млн файлов общим объёмом почти 730 ТБ. В среднем на одно уязвимое хранилище приходилось 1,5 млн файлов и несколько терабайт данных.

 

При этом утекали не только «безобидные» идентификаторы. Среди найденных ключей были доступы к сервисам аналитики, коммуникационным платформам и даже платёжной инфраструктуре. В отдельных случаях речь шла о боевых ключах Stripe, которые теоретически позволяют управлять платежами — списывать деньги, оформлять возвраты или перенаправлять средства.

Интересно, что с API крупных LLM-провайдеров ситуация выглядит спокойнее. Ключи OpenAI, Gemini или Claude встречались редко и в основном относились к низкому уровню риска. Даже если такой ключ утечёт, он, как правило, не даёт доступа к истории запросов или диалогам пользователей.

Отдельный вывод исследования — проблема не только в утечках, но и в плохой «гигиене» разработки. Тысячи приложений содержат ссылки на облачные ресурсы, которые уже давно удалены или не используются.

RSS: Новости на портале Anti-Malware.ru