Растущая мощность ИИ-моделей OpenAI ставит под угрозу кибербезопасность

Растущая мощность ИИ-моделей OpenAI ставит под угрозу кибербезопасность

Растущая мощность ИИ-моделей OpenAI ставит под угрозу кибербезопасность

Компания OpenAI предупреждает, что ее ИИ-модели стремительно расширяют возможности, которые пригодны для нужд киберобороны, но в тоже время повышают риски в случае злоупотребления, и это нельзя не учитывать.

Так, проведенные в прошлом месяце CTF-испытания GPT-5.1-Codex-Max показали результативность 76% — почти в три раза выше, чем GPT-5 на тех же задачах в августе (27%).

Разработчик ожидает, что последующие ИИ-модели продолжат этот тренд, и их можно будет использовать для аудита кодов, патчинга уязвимостей, создания PoC-эксплойтов нулевого дня, а также тестирования готовности организаций к сложным, скрытным целевым атакам.

Во избежание абьюзов OpenAI принимает защитные меры: учит свои творения отвечать отказом на явно вредоносные запросы, мониторит их использование, укрепляет инфраструктуру, применяет EDR и Threat Intelligence, старается снизить риск инсайда, внимательно изучает обратную связь и наладила партнерские связи со специалистами по Red Teaming.

В скором времени компания с той же целью запустит программу доверенного доступа (trusted access), в рамках которой киберзащитники смогут с разной степенью ограничений пользоваться новыми возможностями выпускаемых моделей. В настоящее время их приглашают присоединиться к бета-тестированию ИИ-инструмента выявления / коррекции уязвимостей Aardvark, подав заявку на сайте OpenAI.

Для расширения сотрудничества с опытными специалистами по киберзащите будет создан консультационный Совет по рискам — Frontier Risk Council. Компания также взаимодействует с другими ИИ-исследователями через НКО Frontier Model Forum, работая над созданием моделей угроз и выявлением узких мест, способных создать препятствие ИИ-атакам.

Без контекста детектор пропустил 95% Android-вредоносов

Чем больше разрешений просит Android-приложение, тем подозрительнее оно выглядит для алгоритма. Правда, резервному копированию, антивирусу или системе родительского контроля доступ к половине смартфона нужен по работе. Но детекторы решили не разбираться и устроили охоту на невиновных.

Исследователи из Сингапурского университета менеджмента и Нанькайского университета проверили шесть популярных детекторов, включая Drebin, MalScan и MaskDroid.

Им скормили 270 безопасных приложений из 49 категорий Google Play, каждое из которых запрашивало не менее девяти опасных разрешений.

Большинство систем записали во вредоносы больше половины выборки. LLM-детектор LAMD разогнал ложные срабатывания до 80%. Если поставить такой фильтр на входе в магазин приложений или корпоративную инфраструктуру, аналитики будут разгребать очередь, почти целиком набитую легальным софтом.

 

Проблема в старом принципе: детекторы ищут сходство с известными угрозами. Широкий набор разрешений часто встречается у зловредов, но ровно так же выглядят бэкап-сервисы, антивирусы и инструменты управления устройствами. Как сформулировали авторы работы, отклонение — ещё не вредоносность.

Их система PRAXIS пытается смотреть не только на набор API, но и на контекст. Сначала ИИ предполагает возможную атаку, затем система ищет подтверждающую цепочку вызовов в коде, а после проверяет, соответствует ли поведение назначению приложения и тексту интерфейса.

Такой подход снизил долю ложных тревог на безопасной выборке до 13%, а пропуск вредоносов — примерно до одного из девяти. Однако стоило убрать финальную проверку контекста, как система пропустила 95,3% угроз. Код остался тем же, но без ответа на вопрос «зачем приложение это делает?» защита практически развалилась.

До массового применения PRAXIS тоже далеко: анализ стоит около $0,56 за приложение, а интерфейс и названия функций может подделать сам злоумышленник. Да и 13 ложных тревог на сотню — всё ещё не автоматика, а очередь к живому аналитику.

RSS: Новости на портале Anti-Malware.ru