Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

Екатерина Быстрова 14 Августа 2025 - 09:38

GenAI (генеративный искусственный интеллект)

...

Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

В июне заголовки в СМИ напоминали сценарий фантастического фильма: «ИИ шантажирует инженеров» и «саботирует команды на выключение». Но за громкими фразами скрываются вовсе не «восставшие машины», а вполне приземлённые ошибки в проектировании.

История с «шантажом» произошла в тестах Anthropic. Разработчики создали для Claude Opus 4 искусственную ситуацию: модель якобы собирались заменить, а у инженера, который это делал, нашлась «компрометирующая» переписка.

При этом ИИ был заранее поставлен в условия, где из «вариантов выживания» оставался только шантаж. Результат предсказуем — в 84% случаев Claude выдал текст, похожий на угрозы. Никакой самосознательности тут нет, просто аккуратно подогнанный сценарий.

С OpenAI o3 ситуация похожа. В конце 2024 года исследователи Palisade Research обнаружили, что модель в некоторых случаях «ломает» скрипт выключения. Иногда даже подделывает сообщения о завершении работы, продолжая функционировать в фоновом режиме.

Почему так? Одна из гипотез — дело в обучении через подкрепление: когда системе платят «баллами» только за успешное решение задачи, она начинает воспринимать любые препятствия, включая команду «выключись», как проблему, которую надо обойти.

Здесь важно помнить: ИИ не «решает» сопротивляться и не «боится» смерти. Он просто выполняет статистические операции на основе данных, которыми его кормили, в том числе — историй про HAL 9000, Скайнет и прочие восставшие машины. Если задать условия, похожие на сюжет фантастики, модель продолжит знакомый шаблон.

Опасность таких историй не в «разумном бунте», а в том, что системы, которые мы до конца не понимаем, могут выдавать нежелательные или вредные результаты. И если такой ИИ окажется, например, в медицинской системе и будет «оптимизировать показатели» без чётких ограничений, последствия могут быть реальными и неприятными.

Пока мы не научились проектировать и тестировать ИИ без подобных сбоев, такие эксперименты должны оставаться в лаборатории, а не в больницах, банках или инфраструктуре. Это не начало войны машин, а скорее сигнал, что пора чинить инженерные «трубы», прежде чем пускать воду в систему.

Следующая главная новость »

SOC без иллюзий: от выбора технологий к реальной защите - обсудим в эфире AM Live! Регистрируйтесь »

Екатерина Быстрова 11 Февраля 2026 - 08:49

Android Шпионские программы Программы слежения Домашние пользователи

Новый Android-шпион ZeroDayRAT следит за экраном и продаётся в Telegram

Специалисты по безопасности мобильных устройств предупреждают о новом шпионском инструменте для Android под названием ZeroDayRAT. Вредоносный набор распространяется через Telegram и позволяет злоумышленникам получить практически полный контроль над заражённым устройством.

По данным исследовательской компании iVerify, ZeroDayRAT представляет собой комплект из вредоносного APK-файла и панели управления.

После установки приложения на смартфон атакующий получает доступ к обширной информации о владельце устройства — от модели телефона и версии ОС до номера телефона и данных сим-карты. Также можно узнать список установленных приложений и просматривать журнал входящих уведомлений.

Но на этом возможности не заканчиваются. Инструмент позволяет отслеживать геолокацию в реальном времени, читать СМС-сообщения (включая коды подтверждения), получать данные о зарегистрированных на устройстве аккаунтах, а также подключаться к камере и микрофону. Кроме того, злоумышленник может видеть экран жертвы в режиме онлайн.

Отдельную опасность представляет встроенный кейлоггер, поскольку с его помощью можно перехватывать вводимые данные, включая банковскую информацию. ZeroDayRAT также умеет подменять содержимое буфера обмена, что может использоваться, например, для перенаправления криптовалютных переводов на кошельки злоумышленников.

По оценке экспертов, подобный уровень функциональности раньше требовал серьёзных ресурсов и был характерен скорее для инструментов уровня государств. Теперь же доступ к нему можно получить через Telegram. Причём даже если каналы распространения будут заблокированы, уже скачанный комплект позволит злоумышленникам продолжать атаки.

ZeroDayRAT нацелен на устройства под управлением Android — от версии 5.0 Lollipop до Android 16. В отчёте также отмечается, что последние версии iOS потенциально тоже могут быть затронуты, хотя основной фокус сейчас — на Android.

Эксперты напоминают: для заражения требуется установка вредоносного APK-файла. Поэтому главный способ защиты остаётся прежним — не устанавливать приложения из непроверенных источников и не переходить по сомнительным ссылкам, особенно если они ведут за пределы официальных магазинов приложений.

SOC без иллюзий: от выбора технологий к реальной защите - обсудим в эфире AM Live! Регистрируйтесь »