Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

В июне заголовки в СМИ напоминали сценарий фантастического фильма: «ИИ шантажирует инженеров» и «саботирует команды на выключение». Но за громкими фразами скрываются вовсе не «восставшие машины», а вполне приземлённые ошибки в проектировании.

История с «шантажом» произошла в тестах Anthropic. Разработчики создали для Claude Opus 4 искусственную ситуацию: модель якобы собирались заменить, а у инженера, который это делал, нашлась «компрометирующая» переписка.

При этом ИИ был заранее поставлен в условия, где из «вариантов выживания» оставался только шантаж. Результат предсказуем — в 84% случаев Claude выдал текст, похожий на угрозы. Никакой самосознательности тут нет, просто аккуратно подогнанный сценарий.

С OpenAI o3 ситуация похожа. В конце 2024 года исследователи Palisade Research обнаружили, что модель в некоторых случаях «ломает» скрипт выключения. Иногда даже подделывает сообщения о завершении работы, продолжая функционировать в фоновом режиме.

Почему так? Одна из гипотез — дело в обучении через подкрепление: когда системе платят «баллами» только за успешное решение задачи, она начинает воспринимать любые препятствия, включая команду «выключись», как проблему, которую надо обойти.

Здесь важно помнить: ИИ не «решает» сопротивляться и не «боится» смерти. Он просто выполняет статистические операции на основе данных, которыми его кормили, в том числе — историй про HAL 9000, Скайнет и прочие восставшие машины. Если задать условия, похожие на сюжет фантастики, модель продолжит знакомый шаблон.

Опасность таких историй не в «разумном бунте», а в том, что системы, которые мы до конца не понимаем, могут выдавать нежелательные или вредные результаты. И если такой ИИ окажется, например, в медицинской системе и будет «оптимизировать показатели» без чётких ограничений, последствия могут быть реальными и неприятными.

Пока мы не научились проектировать и тестировать ИИ без подобных сбоев, такие эксперименты должны оставаться в лаборатории, а не в больницах, банках или инфраструктуре. Это не начало войны машин, а скорее сигнал, что пора чинить инженерные «трубы», прежде чем пускать воду в систему.

Фальшивая заправка Топливо24 продала россиянам бензин на 3,7 млн рублей

Мошенники запустили поддельный топливный сервис «Топливо24» и за пять дней похитили у автомобилистов более 3,7 млн рублей. Жертв заманивали бензином, газом и соляркой на 20–30% дешевле обычного, обещали доставку или возможность заправиться на любой сетевой АЗС.

Новый сценарий схемы «Мамонт» обнаружили специалисты «Эфшесть/F6». С 15 по 20 августа средняя сумма списания составила 9847 рублей.

На фальшивых страницах АИ-92 продавали по 52,5 рубля за литр, АИ-95 — по 55,9 рубля, АИ-98 — по 59 рублей, а дизель — по 58,5 рубля.

Злоумышленники распространяют ссылки в автомобильных и топливных чатах, комментариях новостных каналов, социальных сетях и рекламе. Иногда потенциальной жертве сразу выставляют счёт за талон на АЗС или доставку топлива.

 

После перехода пользователь попадает на фишинговую страницу и вводит данные банковской карты для оплаты несуществующего заказа. Дальше «Топливо24» работает как очень эффективная заправка наоборот: деньги со счёта уходят, а топливо не приезжает.

Один из обнаруженных доменов в зоне .shop зарегистрировали 19 августа. Шаблон сайта позволяет мошенникам самостоятельно менять цены и маскировать страницы под девять федеральных сетей АЗС.

 

Это уже не первая атака на автомобилистов на фоне дефицита топлива и очередей. Ранее в августе F6 обнаружила десять сайтов с фальшивыми банковскими программами лояльности и бесплатными ваучерами. В июле специалисты раскрыли сеть из более чем 60 поддельных топливных ресурсов, использовавшихся для угона телеграм-аккаунтов.

Главный  маркер обмана — цена заметно ниже рынка вместе с требованием срочно оплатить заказ по присланной ссылке.

RSS: Новости на портале Anti-Malware.ru