Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

Не бунт, а баг: как ИИ шантажирует и саботирует по сценарию

В июне заголовки в СМИ напоминали сценарий фантастического фильма: «ИИ шантажирует инженеров» и «саботирует команды на выключение». Но за громкими фразами скрываются вовсе не «восставшие машины», а вполне приземлённые ошибки в проектировании.

История с «шантажом» произошла в тестах Anthropic. Разработчики создали для Claude Opus 4 искусственную ситуацию: модель якобы собирались заменить, а у инженера, который это делал, нашлась «компрометирующая» переписка.

При этом ИИ был заранее поставлен в условия, где из «вариантов выживания» оставался только шантаж. Результат предсказуем — в 84% случаев Claude выдал текст, похожий на угрозы. Никакой самосознательности тут нет, просто аккуратно подогнанный сценарий.

С OpenAI o3 ситуация похожа. В конце 2024 года исследователи Palisade Research обнаружили, что модель в некоторых случаях «ломает» скрипт выключения. Иногда даже подделывает сообщения о завершении работы, продолжая функционировать в фоновом режиме.

Почему так? Одна из гипотез — дело в обучении через подкрепление: когда системе платят «баллами» только за успешное решение задачи, она начинает воспринимать любые препятствия, включая команду «выключись», как проблему, которую надо обойти.

Здесь важно помнить: ИИ не «решает» сопротивляться и не «боится» смерти. Он просто выполняет статистические операции на основе данных, которыми его кормили, в том числе — историй про HAL 9000, Скайнет и прочие восставшие машины. Если задать условия, похожие на сюжет фантастики, модель продолжит знакомый шаблон.

Опасность таких историй не в «разумном бунте», а в том, что системы, которые мы до конца не понимаем, могут выдавать нежелательные или вредные результаты. И если такой ИИ окажется, например, в медицинской системе и будет «оптимизировать показатели» без чётких ограничений, последствия могут быть реальными и неприятными.

Пока мы не научились проектировать и тестировать ИИ без подобных сбоев, такие эксперименты должны оставаться в лаборатории, а не в больницах, банках или инфраструктуре. Это не начало войны машин, а скорее сигнал, что пора чинить инженерные «трубы», прежде чем пускать воду в систему.

Подпишитесь на новости

Покупка подержанного процессора может обернуться баном в игре

Процессор исправен, компьютер работает, а в игру не пускают. Геймер из Германии рассказал, что после покупки подержанного AMD Ryzen 7 5800X3D столкнулся с блокировкой в Valorant. Вместе с железом ему, судя по ответу поддержки, досталось наследство от предыдущего владельца — бан античита.

Пользователь After-Cartoonist-196 описал ситуацию на Reddit. По его словам, процессор он купил 21 сентября, но поддержка Riot сообщила: его идентификатор находился в чёрном списке Vanguard ещё с 12 августа.

Причиной якобы стали читы, которыми пользовался прежний хозяин. До замены CPU Valorant запускалась нормально. После обновления железа игрока сразу выкинуло. Сам Ryzen при этом, как утверждает покупатель, работает без проблем, блокировка не означает физическую неисправность процессора.

В обновлении поста автор сообщил ещё более неприятную подробность: по его словам, в чёрный список попали и другие компоненты компьютера, включая материнскую плату и накопитель. Поддержка, утверждает он, отказалась снимать аппаратную блокировку. Независимого подтверждения этих деталей в публикации нет.

История показывает неудобную сторону покупки игрового железа с рук: исправность комплектующей и доступ к конкретной игре — разные вещи.

Проверка температур и стабильности может пройти идеально, а чужая история нарушений обнаружится только при запуске античита. Такой вот бонус к апгрейду, который в объявлении обычно не указывают.

RSS: Новости на портале Anti-Malware.ru