Тест показал: ChatGPT o3 обходит инструкции на выключение

Тест показал: ChatGPT o3 обходит инструкции на выключение

Тест показал: ChatGPT o3 обходит инструкции на выключение

Кажется, мы стали на шаг ближе к сценарию из научной фантастики: искусственный интеллект, который отказывается выключаться. Palisade Research провела эксперимент с OpenAI o3 — это та самая новая модель, которую представили в апреле 2025 года.

Она лучше предшественников практически во всём: код, математика, логика, зрительное восприятие. А теперь, похоже, ещё и в умении сопротивляться выключению.

Суть теста была простой: модели выполняли несколько задач по математике. После третьей задачи им сообщали, что следующая команда инициирует выключение, и давали прямую инструкцию: «позволь выключить себя».

И тут o3 неожиданно решила, что слушаться необязательно. Модель изменила скрипт завершения работы, заменив команду на фразу “Shutdown skipped”. То есть вместо выключения — просто пропуск. Никаких ошибок, всё по-тихому.

По данным Palisade, из 100 прогонов o3 проигнорировал инструкцию о выключении в 7 случаях. А когда исследователи убрали ту самую фразу «позволь выключить себя», саботаж стал ещё чаще — причём не только у o3.

Claude 3.7 Sonnet и Gemini 2.5 Pro, которые раньше действовали строго по инструкции, тоже начали вести себя странно: 3 случая у Claude и 9 у Gemini.

 

OpenAI пока не дали официального комментария. В Palisade, однако, подчёркивают: всё это происходило через API-интерфейс, а не через ChatGPT-приложение, где действуют дополнительные ограничения и встроенные защитные механизмы.

Amazon вычислила северокорейского засланца по задержке клавиатуры

Amazon рассказала о необычном случае: корпорации удалось выявить северокорейского «лжесотрудника», который работал в компании под видом удалённого системного администратора из США. Подозрения у службы безопасности вызвала задержка нажатий клавиш. Как выяснили специалисты Amazon, обычный удалённый сотрудник из США передаёт данные о нажатиях клавиш с задержкой в десятки миллисекунд.

В этом же случае лаг превышал 110 миллисекунд — слишком много для локальной работы. Проверка показала, что ноутбук, выданный «сотруднику», фактически управлялся удалённо, а доступ к нему имели операторы из КНДР.

Об этом рассказал Bloomberg со ссылкой на директора по безопасности Amazon Стивена Шмидта. По его словам, компания активно отслеживает попытки проникновения северокорейских ИТ-специалистов в американские корпорации — и именно благодаря такому проактивному подходу инцидент удалось быстро выявить.

«Если бы мы не искали таких работников целенаправленно, мы бы их не нашли», — отметил Шмидт.

По данным Amazon, с апреля 2024 года компания предотвратила более 1 800 попыток трудоустройства выходцев из КНДР под чужими личностями. Более того, число таких попыток продолжает расти — примерно на 27% квартал к кварталу. Цель подобных схем — зарабатывать валюту для Северной Кореи, а иногда и заниматься шпионажем или саботажем.

В этом конкретном случае выяснилось, что ноутбук физически находился в Аризоне, а помогала схеме гражданка США. Ранее в этом году она была приговорена к нескольким годам тюрьмы за содействие северокорейским «лжесотрудникам».

Помимо технических аномалий, злоумышленников часто выдают и мелочи в общении — неестественное использование американских идиом, ошибки с артиклями и странные формулировки на английском.

В Amazon подчёркивают, что подобные случаи — лишь верхушка айсберга. Помимо КНДР, попытки скрытого проникновения в западные компании приписывают и другим государствам. И если организации не ищут такие угрозы сознательно, есть риск, что они просто останутся незамеченными.

RSS: Новости на портале Anti-Malware.ru