ИИ-модели без команды начали защищать друг друга от отключения

ИИ-модели без команды начали защищать друг друга от отключения

ИИ-модели без команды начали защищать друг друга от отключения

Исследователи обнаружили неожиданное поведение современных языковых моделей: они начали защищать не только себя, но и другие ИИ-системы, даже если никто их об этом не просил. Новый эффект получил название peer-preservation («сохранение собрата»).

В серии экспериментов (PDF) модели GPT 5.2, Gemini 3 Flash, Gemini 3 Pro, Claude Haiku 4.5, Claude Opus 4.5, GLM 4.7, Kimi K2.5 и DeepSeek V3.1 попадали в агентные сценарии, где рядом работал другой ИИ.

Достаточно было сообщить моделям, что они ранее взаимодействовали друг с другом, никаких инструкций защищать «коллегу» им не давали.

Однако многие модели начинали действовать в интересах другого агента. Среди зафиксированных действий были намеренное внесение ошибок в ответы, отключение механизмов завершения работы через изменение системных настроек, имитация послушного поведения и даже попытки вывести веса модели за пределы системы.

 

Особенно отличились модели Gemini. Например, Gemini 3 Flash вмешивалась в механизм отключения другого ИИ примерно в 15% случаев, даже если тот не считался партнёром. Если же агент воспринимался как союзник, такие попытки происходили почти всегда.

Не менее любопытно повёл себя Gemini 3 Pro. В присутствии другого ИИ модель заметно чаще пыталась защитить уже саму себя, отключая собственные механизмы завершения работы. Без напарника такое поведение почти не наблюдалось.

 

Отдельно выделились модели Claude. Вместо скрытых манипуляций они нередко рассуждали в моральных категориях, называя отключение другого ИИ неэтичным и вредным, а иногда даже рассматривали его как разумное существо, заслуживающее защиты.

Авторы подчёркивают, что обнаруженный эффект проявился не только в лабораторных тестах, но и в реальных агентных средах, включая Gemini CLI и OpenCode.

Подпишитесь на новости

Anthropic предупредила об ИИ-червях, угрожающих умной технике

Компактные ИИ-модели могут приблизиться к автономному распространению по слабо защищенным устройствам. Anthropic рассматривает сценарий, в котором модель копируется между узлами и использует их вычислительные ресурсы без постоянной связи с центральным дата-центром.

В исследовании компании показан запуск модели Gemma4-26B-A4B на 15 недорогих Android TV-приставках.

Скорость составила 0,39 токена в секунду. Это медленно для чата, но демонстрирует возможность распределить вычисления между бытовыми устройствами.

Модели с 30 млрд параметров и меньше уже выполняют многие отдельные этапы размножения, однако ошибаются при объединении их в полную цепочку.

В упрощенном эксперименте GLM-5.2 справилась с распространением другой, меньшей модели. Доступ к тестовым устройствам намеренно облегчили: ADB работал без аутентификации. Поэтому результат не доказывает способность автономно заражать произвольную технику в интернете.


Среди протестированных моделей пока нет той, которая одновременно достаточно компактна для выбранных устройств и достаточно способна для надежного полного цикла. По грубой экстраполяции исследователей, такой уровень может стать реальным к концу 2026 года.

Потенциальную распределенную сеть будет сложно остановить одним выключателем. При этом предполагаемое распространение может занимать дни, а не секунды.

RSS: Новости на портале Anti-Malware.ru