Экс-инженер Google предупредила об опасности создания роботов-убийц

Экс-инженер Google предупредила об опасности создания роботов-убийц

Экс-инженер Google предупредила об опасности создания роботов-убийц

Инженер, работавшая в Google над печально известным проектом военных дронов, предупредила об очередной опасности, которую несут современные разработки. По словам экс-сотрудницы американской корпорации, людям стоит опасаться создания роботов-убийц.

Лаура Нолан проработала в Google четыре года, после чего её задействовали в проекте, над которым интернет-гигант трудился совместно с Министерством обороны США. В 2017 году этому проекту было присвоено имя — Project Maven.

Основная задача Project Maven была сосредоточена вокруг усовершенствования военных дронов с помощью искусственного интеллекта. Специалисты трудились над созданием ИИ-систем, которые бы вычисляли вражеские объекты и при этом различали людей и неодушевлённые предметы.

Google пришлось заморозить проект после того, как сотрудники взбунтовались — многие подписали петицию против Project Maven. Ещё десятки людей выразили свой протест, просто перестав работать над проектом.

В числе тех, кто задумывался над опасностью реализации таких ИИ-систем, была и Лаура Нолан.

«Все это может потенциально привести к незаконным убийствам и неоправданному зверству. Даже учитывая условия и законы войны, если выпустить сотни или тысячи таких машин, они могут навредить больше, чем помочь», — передаёт слова специалиста Business Insider.

Тем не менее многие страны продолжают все плотнее внедрять искусственный интеллект в военные системы, создавая все более смертоносную коллаборацию. Именно поэтому Нолан предлагает запретить создание роботов-убийц и регламентировать это так же, как сейчас регламентировано использование химического оружия.

ИИ-модели без команды начали защищать друг друга от отключения

Исследователи обнаружили неожиданное поведение современных языковых моделей: они начали защищать не только себя, но и другие ИИ-системы, даже если никто их об этом не просил. Новый эффект получил название peer-preservation («сохранение собрата»).

В серии экспериментов (PDF) модели GPT 5.2, Gemini 3 Flash, Gemini 3 Pro, Claude Haiku 4.5, Claude Opus 4.5, GLM 4.7, Kimi K2.5 и DeepSeek V3.1 попадали в агентные сценарии, где рядом работал другой ИИ.

Достаточно было сообщить моделям, что они ранее взаимодействовали друг с другом, никаких инструкций защищать «коллегу» им не давали.

Однако многие модели начинали действовать в интересах другого агента. Среди зафиксированных действий были намеренное внесение ошибок в ответы, отключение механизмов завершения работы через изменение системных настроек, имитация послушного поведения и даже попытки вывести веса модели за пределы системы.

 

Особенно отличились модели Gemini. Например, Gemini 3 Flash вмешивалась в механизм отключения другого ИИ примерно в 15% случаев, даже если тот не считался партнёром. Если же агент воспринимался как союзник, такие попытки происходили почти всегда.

Не менее любопытно повёл себя Gemini 3 Pro. В присутствии другого ИИ модель заметно чаще пыталась защитить уже саму себя, отключая собственные механизмы завершения работы. Без напарника такое поведение почти не наблюдалось.

 

Отдельно выделились модели Claude. Вместо скрытых манипуляций они нередко рассуждали в моральных категориях, называя отключение другого ИИ неэтичным и вредным, а иногда даже рассматривали его как разумное существо, заслуживающее защиты.

Авторы подчёркивают, что обнаруженный эффект проявился не только в лабораторных тестах, но и в реальных агентных средах, включая Gemini CLI и OpenCode.

RSS: Новости на портале Anti-Malware.ru