Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.

Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.

Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.

Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.

Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.

Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.

В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.

Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.

Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.

Подпишитесь на новости

Генпрокуратура предупредила Wikimedia о риске нежелательного статуса

Генпрокуратура России направила Wikimedia Foundation, поддерживающему «Википедию», предупреждение о возможном признании его деятельности нежелательной в стране. Об этом ведомство сообщило 19 ноября.

Согласно заявлению Генпрокуратуры, фонд ведёт информационную кампанию, которую ведомство считает направленной на дестабилизацию обстановки в России.

Конкретные публикации или действия Wikimedia, ставшие основанием для предупреждения, в сообщении не перечислены.

Ведомство заявило, что может признать деятельность организации нежелательной, если та продолжит действия, которые Генпрокуратура характеризует как деструктивную антироссийскую деятельность. О принятии такого решения в опубликованном сообщении не говорится.

Wikimedia Foundation — некоммерческая организация, обеспечивающая инфраструктуру «Википедии» и других вики-проектов. Как напоминает «Интерфакс», ранее Роскомнадзор включил фонд в перечень иностранных организаций, обязанных выполнять требования закона о приземлении. Российские суды также неоднократно штрафовали его за неудаление информации, запрещённой в РФ.

RSS: Новости на портале Anti-Malware.ru