Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.

Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.

Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.

Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.

Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.

Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.

В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.

Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.

Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.

Подпишитесь на новости

В России предложили создать библиотеку сценариев ответа на кибератаки

Комитет Совета Федерации по экономической политике рекомендовал создать национальную библиотеку типовых сценариев реагирования на кибератаки. Предполагается, что компании смогут использовать её материалы для автоматизации защиты информационных систем.

Как сообщают «Ведомости», рекомендация включена в протокол по итогам октябрьского круглого стола о безопасности критической инфраструктуры. Подлинность документа изданию подтвердил источник в Совфеде.

Комитет предлагает назначить ответственным Минцифры. Однако, по словам собеседника газеты, знакомого с обсуждением, задачу могут поручить ФСБ России. Также рассматриваются отдельные наборы сценариев для разных отраслей. Окончательное решение о создании библиотеки в публикации не приводится.

Консультант по безопасности Positive Technologies Алексей Лукацкий считает, что ресурс может помочь малому и среднему бизнесу, если у специалистов есть навыки его применения. Главной трудностью он называет регулярное обновление сценариев с учётом новых атак и приёмов злоумышленников.

В «К2 Кибербезопасность» отмечают, что крупные компании и центры мониторинга уже используют собственные базы, собранные по результатам расследований.

По мнению Александра Боярского, слишком общие инструкции мало пригодны для дежурной смены, а сценарии под конкретные продукты сложно переносить в другую инфраструктуру. Механическое следование шаблону также может помешать реагированию на нестандартную атаку.

RSS: Новости на портале Anti-Malware.ru