Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.

Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.

Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.

Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.

Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.

Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.

В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.

Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.

Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.

Бигтех в России просит открыть обезличенные данные граждан для обучения ИИ

Российскому ИИ не хватает данных, а закон, по мнению бигтеха, держит их под замком. Ассоциация больших данных, в которую входят «Авито», «Сбер», «Ростелеком», «Яндекс», HH и VK, попросила Минцифры упростить использование обезличенной персональной информации для разработки и обучения нейросетей.

Сейчас любое алгоритмическое преобразование персональных данных считается обезличиванием.

Даже если технология практически исключает возможность установить личность человека, полученный массив всё равно остаётся персональными данными со всеми сопутствующими ограничениями. Защита вроде бы сработала, а юридический хвост никуда не делся.

АБД, по данным КоммерсантЪ, предлагает выделить технологии повышения приватности — Privacy Enhancing Technologies, или PETs — в отдельную категорию. Они позволяют обрабатывать, передавать и хранить информацию без раскрытия личности. Если риск идентификации равен нулю или составляет малые доли процента, такие данные предлагается использовать для ИИ без согласия граждан.

Обработка при этом должна проходить в России, российскими компаниями и только для разработки, обучения и применения ИИ. Кроме того, ассоциация предлагает ввести доверенных посредников — аккредитованные организации, которые будут хранить обезличенные массивы и предоставлять к ним доступ. Данные также хотят разделить на бесплатные, необходимые для исполнения закона, и платные — для коммерческих задач.

Участники рынка объясняют инициативу просто: российских датасетов мало, а большая их часть заперта внутри крупных экосистем. Собственные и партнёрские массивы уже не закрывают аппетиты современных моделей, особенно специализированных корпоративных решений.

Альтернативой остаются синтетические данные — искусственно созданные наборы без сведений о реальных людях. Но полностью заменить ими отраслевую статистику, поведенческие закономерности и другие ценные выборки получится не всегда.

Теперь мяч у Минцифры, которое на обращение пока не ответило. Бигтех тем временем даёт понять: без свежих данных российский ИИ далеко не уедет, сколько вычислительных мощностей ему ни подбрасывай.

RSS: Новости на портале Anti-Malware.ru