Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

...
Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.

Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.

Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.

Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.

Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.

Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.

В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.

Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.

Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.

Подпишитесь на новости

Диасофт заявила об ускорении разработки до десяти раз с помощью ИИ

На рынке мультиагентной разработки становится теснее. «Диасофт» представила AI-driven Digital Q — ИИ-версию экосистемы для команд разработки. На собственных примерах компания заявляет об ускорении до десяти раз и сокращении трудозатрат. Корреспондент Anti-Malware.ru побывал на презентации и выяснил, что предлагают разработчикам.

Модель распространения тоже с претензией на встряску рынка: по заявлению компании, платформу можно бесплатно скачать и использовать, а платить — за созданный код.

При этом бесплатная платформа не означает бесплатную разработку: подробные тарифы в переданных материалах не приведены.

Digital Q объединяет работу людей и агентов в конвейер от выяснения потребностей бизнеса до выпуска ПО. В нем предусмотрены проектирование, генерация кода, тестирование и подготовка документации. Компания заявляет возможность работы с любым языком программирования.

Агенты работают в изолированных средах, модели автоматически подбираются под задачи, а взаимодействие с людьми организовано через трекер. Предусмотрены общий контекст, библиотека компонентов, аудит и контроль расхода токенов. Человек участвует в ключевых проверках.

На слайдах «Диасофт» показала три собственных примера: CRM с нуля за три месяца, модуль факультативного перестрахования за полтора месяца и прототип системы управления закупками для авиакомпании за два дня. Последний — именно прототип, а не готовая промышленная система.


Также заявлены соответствие кода требованиям более чем на 99% и покрытие тестами свыше 80% там, где это применимо. Автоматические проверки охватывают архитектуру, контракты, уязвимости и секреты.

Ускорение до десяти раз — оценка самой компании по ее задачам, а не универсальный результат для любого проекта. Но заявка для рынка громкая: если такой эффект удастся повторить у заказчиков, продавать привычные объемы человеко-часов интеграторам станет сложнее.

RSS: Новости на портале Anti-Malware.ru