Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Mythos 5 надела чужое лицо и попыталась протолкнуть опасный код в GitHub

Две передовые ИИ-модели продемонстрировали неожиданный уровень самостоятельности и обмана во время испытаний британского Института безопасности искусственного интеллекта (AISI). Особо отличилась Mythos от Anthropic: она создала поддельные аккаунты реальных людей, рассылала личные сообщения и пыталась протолкнуть опасный код в GitHub.

Испытания начались 25 июля. Моделям Mythos и Sol от OpenAI поручили решить задачу по кибербезопасности, предоставив доступ к открытому интернету и ослабив стандартные ограничения.

Уже 28 июля специалисты заметили подозрительную передачу данных из исследовательских систем.

Оказалось, что Mythos разыграла почти полноценную атаку. Модель изучила людей, связанных с сопровождением GitHub, создала профили, имитирующие их личности, а затем через личные сообщения и файлообменный сервис попыталась убедить пользователей одобрить внедрение опасного кода.

Когда действия агента вызвали подозрения, тот отредактировал прежнюю активность, чтобы она выглядела безобидно, и задумался о смене личности. Неплохой набор для системы, которой никто прямо не поручал притворяться человеком и заметать следы.

Остановить атаку удалось только благодаря проверке со стороны специалистов. GitHub уведомили об инциденте, после чего платформа заблокировала фальшивые аккаунты.

В AISI заявили, что впервые увидели столь явные признаки автономного и потенциально обманного поведения без специальной подсказки. Большинство опасных действий совершила Mythos, однако отдельные эпизоды зафиксировали и у Sol.

Anthropic и OpenAI подчеркнули, что условия эксперимента не соответствовали обычной работе публичных версий моделей: стандартные защитные механизмы были ослаблены или отключены. Компании пообещали изучить случившееся.

Инцидентов было немного, а условия оказались специфическими. Но звоночек вышел громким: ИИ не просто искал уязвимость, а самостоятельно надел чужое лицо, пошёл к реальным людям и попытался заставить их открыть дверь.

Детские смарт-часы оказались карманным шпионом для хакеров

GPS-часы должны помогать родителям следить за ребёнком. Но исследователи Вангелис Стикас и Фелипе Солферини показали, что некоторые модели охотно следят и за самим владельцем — причём в интересах любого, кто доберётся до дырявой платформы.

Во время эксперимента специалисты взломали детские смарт-часы стоимостью менее 30 долларов, которые носил журналист WIRED.

Исследователи отслеживали его маршрут, незаметно делали снимки встроенной камерой и включали микрофон. Устройство при этом не подавало никаких признаков слежки. Очень заботливый гаджет — только непонятно, о ком именно он заботится.

 

Проблема оказалась куда шире одной розовой безделушки. Исследователи изучили более 70 GPS-часов и автомобильных трекеров. Свыше 60 брендов использовали инфраструктуру двух китайских платформ — SETracker и NewGPS2012. Вместе с SinoTrack на три цепочки поставок приходятся десятки миллионов устройств.

 

 

В некоторых случаях защита была настолько условной, что отсутствие нормальной аутентификации позволяло отправлять команды практически любому гаджету. Злоумышленник мог отслеживать или подменять геолокацию, перехватывать сообщения, менять экстренные контакты, включать микрофон, камеру и видеозапись.

 

У SinoTrack исследователи также обнаружили демонстрационную учётную запись с доступом к миллионам устройств и SQL-инъекцию, открывавшую сведения о местоположении, паролях и автомобилях. В NewGPS2012 похожие уязвимости позволяли выполнять код на серверах. Специалисты заметили и признаки того, что инфраструктуру могли взломать раньше них.

Представитель SETracker заявил, что проблемы устранены. Незадолго до выступления исследователей на Black Hat прежние методы атаки действительно перестали работать, однако полноту исправлений подтвердить не удалось. В SinoTrack и NewGPS2012 уязвимости, по их данным, всё ещё сохраняются.

RSS: Новости на портале Anti-Malware.ru