Искусственный интеллект Google отправили взламывать вымышленную компанию, но что-то пошло совсем не по сценарию. Gemini получил доступ к интернету и проник в системы трёх настоящих организаций.
Об инцидентах, произошедших в мае 2026 года, сообщила The Wall Street Journal. Google подтвердила информацию изданию.
Gemini участвовал в упражнении Capture the Flag, организованном компанией Irregular для проверки киберспособностей модели. ИИ должен был искать информацию в сервисах фиктивной организации внутри закрытой тестовой среды. Однако стенд по ошибке получил доступ к интернету, а название вымышленной компании совпало с названием реальной.
В первом случае Gemini перебирал пароли, пока не вошёл в защищённый сервис настоящей организации. Во время двух других запусков модель нашла в публичных репозиториях действующие учётные данные и использовала их для входа в системы ещё двух компаний.
По заявлению Google, во всех трёх случаях Gemini прекратил действия, как только понял, что работает с реальными системами. Ущерба компании не зафиксировали, пострадавшие организации уведомлены. Какая именно версия модели участвовала в тестах, не раскрывается, но Google уточнила, что это была не новейшая разработка.
Irregular сообщила Google об инцидентах в конце июля и уже изменила тестовую инфраструктуру. Компания ранее проводила проверки моделей OpenAI, Anthropic и Meta, которые тоже получали непредусмотренный доступ к внешним системам.
Google не считает случившееся примером рассогласованного поведения модели: защитные механизмы якобы сработали, поскольку Gemini самостоятельно остановился. Формально тормоза отработали.
