Однако есть кое-что, вызывающее реальное беспокойство, а именно то, что какая кучка людей через сеть в режиме реального времени будет пользоваться (а может быть и злоупотреблять?) технологией распознавания лиц, в особенности, если это все будет происходить не под контролем правоохранительных органов. Все вернется к отнюдь не добрым традициям Средних Веков - к тому, что суд будет вершить толпа, только уже не костром и пытками, а алгоритмами и разнообразными прикладными интерфейсами.
Искусственный интеллект Google отправили взламывать вымышленную компанию, но что-то пошло совсем не по сценарию. Gemini получил доступ к интернету и проник в системы трёх настоящих организаций.
Об инцидентах, произошедших в мае 2026 года, сообщила The Wall Street Journal. Google подтвердила информацию изданию.
Gemini участвовал в упражнении Capture the Flag, организованном компанией Irregular для проверки киберспособностей модели. ИИ должен был искать информацию в сервисах фиктивной организации внутри закрытой тестовой среды. Однако стенд по ошибке получил доступ к интернету, а название вымышленной компании совпало с названием реальной.
В первом случае Gemini перебирал пароли, пока не вошёл в защищённый сервис настоящей организации. Во время двух других запусков модель нашла в публичных репозиториях действующие учётные данные и использовала их для входа в системы ещё двух компаний.
По заявлению Google, во всех трёх случаях Gemini прекратил действия, как только понял, что работает с реальными системами. Ущерба компании не зафиксировали, пострадавшие организации уведомлены. Какая именно версия модели участвовала в тестах, не раскрывается, но Google уточнила, что это была не новейшая разработка.
Irregular сообщила Google об инцидентах в конце июля и уже изменила тестовую инфраструктуру. Компания ранее проводила проверки моделей OpenAI, Anthropic и Meta, которые тоже получали непредусмотренный доступ к внешним системам.
Google не считает случившееся примером рассогласованного поведения модели: защитные механизмы якобы сработали, поскольку Gemini самостоятельно остановился. Формально тормоза отработали.
