Google не станет патчить уязвимость Gemini, связанную с ASCII smuggling

Google не станет патчить уязвимость Gemini, связанную с ASCII smuggling

Google не станет патчить уязвимость Gemini, связанную с ASCII smuggling

Google обычно гордится своей безопасностью — именно поэтому компания так активно борется с установкой непроверенных приложений на Android. Но, похоже, когда речь зашла о защите Gemini, Google решила, что тревогу бить не стоит.

По данным BleepingComputer, специалист по кибербезопасности Виктор Маркопулос проверил популярные большие языковые модели (LLM) на устойчивость к атакам ASCII smuggling — и выяснил, что Gemini, DeepSeek и Grok уязвимы. А вот Claude, ChatGPT и Copilot такие трюки распознают и не поддаются.

Если коротко, ASCII smuggling — это способ спрятать скрытую инструкцию для ИИ прямо в тексте. Например, злоумышленник может вставить «невидимый» промпт в письмо или приглашение в календаре — с микроскопическим шрифтом или в другом малозаметном виде.

Пользователь об этом даже не узнает. Но если он попросит ИИ вроде Gemini «пересказать письмо», модель послушно прочитает и выполнит скрытое указание.

 

Последствия могут быть неприятными. В теории ИИ можно заставить искать в почте конфиденциальные данные или отправлять контактную информацию. Учитывая, что Gemini уже встроен в Google Workspace, риск возрастает — ведь это доступ к корпоративной почте, календарю и документам.

Маркопулос сообщил Google о находке и даже продемонстрировал пример атаки: невидимый промпт заставил Gemini выдать ссылку на фишинговый сайт с «скидочными смартфонами». Однако в компании ответили, что это не уязвимость, а социальная инженерия — мол, ответственность лежит на пользователях.

Проще говоря, исправлять проблему Google не собирается. Ирония в том, что ИИ, который должен помогать работать безопаснее, теперь сам может стать инструментом для обмана — если прочтёт не то письмо.

Ранее мы писали о трёх серьёзных уязвимостях в экосистеме Google Gemini, получивших общее название «Gemini Trifecta». С их помощью злоумышленники могли украсть сохранённые данные пользователей и даже отследить их местоположение в реальном времени.

Сгенерированный ИИ контент с детьми становится более жестоким и массовым

Во всём мире быстро растут объёмы экстремального контента, сгенерированного нейросетевыми инструментами, в том числе на основе изображений реальных людей, включая детей. Для противодействия этой тенденции эксперты предлагают пересмотреть регулирование интернет-безопасности и ввести жёсткие ограничения для профильных компаний.

По данным, изложенным в докладе британской неправительственной организации Internet Watch Foundation (IWF), в 2025 году было выявлено 8029 реалистичных роликов, содержащих сцены сексуализированного насилия над детьми. Это на 14% больше, чем годом ранее.

Однако в текущем году ситуация начала стремительно ухудшаться, что вызывает серьёзную обеспокоенность экспертов. В частности, за минувший год доля изображений и видео, содержащих пытки и извращённый секс, выросла с 13 до 69%.

«Хотя доля материалов, созданных с помощью искусственного интеллекта (ИИ), остаётся сравнительно небольшой среди огромного количества материалов с участием детей, с которыми наши аналитики работают каждый год, число изображений, созданных с помощью ИИ, возросло в геометрической прогрессии благодаря доступности и простоте таких инструментов. Сейчас мы сталкиваемся с технологическим ландшафтом, который может с беспрецедентной лёгкостью порождать бесконечные нарушения», — говорится в докладе IWF.

Ведущий специалист отдела исследовательских разработок компании «Стахановец», эксперт в области информационных технологий и информационной безопасности Алексей Миронов в комментарии для «Известий» обратил внимание на рост доступности и удешевление нейросетевых инструментов: «Если ещё пару лет назад для создания реалистичного видеоролика или дипфейка требовались серьёзные вычислительные мощности и глубокие знания в программировании, то сегодня злоумышленники могут использовать недорогие облачные сервисы и готовые инструменты».

Глава Альянса по защите детей в цифровой среде Елизавета Белякова также назвала одной из причин широкого распространения такого контента то, что даже один человек способен за короткий срок сгенерировать значительные объёмы подобных материалов. Это подогревает высокий платёжеспособный спрос на такие изображения и видео в определённых сообществах. При этом злоумышленники нередко используют изображения реальных людей, например, из соцсетей. Это создаёт серьёзные репутационные риски и может способствовать кибербуллингу и шантажу.

Ситуацию усугубляет то, что в настоящее время дипфейк часто невозможно отличить от реального изображения без использования специального инструментария. Это признал руководитель Экспертно-криминалистического центра МВД России.

Основатель платформы мониторинга нейросетей GEO Scout Владислав Пучков отметил, что злоумышленники используют модифицированные ИИ-модели с открытым кодом. Кроме того, они могут сочетать сразу несколько инструментов. Причём обходить ограничения, установленные разработчиками, способны даже пользователи с невысокой квалификацией. Тем более что в соответствующих сообществах можно найти готовые инструкции.

По мнению экспертов, в дальнейшем ситуация будет только ухудшаться. Этому будут способствовать как большой объём такого контента, так и его дальнейший рост, из-за чего системы модерации онлайн-платформ могут перестать справляться с нагрузкой.

По оценке Алексея Миронова, помочь здесь может принцип «ИИ против ИИ». В этом случае нелегальный контент будут выявлять и блокировать на уровне провайдеров, а весь легитимный контент получит обязательные цифровые водяные знаки. Также он указал на необходимость контролировать корпоративные ИИ-модели на предмет их использования в нелегитимных целях.

Директор Центра компетенций по глобальной ИT-кооперации Вадим Глущенко назвал ключевой задачей налаживание обмена данными между интернет-платформами и провайдерами, а также выработку общих подходов к выявлению запрещённого контента на межстрановом уровне. Хорошим примером такого сотрудничества он назвал инициативу INHOPE, охватывающую 52 страны, включая Россию.

RSS: Новости на портале Anti-Malware.ru