APT-группы опробуют Google Gemini как ИИ-помощника в проведении атак

APT-группы опробуют Google Gemini как ИИ-помощника в проведении атак

APT-группы опробуют Google Gemini как ИИ-помощника в проведении атак

В Google фиксируют попытки использования Gemini для повышения эффективности целевых атак. По данным аналитиков, с ИИ-ассистентом взаимодействуют с разной степенью успеха APT-группы из 20+ стран, в том числе России.

Такие шпионы в основном обращаются к Gemini в поисках информации о потенциальных мишенях, публикаций об уязвимостях, способов сокрытия нежелательной активности, а также пытаются с помощью ИИ корректировать вредоносные коды и создавать / локализовать контент для своих ловушек.

Для обхода защиты ИИ-инструмента от злоупотреблений в основном используются публичные джейлбрейки либо переформулировка запросов. Случаев применения инъекции стимула с этой целью пока не наблюдалось.

Исследователи также зафиксировали безуспешные попытки заставить Gemini провести реверс-инжиниринг средств защиты (EDR) и слить информацию о его инфраструктуре и системах.

На настоящий момент умного помощника от Google опробовали APT-группы из двух десятков стран — в основном китайские (более 20 группировок), иранские (более 10) и северокорейские (9). Отметились также три российские ОПГ.

Аналогичным злоупотреблениям подвергается также ChatGPT, его разработчик OpenAI подтвердил это. Такая же участь, и с большим успехом, может в скором времени постигнуть новомодный DeepSeek, защита которого оказалась намного слабее.

ИИ не узнал дом британского премьера: на Booking.com сдали Даунинг-стрит

Системы безопасности Booking.com не заметили ничего странного в предложении снять квартиру на Даунинг-стрит, 10 — по адресу официальной резиденции премьер-министра Великобритании. Фальшивое объявление создали исследователи организации Which?, чтобы проверить защиту платформы от мошенников.

В карточке красовались точный адрес, фотография знаменитого здания и описание «однокомнатного жилья в самом центре Лондона», всего в четырёх минутах ходьбы от парламента.

Объявление появилось 18 июня, а возможность бронирования ненадолго открыли специально для теста. И Booking.com не подвёл (правда, совсем не в том смысле).

Платформа обработала платёж за недельное проживание, причём спустя более шести недель деньги исследователю так и не вернули. Следом модерацию почти мгновенно прошёл фальшивый отзыв об исключительном отдыхе и общении с котом Ларри, официальным мышеловом резиденции.

На этом аттракцион доверчивости не закончился. Через внутренний чат Booking.com исследователи отправили внешнюю ссылку с просьбой ввести данные банковской карты якобы для подтверждения брони. Система, которая, по словам компании, умеет блокировать подозрительные адреса, опять решила не вмешиваться.

Объявление окончательно удалили лишь 27 августа. В Which? назвали результаты проверки свидетельством системных сбоев и призвали британского регулятора Ofcom начать расследование.

«Если сложный ИИ Booking.com не понимает, что Даунинг-стрит, 10 — не домик для отпуска, неудивительно, что мошенники так легко используют платформу», — заявил редактор Which? Travel Рори Боланд.

В Booking.com ответили, что эксперимент не отражает опыт миллионов клиентов, а объявление якобы не было публично доступно. Некоторые антифрод-механизмы поэтому не активировались.

RSS: Новости на портале Anti-Malware.ru