Спрос на услуги по безопасности генеративного ИИ активно растет

Спрос на услуги по безопасности генеративного ИИ активно растет

Спрос на услуги по безопасности генеративного ИИ активно растет

По данным Swordfish Security, за услугами по безопасности больших языковых моделей (LLM Security) в 2024 году обращались 35% заказчиков. Спрос на такие услуги растет прямо пропорционально внедрению подобных инструментов в бизнес-практику.

В 2025 году такая практика будет только расширяться, поскольку генеративный интеллект, прежде всего, большие языковые модели, будут внедряться все более активно. В будущем году уровень проникновения генеративного ИИ составит не менее 40%, а к 2030 году может достигнуть и 90%.

Как отметил директор по развитию бизнеса ГК Swordfish Security Андрей Иванов, рост интереса к безопасности больших языковых моделей стал одной из главных тенденций 2024 года. Недооценка таких рисков чревата серьезными проблемами. Среди таких рисков Андрей Иванов инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками.

«В бизнесе используют большие модели для распознавания текста, анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов и многого другого. Многие отрасли, та же ИТ, активно используют ИИ-помощников. Например, в DevSecOps мы обучили и применяем модель, которая может анализировать и приоритизировать большой объем уязвимостей кода, таким образом освобождая время для квалифицированных инженеров для других, более сложных и творческих задач, — комментирует Андрей Иванов. — Критичным может оказаться, например, некорректная работа виртуальных ассистентов, которые могут влиять на клиентские решения, аналитику, дающую ошибочную информацию в цепочке поставок. Существуют атаки, отравляющие данные или позволяющие получить конфиденциальную информацию, и так далее. К этому стоит относиться как к любой информационной системе, влияющей на бизнес-процесс и проводящей, в случае компрометации, к потерям репутации и убыткам».

Внедрение ИИ требует корректировки корпоративных политик ИБ. Важно делать акцент на безопасности, а разрабатывать модели необходимо в соответствие с практиками разработки безопасного ПО, анализируя исходный код и зависимости, ответственно относиться к контролю доступа к источникам данных и стараться использовать доверенные алгоритмы обучения, уверен Андрей Иванов. Также важно учитывать то, что многие большие языковые модели используют облачную архитектуру, а это создает угрозу утечки конфиденциальных данных.

Миллионы пользователей браузеров стали жертвами расширений-шпионов

Исследователи из Koi Security рассказали о масштабной кампании с использованием расширений для браузеров, за которой, по их оценке, стоит китайская кибергруппа. Новая операция получила название DarkSpectre и затронула около 2,2 млн пользователей Chrome, Edge и Firefox.

Если учитывать более ранние кампании той же группы — ShadyPanda и GhostPoster, — общее число пострадавших превышает 8,8 млн человек за последние семь лет.

Ранее Koi уже связывала DarkSpectre с ShadyPanda — серией расширений, маскировавшихся под полезные инструменты и занимавшихся кражей данных, подменой поисковых запросов и мошенничеством. Тогда речь шла о 5,6 млн пользователей, включая более 100 расширений, часть из которых «просыпалась» только спустя годы после публикации.

Одно из таких расширений для Edge, например, активировало скрытую логику лишь через три дня после установки — очевидно, чтобы спокойно пройти модерацию в магазине. При этом исследователи обнаружили десятки так называемых «спящих» аддонов: сейчас они ведут себя безобидно, набирают аудиторию и положительные отзывы, но могут получить опасные функции с очередным обновлением.

Вторая кампания, GhostPoster, была в основном нацелена на пользователей Firefox. Под видом утилит и VPN-расширений они внедряли JavaScript-код для подмены партнёрских ссылок, трекинга и рекламных махинаций. Среди находок есть даже расширение «Google Translate» для Opera, набравшее практически миллион установок.

Самая свежая и, пожалуй, самая тревожная часть истории — так называемый Zoom Stealer. Это набор из 18 расширений для Chrome, Edge и Firefox, замаскированных под инструменты для Zoom, Google Meet и GoToWebinar. Их задача — собирать корпоративную информацию: ссылки на встречи (включая пароли), ID конференций, темы, описания, расписание и статус регистрации. Данные передаются в реальном времени через WebSocket-соединения.

Причём на этом сбор не заканчивается. Расширения вытягивают сведения о спикерах и организаторах вебинаров — имена, должности, биографии, фотографии, названия компаний, логотипы и рекламные материалы. Всё это происходит каждый раз, когда пользователь просто заходит на страницу регистрации мероприятия.

По словам исследователей, эти дополнения запрашивают доступ сразу к 28 платформам видеосвязи, включая Zoom, Microsoft Teams, Cisco WebEx и Google Meet — даже если расширению такой доступ вообще не нужен.

 

«Это не потребительское мошенничество, а инфраструктура корпоративного шпионажа, — подчёркивают специалисты Koi Security. — Пользователи действительно получали обещанную функциональность, доверяли расширениям и ставили им высокие оценки. А наблюдение шло тихо и незаметно».

Собранные данные могут использоваться для шпионажа, сложных схем социальной инженерии и масштабных операций по подмене личности. Связь кампаний с Китаем исследователи подтверждают сразу несколькими признаками: использованием серверов Alibaba Cloud, регистрациями в китайских провинциях, фрагментами кода с китайскими комментариями и мошенническими схемами, ориентированными на JD.com и Taobao.

В Koi Security считают, что это далеко не конец истории. По их словам, у DarkSpectre могут уже быть новые расширения, которые пока выглядят полностью легитимными — они «копят доверие» и просто ждут своего часа.

RSS: Новости на портале Anti-Malware.ru