Спрос на услуги по безопасности генеративного ИИ активно растет

Спрос на услуги по безопасности генеративного ИИ активно растет

Спрос на услуги по безопасности генеративного ИИ активно растет

По данным Swordfish Security, за услугами по безопасности больших языковых моделей (LLM Security) в 2024 году обращались 35% заказчиков. Спрос на такие услуги растет прямо пропорционально внедрению подобных инструментов в бизнес-практику.

В 2025 году такая практика будет только расширяться, поскольку генеративный интеллект, прежде всего, большие языковые модели, будут внедряться все более активно. В будущем году уровень проникновения генеративного ИИ составит не менее 40%, а к 2030 году может достигнуть и 90%.

Как отметил директор по развитию бизнеса ГК Swordfish Security Андрей Иванов, рост интереса к безопасности больших языковых моделей стал одной из главных тенденций 2024 года. Недооценка таких рисков чревата серьезными проблемами. Среди таких рисков Андрей Иванов инъекции вредоносного кода в промпт, уязвимости в цепочках поставок, выдача ошибочной информации за истину на этапе обучения модели и даже кража модели злоумышленниками.

«В бизнесе используют большие модели для распознавания текста, анализа данных, предиктивной аналитики, поиска, оценки ресурса механических узлов промышленных агрегатов и многого другого. Многие отрасли, та же ИТ, активно используют ИИ-помощников. Например, в DevSecOps мы обучили и применяем модель, которая может анализировать и приоритизировать большой объем уязвимостей кода, таким образом освобождая время для квалифицированных инженеров для других, более сложных и творческих задач, — комментирует Андрей Иванов. — Критичным может оказаться, например, некорректная работа виртуальных ассистентов, которые могут влиять на клиентские решения, аналитику, дающую ошибочную информацию в цепочке поставок. Существуют атаки, отравляющие данные или позволяющие получить конфиденциальную информацию, и так далее. К этому стоит относиться как к любой информационной системе, влияющей на бизнес-процесс и проводящей, в случае компрометации, к потерям репутации и убыткам».

Внедрение ИИ требует корректировки корпоративных политик ИБ. Важно делать акцент на безопасности, а разрабатывать модели необходимо в соответствие с практиками разработки безопасного ПО, анализируя исходный код и зависимости, ответственно относиться к контролю доступа к источникам данных и стараться использовать доверенные алгоритмы обучения, уверен Андрей Иванов. Также важно учитывать то, что многие большие языковые модели используют облачную архитектуру, а это создает угрозу утечки конфиденциальных данных.

Подпишитесь на новости

Заплатка не спасла: защиту Telegram для Android снова обошли через виджеты

Компания NebuSec заявила, что нашла два способа выполнить код за пределами песочницы, в которой Telegram для Android запускает HTML-виджеты. Обход проверили на версии 13.2.2, где Telegram закрыл предыдущую уязвимость в движке QuickJS. На демонстрационном видео виджет с тестового сервера открывает на телефоне системный калькулятор.

Разбор исследователи опубликовали в блоге NebuSec. После первых демонстраций Telegram вынес движок QuickJS в отдельный процесс Android и добавил фильтр seccomp.

Он блокирует около 30 системных вызовов, все остальные, включая ioctl, разрешены. Первый способ NebuSec использует ошибку в виджетах, которую фильтр не покрывает.


Во втором ошибку, которую фильтр перехватывает, объединяют с уязвимостью в ядре Android. Все виджеты работают в одном процессе, поэтому взломанный виджет одного бота получает доступ к памяти виджетов других ботов.

Подробности эксплойтов исследователи не раскрывают, поэтому проверить их заявления независимо пока нельзя. Сообщали ли они об уязвимостях Telegram, тоже неизвестно.


По словам NebuSec, после взлома движка злоумышленник может читать и изменять память процесса. Получит ли он доступ к переписке и что для атаки должен сделать пользователь, в разборе не сказано.

Сейчас отправлять виджеты в Telegram могут только одобренные боты. Павел Дуров (внесен в перечень Росфинмониторинга) до появления видео NebuSec заявлял, что никого нельзя взломать простой отправкой сообщения. Ранее «Лаборатория Касперского» сообщала о предполагаемых атаках через виджеты с трояном WebRAT и советовала не запускать их до выхода патча.

RSS: Новости на портале Anti-Malware.ru