PT Application Firewall получил защиту от атак на LLM

PT Application Firewall получил защиту от атак на LLM

PT Application Firewall получил защиту от атак на LLM

Корпоративному ИИ-ассистенту доверили документы, клиентские данные и доступ к системам. Теперь осталось проследить, чтобы командовать им не начал первый встречный. Positive Technologies разработала LLM Firewall — модуль защиты ИИ-сервисов в составе PT Application Firewall.

По словам компании, он проверяет запросы к языковым моделям и их ответы: ищет попытки обойти ограничения, вытащить системные инструкции, раскрыть конфиденциальную информацию или использовать возможности агента в интересах атакующего.

Одна из целей — противодействие инъекциям в промпт. Вредоносную инструкцию можно отправить боту напрямую или спрятать в документе, который тот обрабатывает. Внешне это обычный текст, а по замыслу — попытка назначить нейросети нового начальника.

Подозрительные обращения модуль позволяет блокировать либо фиксировать для последующего разбора. Отдельно заявлено обнаружение персональных данных, паролей, ключей доступа, а также токсичного и запрещённого контента.

Проверка работает в обе стороны: контролируется и то, что отправляют модели, и то, что она выдаёт пользователю. Секреты могут утечь не только из-за хитрого атакующего, но и благодаря очень старательному сотруднику.

LLM Firewall уже интегрирован в PT AF Cloud. Он подключается к обмену между приложением и моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль управления не требуется. В PT AF PRO для развёртывания внутри инфраструктуры заказчика модуль обещают добавить позднее.

Для разных ИИ-сервисов можно задавать свои политики, выбирать мониторинг или блокировку, отдельно настраивать проверку запросов и ответов. События поступают в PT AF для анализа и расследования.

Подпишитесь на новости

Яндекс не успел продлить страховку ЦОДов от терактов до атак

К моменту октябрьских атак на дата-центры Яндекса страховое покрытие террористических рисков уже закончилось, а продлить его компания не успела. Теперь вопрос о возмещении ущерба остаётся открытым.

Об этом пишут «Ведомости» со ссылкой на трёх собеседников в страховых компаниях и брокере.

По их данным, часть инфраструктуры ранее страховали «Согаз» и «Ингосстрах». Размер покрытия не раскрывается. Яндекс и «Согаз» отказались от комментариев, «Ингосстрах» не ответил.

Источники допускают участие страховщиков в возмещении ущерба, но связывают это с отдельными договорённостями. Поэтому объявлять, что компания гарантированно не получит ничего, пока рано.

Однако даже действующий полис не закрыл бы все потери. Опрошенные страховщики объясняют: покрытие может распространяться на повреждённое имущество, а убытки от остановки бизнеса после атак остаются за его пределами.

По описанным в публикации условиям программы РНПК, страхование таких рисков ограничено шестью месяцами, лимит составляет 10 млрд рублей, франшиза — 50 млн. Простой из-за терроризма, диверсий и атак БПЛА не покрывается.

После атак дата-центры стали для страховщиков гораздо менее комфортными объектами: дорогое оборудование сосредоточено на небольшой площади, а один удар способен вывести из строя значительные мощности.

Получается неприятная арифметика, которая говорит о том, что резервировать нужно не только серверы, но и деньги на восстановление.

RSS: Новости на портале Anti-Malware.ru