Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Утечка в PayPal: персональные данные были открыты почти 6 месяцев

PayPal уведомляет клиентов о новой утечке данных, на этот раз из-за программной ошибки в приложении для бизнес-кредитов PayPal Working Capital (PPWC). В течение почти шести месяцев персональные данные пользователей могли быть доступны посторонним.

По информации компании, инцидент затронул приложение PPWC, которое позволяет малому бизнесу быстро получать финансирование.

Проблему обнаружили 12 декабря 2025 года. Выяснилось, что с 1 июля по 13 декабря 2025 года из-за некорректного изменения кода часть персональных данных оказалась открыта для неаутентифицированных лиц.

Речь идёт о конфиденциальной информации: имена, адреса электронной почты, номера телефонов, адреса компаний, номера социального страхования, а также даты рождения.

В письмах пострадавшим пользователям PayPal уточняет, что после обнаружения ошибки код был оперативно отозван, а потенциальный доступ к данным заблокирован уже на следующий день. Корпорация также подчеркнула, что уведомление не откладывалось из-за каких-либо действий правоохранительных органов.

Кроме самой утечки, PayPal выявила и несанкционированные транзакции по счетам небольшой части клиентов, они напрямую связаны с этим инцидентом. Представители платёжного сервиса заявили, что пострадавшим уже оформлены возвраты средств.

В качестве компенсации пользователям предлагают два года бесплатного мониторинга кредитной истории и услуг по восстановлению личности через Equifax (по трём кредитным бюро). Подключиться к программе нужно до 30 июня 2026 года.

Клиентам также рекомендуют внимательно следить за кредитными отчётами и активностью по счетам. Отдельно PayPal напомнила, что никогда не запрашивает пароли, одноразовые коды или другие данные аутентификации по телефону, СМС или электронной почте.

Сколько именно пользователей пострадало, компания пока не раскрывает. Известно, что для всех затронутых аккаунтов были сброшены пароли — при следующем входе пользователям предложат создать новые учётные данные, если они ещё этого не сделали.

RSS: Новости на портале Anti-Malware.ru