Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

МВД призвало не возвращать незнакомцам ошибочные переводы

Если на банковский счёт неожиданно поступили деньги от неизвестного человека, не следует самостоятельно отправлять их обратно. Такой перевод может оказаться частью мошеннической схемы, предупредили в управлении по борьбе с противоправным использованием информационно-коммуникационных технологий МВД России.

Для начала нужно проверить, действительно ли деньги зачислены. Мошенники нередко рассылают поддельные банковские уведомления и сразу просят вернуть несуществующий платёж.

Смотреть баланс следует только в официальном приложении банка или на его сайте. СМС и скриншот от незнакомца доказательством внезапного обогащения не считаются.

Если перевод настоящий, тратить деньги нельзя, даже когда сумма выглядит незначительной. Расходование чужих средств может быть признано необоснованным обогащением. Тогда получателю придётся вернуть деньги, а при споре, а также столкнуться с судебными издержками.

Самостоятельно пересылать сумму по реквизитам, которые назвал отправитель, тоже не стоит. Злоумышленники могут использовать человека как дополнительное звено в цепочке обналичивания. Другой вариант — после возврата начать запугивать жертву обвинениями в финансировании запрещённых организаций.

Все действия нужно проводить через банк. Следует сообщить о неизвестном платеже и оформить возврат официальным способом. Некоторые организации позволяют безопасно вернуть ошибочный перевод прямо в мобильном приложении (например, такая функция есть у Сбербанка).

МВД также рекомендует сохранить сообщения, номера телефонов и сведения о звонках. Они могут понадобиться банку или полиции, если история с ошибкой внезапно превратится в вымогательство.

Алгоритм такой: проверить баланс, деньги не трогать, незнакомцу ничего не переводить и позвонить в банк по официальному номеру.

RSS: Новости на портале Anti-Malware.ru