Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Татьяна Никитина 17 Января 2025 - 16:51

...

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Следующая главная новость »

Российские альтернативы Microsoft CA: чем заменить и не проиграть?
Регистрируйтесь на эфир!

Екатерина Быстрова 30 Марта 2026 - 13:05

iOS Соответствие законодательству РФ Общее Apple

С 1 апреля в России отключат пополнение Apple ID со счёта телефона

Для российских пользователей iPhone с 1 апреля может исчезнуть ещё один привычный способ оплаты сервисов Apple. операторы «большой четвёрки» получили указание отключить возможность пополнять баланс Apple ID со счёта мобильного телефона. Обсуждение этого вопроса, по данным издания, прошло 28 марта на совещании с главой Минцифры Максутом Шадаевым.

Как пишет РБК со ссылкой на три источника на телеком-рынке, среди причин такого шага называлась в том числе необходимость затруднить оплату VPN-сервисов.

Ранее мы писали, что 28 марта обсуждали возможность временно приостановить оплату сервисов Apple со счёта мобильного телефона. Идея в том, чтобы подтолкнуть компанию к возвращению популярных российских приложений в App Store.

Другими словами, история тут не только про Apple как таковую, но и про более широкий контроль над цифровыми сервисами, которые оплачиваются через экосистему компании.

На данный момент прямое пополнение Apple ID с мобильного счёта доступно у МТС и «ВымпелКома» под брендом «Билайн». У «МегаФона» и T2 такая схема тоже есть, но уже через партнёрские механизмы. Если решение действительно вступит в силу, пользователи iPhone в России лишатся ещё одного оставшегося рабочего способа оплачивать подписки, приложения и другие покупки внутри сервисов Apple.

Сама по себе эта опция стала особенно востребованной после 2022 года, когда привычная оплата российских карт в экосистеме Apple перестала работать из-за санкционных ограничений. На этом фоне мобильный счёт для многих оказался удобным обходным вариантом, особенно когда нужно было оплатить подписку или пополнить внутренний баланс аккаунта.

Пока официальных подробных комментариев немного. Представители «МегаФона», T2 и «ВымпелКома» от комментариев отказались. Запросы также были направлены в МТС и Минцифры. Так что формально история пока выглядит как информация от источников, но сама новость уже вызвала заметный резонанс — слишком уж чувствительная тема для владельцев iPhone в России.

Если всё произойдёт именно так, то уже с 1 апреля пользователям придётся искать новые способы пополнения Apple ID. А это значит, что доступ к платным сервисам Apple в России снова станет менее удобным.

Российские альтернативы Microsoft CA: чем заменить и не проиграть?
Регистрируйтесь на эфир!