Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Самые популярные пароли 2025 года — всё те же «123456» и «password»

Каждый год ИТ-эксперты повторяют одно и то же: не используйте простые пароли вроде «123456» или «admin». И каждый год пользователи будто делают вид, что не слышат. Comparitech снова напомнила об этом, опубликовав свежий список 100 самых распространённых паролей, найденных в более чем двух миллиардах утечек 2025 года.

И угадайте, кто снова в топе? Правильно — старые добрые «123456», «password» и «admin».

Почти четверть всех паролей — это просто цифры. У 38% внутри есть последовательность 123, а у ещё 2% — обратная 321. В списке полно вариаций вроде «Aa123456» или «Aa@123456» — чуть усложнённых версий того же самого. Любители клавиатуры тоже отметились: qwerty, 1q2w3e4r, и всё в этом духе.

А вот неожиданное попадание — пароль «gin» (да, просто «джин») занял 29-е место. А «India@123» оказался на 53-й строчке. Даже поклонники Minecraft не остались в стороне — пароль minecraft (с маленькой буквы) замкнул топ-100.

Как пояснили в Comparitech, всё это — наглядная демонстрация человеческой лени. Современные программы для подбора паролей справляются с такими «секретами» за секунды. Короткие и предсказуемые комбинации — лёгкая добыча.

Эксперты советуют перейти на биометрию и ключи доступа (passkey) — они вообще исключают использование пароля. Если такой возможности нет, спасут длинные и осмысленные фразы.

«Длина важнее сложности и случайности», — напоминает специалист по конфиденциальности Comparitech Пол Бишофф.

Например, вместо «icantbelievewerestilltellingyouthis» можно написать «icantbelivewerestilltellingy0uthis» — простая замена одной буквы уже сильно усложняет жизнь злоумышленникам.

Если вы до сих пор где-то используете что-то вроде qwerty123, самое время это исправить. И уж тем более — не позволяйте своим пользователям в корпоративной сети творить то же самое. Ведь, как справедливо заметил Бишофф:

«Самые надёжные пароли — у тех, кто живёт по самым строгим правилам».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru