Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Microsoft Defender заставил VLC думать над MP3 по 33 секунды

Некоторые пользователи Windows 11 столкнулись с необычной задержкой в VLC: плееру требуется до 33 секунд, чтобы начать воспроизведение обычного MP3-файла. Команда VideoLAN обвиняет в проблеме Microsoft Defender, который после одного из обновлений якобы начал отправлять в карантин кеш плагинов VLC.

Ситуация получила огласку после жалобы разработчика игр Джонатана Блоу. Из-за задержки он отказался от VLC в пользу Microsoft Media Player, а заодно раскритиковал состояние открытого ПО на Windows.

Разработчики VLC ответили, что сам плеер здесь ни при чём. По их версии, Defender блокирует или помещает в карантин файл plugins.dat. В нём хранится кеш модулей, отвечающих за кодеки, демультиплексоры и ввод-вывод.

Без кеша VLC при каждом запуске приходится заново сканировать каталог плагинов. Пока пользователь ждёт первые ноты песни, плеер проводит полную перекличку своих внутренних компонентов. Получается почти винил: музыку тоже нужно немного подождать, только атмосферы меньше.

Проблема возникает не на всех компьютерах. Журналисты Tom’s Hardware попытались воспроизвести её на Windows 11, но VLC запускал MP3 без заметной задержки. Microsoft ситуацию пока не комментировала, поэтому точный масштаб сбоя неизвестен.

Для исправления разработчики рекомендуют переустановить VLC или пересоздать кеш с помощью vlc-cache-gen.exe. В меню «Пуск» также доступен ярлык сброса настроек и кеша, но он удалит пользовательские параметры: эквалайзер, горячие клавиши и настройки субтитров.

Добавление каталога VLC в исключения Defender тоже может предотвратить повторную блокировку, однако такой способ снижает контроль антивируса над файлами в этой папке. Поэтому безопаснее сначала ограничиться восстановлением кеша.

Обычный MP3 в итоге оказался полем боя между плеером и защитой Windows. Пользователь, как всегда, выполняет роль секундомера и технической поддержки.

RSS: Новости на портале Anti-Malware.ru