Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

В телевизорах Hisense появилась навязчивая реклама при включении и входе

Умные телевизоры давно пытаются что-то продать своим владельцам, но у Hisense, похоже, это зашло слишком далеко. Пользователи начали массово жаловаться, что телевизоры компании показывают рекламу буквально во время базовых действий: при включении, переходе к эфирным каналам и даже при смене источника сигнала, причём эти объявления нельзя пропустить.

Об этом в конце февраля и начале марта писали испанские издания. Больше всего сообщений пришло из Испании и Великобритании, хотя жалобы встречаются и в других странах.

В публикациях фигурируют в основном телевизоры с ОС VIDAA, которую компания в 2026 году начала продвигать под новым названием Home OS.

При этом проблема, судя по отзывам, затронула не только собственно Hisense, но и некоторые модели других брендов, использующих ту же программную платформу.

Самый неприятный момент здесь в том, что реклама, по словам пользователей, появилась уже после покупки телевизора, то есть не как заранее известная особенность дешёвой модели, а как поведение, которое активировалось позже через обновления или серверные настройки.

Некоторые владельцы также утверждали, что объявления показывались даже при отключённых рекламных опциях. Отдельный интерес вызвал способ «лечения» проблемы. По сообщениям пользователей, поддержка Hisense иногда предлагала прислать уникальный идентификатор телевизора на адрес сервиса, после чего реклама на конкретном устройстве отключалась.

Это выглядит так, будто часть управления рекламой идёт со стороны серверной инфраструктуры, а не только через локальные настройки телевизора. Это вывод из пользовательских сообщений; сама компания подробно техническую схему публично не объясняла.

Hisense в комментарии испанским медиа заявила, что речь шла лишь о «точечном тесте» на испанском рынке внутри платформы VIDAA, связанном с оценкой рекламных форматов для бесплатного контента. Компания также утверждает, что тест не ограничивал нормальное использование устройства и что этот формат рекламы уже убрали в Испании. Но на фоне жалоб из разных стран и сообщений, растянутых во времени, такая версия вызывает у пользователей дополнительные вопросы.

RSS: Новости на портале Anti-Malware.ru