Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Свежие данные россиян подорожали в даркнете на 13%

Стоимость актуальных логов стилеров с данными российских пользователей за год выросла почти на 13%, сообщили эксперты BI.ZONE. В общем объёме сведений, выставленных в даркнете, на Россию приходится от 14 до 18%. Для сравнения: совокупная доля США, Великобритании и стран Евросоюза достигает 40-45%.

Стилеры похищают с заражённых устройств сохранённые логины, пароли, cookie-файлы, токены сессий и доступы к почте, VPN, облачным сервисам и корпоративным системам.

Особенно ценятся свежие данные, позволяющие провести целевую атаку до того, как жертва сменит пароль или сервис завершит активную сессию.

Cookies могут оставаться действительными от нескольких часов до нескольких дней и иногда позволяют войти в аккаунт в обход двухфакторной аутентификации. Поэтому у подпольных продавцов действует принцип доставки продуктов: чем свежее, тем дороже.

Один архив с логами, по данным «Известий», в среднем продают за $10-15. Покупатели могут выбрать данные по стране, сервису и другим признакам. Есть и подписочная модель: за $250-300 в месяц клиент получает доступ к закрытому серверу или телеграм-каналу, куда ежедневно загружают новые архивы.

Цена зависит от качества проверки, сортировки и эксклюзивности информации. Такие наборы используют для захвата аккаунтов, фишинга, атак на банки и криптовалютные сервисы, а также поиска корпоративных учётных записей, через которые можно проникнуть в инфраструктуру компании.

Закрытие одного магазина проблему не решает: на его месте быстро появляется другой. Поэтому украденные данные нужно как можно скорее обесценить. При обнаружении стилера необходимо сменить пароли, завершить все активные сессии, отозвать токены и проверить устройство.

Компаниям рекомендуют применять EDR, устойчивую к фишингу MFA и мониторинг утечек. Обычным пользователям — избегать пиратских программ, не открывать подозрительные вложения и хранить пароли в менеджере.

RSS: Новости на портале Anti-Malware.ru