Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Московский суд приговорил топов ЗащитаИнфоТранс за мошенничество

Симоновский суд Москвы вынес приговор по делу Юрия Спасского, Виктора Парахина и Романа Лаврентьева. Все трое признаны виновными в мошенничестве в особо крупном размере и на момент расследования занимали руководящие должности в подведомственной Минтрансу компании «ЗащитаИнфоТранс».

Юрий Спасский руководил организацией, Виктор Парахин был его заместителем, а Роман Лаврентьев занимал должность заместителя начальника департамента ИТ.

Уголовное дело о хищении средств, выделенных на мероприятия по противодействию распространению коронавирусной инфекции на транспорте, возбудили ещё в 2021 году.

По версии следствия, фигуранты направили запрос на дополнительное финансирование доработок Единой государственной информационной системы обеспечения транспортной безопасности (ЕГИС ОТБ), разработанной и обслуживаемой «ЗащитаИнфоТранс». Минцифры отклонило заявку.

После этого новый запрос был подан уже от имени подконтрольных обвиняемым компаний «Вектор Технологии» и «Статус Комплайнс». Они подготовили предложения по модернизации ЕГИС на 106 млн рублей и оказанию информационных услуг на 93 млн рублей. Впоследствии общая сумма была снижена до 100 млн рублей, и эта заявка уже была одобрена.

Однако, по данным следствия, фактически никакие работы выполнены не были. Тем не менее в декабре 2020 года были оформлены предварительные испытания и подписаны акты сдачи-приёмки якобы выполненных услуг. В результате, как указывает «Коммерсантъ», сотрудники присвоили «не менее 50 млн рублей». По данным РБК, ссылающегося на Следственный комитет, сумма хищения составила 60 млн рублей.

Судебное разбирательство началось в марте. Все обвиняемые находились под стражей, однако позже Юрия Спасского освободили из изолятора, назначив ему запрет определённых действий.

Ни один из фигурантов свою вину не признал. РБК приводит слова Виктора Парахина, который объяснял необходимость модернизации ЕГИС ОТБ резким ростом нагрузки во время пандемии. Юрий Спасский утверждал, что работа велась в «тяжелейших условиях» в полностью удалённом режиме и находилась под контролем в том числе ФСБ.

Судья Ольга Величко признала всех троих виновными по ч. 4 ст. 159 УК РФ (мошенничество в особо крупном размере). Спасскому и Парахину назначено по 7,5 лет лишения свободы и штраф по 800 тыс. рублей. Лаврентьев получил 6,5 лет и штраф 600 тыс. рублей. Отбывать наказание они будут в колонии общего режима.

Адвокаты осуждённых заявили «Коммерсанту», что планируют обжаловать приговор.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru