Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Microsoft: системы на базе ИИ никогда не станут абсолютно безопасными

Команда Microsoft AI Red Team (AIRT) подытожила свой опыт тестирования 100 продуктов, созданных в компании на основе генеративного ИИ, и пришла к выводу, что обеспечение безопасности таких систем — нескончаемый процесс.

Из-за фундаментальных ограничений ИИ-моделей угрозы вроде инъекции стимула и джейлбрейка в этой сфере неистребимы.

Однако такие атаки можно сделать более затратными — как и в случае с другими ИТ-рисками, которые удается снизить, применяя, к примеру, тактику эшелонированной защиты (defense-in-depth) или следуя принципам конструктивной безопасности (security-by-design).

Делясь опытом, в Red Team также отметили (PDF), что для выстраивания защиты ИИ-системы важно понимать ее возможности и учитывать сферу применения. Так, большие языковые модели (БЯМ, LLM) склонны слепо следовать инструкциям пользователя, и их легко обмануть, спрятав вредоносный контент в большом объеме безобидного текста при вводе.

Также атака на ИИ-помощника по литературному творчеству вряд ли приведет к серьезным последствиям, а в случае с LLM, предназначенной для анализа историй болезни, может нанести вред здоровью пациентов и поставить крест на репутации медучреждения.

Чтобы заставить LLM выдать вредный совет, необязательно проводить градиентные состязательные атаки. Тот же эффект можно получить более дешевым способом, манипулируя интерфейсом либо введя в заблуждение модель языка и технического зрения.

 

Еще одно важное наблюдение, которым поделились специалисты: использование ИИ увеличивает существующие риски и создает новые.

Напомним, вопросы использования ИИ недавно обсуждались в ходе Открытой конференции Института системного программирования РАН им. В. П. Иванникова. Участники пленарной дискуссии сошлись во мнении, что внедрение ИИ-технологий тормозят проблемы доверия и безопасности таких сервисов.

Замедление Telegram привело к проблемам у мобильных разработчиков

После введения санкционных ограничений и потери доступа к сервисам Apple, Google и Microsoft Telegram фактически стал для российских разработчиков основной площадкой для тестирования приложений и распространения обновлений. На этом фоне замедление работы мессенджера обернулось серьёзными проблемами для отрасли.

Как заявили опрошенные РБК представители рынка, Telegram без преувеличения превратился в элемент критической инфраструктуры мобильной разработки. Его замедление способно вызвать сбои в процессах тестирования и выпуска новых версий приложений.

Директор по инновациям Fork-Tech Владислав Лаптев отметил, что Telegram стал одним из ключевых инструментов доставки тестовых сборок — версий приложений, которые ещё не опубликованы в официальных магазинах, но уже требуют проверки тестировщиками и другими сотрудниками. Альтернативные сервисы оказались недоступны после ухода зарубежных вендоров или из-за санкций.

Руководитель направления разработки iOS в red_mad_robot Александр Тузовский пояснил: «В мобильной разработке Telegram часто выступает как оперативный “транспорт” для команды: это тематические чаты по проектам и релизам, уведомления от CI/CD (набор принципов и практик, позволяющих чаще и надёжнее развёртывать изменения ПО), боты для сбора фидбэка от тестировщиков, а также автоматические сообщения о статусе публикаций в магазинах приложений».

Руководитель направления Android-разработки red_mad_robot Сергей Иванов среди ключевых преимуществ Telegram назвал его широкое распространение, низкий порог входа, удобный API и относительную бесплатность.

По словам Владислава Лаптева, ранее российские разработчики активно использовали Firebase App Distribution от Google и App Center от Microsoft. Однако из-за санкций — а в ряде случаев и сопутствующих ограничений со стороны Роскомнадзора — эти инструменты стали недоступны. Google ввела ограничения на оплату для россиян и начала удалять аккаунты российских пользователей. Microsoft закрыла App Center ещё в марте 2025 года, а его замена работает на инфраструктуре Azure, которая в России также недоступна.

«Сейчас разработчики рискуют во второй раз за четыре года лишиться инфраструктурного канала. Особенно остро это ощущают крупные финансовые организации, где требования к контролю качества и безопасности приложений значительно выше», — прокомментировал Владислав Лаптев.

Директор по продуктам студии разработки «Решение» Анфиса Кондрашова добавила, что ограничения Telegram могут привести к росту затрат на отдельные процессы: «Речь идёт, например, о стоимости отправки кода авторизации при регистрации пользователя. Отправка кода через Telegram обходится примерно в 5 рублей, а СМС — более чем в 40 рублей за сообщение. Экономика наших клиентов может серьёзно пострадать».

Вице-президент по операционной деятельности и информационным технологиям финансовой группы «БКС Холдинг» Сергей Путятинский отметил: «Для нашей компании это неактуально — мы используем внутренние инструменты, внедрённые несколько лет назад. Но я знаю много крупных организаций в России, которые по-прежнему задействуют Telegram в процессах мобильной разработки. Для них это создаёт существенные риски, поэтому проблема на рынке действительно существует».

В ВТБ, в свою очередь, сообщили, что используют для мобильной разработки собственный мессенджер, созданный внутри банка, поэтому ограничения в работе Telegram их не затрагивают.

О замедлении Telegram стало известно 10 февраля, однако фактически проблемы начались раньше — волна жалоб пользователей стартовала вечером 9 февраля.

RSS: Новости на портале Anti-Malware.ru