В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

Сотрудники Центра компетенций Национальной технологической инициативы (ЦК НТИ) по большим данным, действующего на базе МГУ, разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как выяснил RT, платформа предоставляет возможность загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование. На выходе пользователь получает не только оценку, но также дообученный вариант, способный исправно работать в условиях различных внешних воздействий и изменений.

Созданное в МГУ решение пригодно для проверки любых систем, построенных на основе нейросетевых языковых моделей. Авторы считают, что их разработка окажется особенно полезной в применении к автопилотам грузовых автомобилей и поездов, системам идентификации по фото, видео, голосу, а также системам распознавания текста в аудиосообщениях: такие ИИ-помощники наиболее часто подвергаются кибератакам.

Команда ЦК НТИ создала прототип сервиса проверки и уже работает с рядом крупных российских клиентов над повышением устойчивости их ИИ-продуктов.

«В последние годы с активным внедрением систем ИИ в повседневную жизнь — например, голосовых банковских помощников, автопилотов, сервисов медицинской диагностики, систем идентификации на транспорте — стало понятно, что тематика устойчивости к атакам скоро станет очень востребована», — отметил Денис Гамаюнов, доцент факультета ВМК МГУ.

По мнению эксперта, в ближайшие годы рынок средств защиты систем ИИ возрастет в несколько раз.

«Безусловно, защита серверов, на которых запущен код ИИ, важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения, — комментирует Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис». — Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученная на такой выборке модель будет ошибаться и выдавать неправильные результаты».

Российские компании пояснили свои методы обнаружения VPN у пользователей

Российские маркетплейсы и другие крупные онлайн-платформы начали ограничивать доступ к своим ресурсам для пользователей, которые заходят через VPN-сервисы. Представители бизнеса пояснили СМИ, как они выявляют средства обхода на стороне пользователей.

В ряде случаев сервисы могут просто замедлять загрузку страниц или отдельных элементов сайта. Иными словами, площадка вроде бы открывается, но пользоваться ею становится заметно менее удобно.

Как утверждают собеседники «Коммерсанта», компаниям рекомендовано соблюдать ограничения, иначе их ресурсы могут исключить из «белых списков», а сами ИТ-организации — лишить аккредитации Минцифры.

При этом бизнесу ещё предстоит разобраться, как именно выполнять новые требования на практике: отрасль говорит, что многие детали пока остаются не до конца понятными.

Чтобы сократить число ложных срабатываний, ставка делается на «белые списки» корпоративных VPN и легитимных прокси-серверов. По словам источника, близкого к правительству, такой список уже ведёт Роскомнадзор, и в нём сейчас около 75 тысяч IP-адресов.

Компании могут передавать данные о своих сервисах через личный кабинет ведомства, чтобы исключить их из фильтрации на ТСПУ. Основные условия для таких VPN — ограничение доступа к запрещённым ресурсам и взаимодействие с регулятором.

Сами компании признают: технически задача решаемая. В «Почте России» заявили, что серьёзной перестройки архитектуры не потребуется, а возможные расходы будут укладываться в текущие планы по развитию ИТ. В РЖД напомнили, что часть ограничений для зарубежного трафика действует у них ещё с 2022 года на фоне кибератак, и сообщили, что уже подали материалы для включения корпоративных VPN в «белые списки». В «Росатоме» тоже заверили, что новая схема не должна критически повлиять на работу сервисов.

А вот в Ассоциации компаний интернет-торговли настроены заметно менее оптимистично. Там считают, что для онлайн-ретейла такие меры могут обернуться серьёзным падением трафика. В АКИТ сравнили ситуацию с запретом покупателям заходить в обычный магазин: часть цифровых сервисов и так работает нестабильно, а теперь пользователи с включённым VPN могут и вовсе потерять доступ к привычным площадкам.

По словам участников рынка, многие крупные сервисы уже давно так или иначе отслеживают подключения через VPN. Некоторые приложения, в том числе банковские сервисы и «Госуслуги», и раньше корректно работали только при выключенном VPN. Поэтому для части игроков речь идёт не о полной перестройке, а скорее о доработке уже существующих механизмов.

С технической точки зрения, как поясняют собеседники СМИ, выявлять обычный VPN-трафик можно и без дорогих систем глубокого анализа трафика. На уровне приложений разработчики видят IP-адреса и могут по ним строить логику ограничений. Вопрос скорее в масштабе, качестве классификации и дополнительных трудозатратах. Одни участники рынка говорят о заметном росте расходов, другие считают, что речь идёт в основном о перераспределении ресурсов разработки, а не о крупных закупках оборудования.

При этом главная проблема сейчас даже не в технике, а в правилах игры. У бизнеса пока нет чёткого понимания, как именно передавать данные о VPN в Роскомнадзор, в каком формате это делать и на каких правовых основаниях. На рынке также обращают внимание, что вопрос ответственности компаний за несоблюдение этих требований публично пока не прояснён.

Собеседники СМИ отмечают, что Минцифры продолжает обсуждать спорные моменты с отраслью и ищет вариант, который позволил бы ограничить доступ через VPN с минимальными последствиями для пользователей. По одной из оценок, это выглядит как компромиссный сценарий: вместо прямой административной ответственности для граждан акцент делают на технических ограничениях со стороны самих сервисов.

На этом фоне показательно выглядит и реакция сообщества разработчиков. Так, энтузиаст под ником xtclovver уже выпустил открытый тестовый проект RKNHarderingAndroid-приложение на Kotlin для выявления VPN и прокси на устройстве по методике обнаружения средств обхода блокировок.

RSS: Новости на портале Anti-Malware.ru