В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

В МГУ разработали систему проверки защищённости ИИ-продуктов

Сотрудники Центра компетенций Национальной технологической инициативы (ЦК НТИ) по большим данным, действующего на базе МГУ, разработали решение для проверки устойчивости ИИ-систем к кибератакам.

Как выяснил RT, платформа предоставляет возможность загрузки моделей машинного обучения в облако, где они в автоматическом режиме проходят тестирование. На выходе пользователь получает не только оценку, но также дообученный вариант, способный исправно работать в условиях различных внешних воздействий и изменений.

Созданное в МГУ решение пригодно для проверки любых систем, построенных на основе нейросетевых языковых моделей. Авторы считают, что их разработка окажется особенно полезной в применении к автопилотам грузовых автомобилей и поездов, системам идентификации по фото, видео, голосу, а также системам распознавания текста в аудиосообщениях: такие ИИ-помощники наиболее часто подвергаются кибератакам.

Команда ЦК НТИ создала прототип сервиса проверки и уже работает с рядом крупных российских клиентов над повышением устойчивости их ИИ-продуктов.

«В последние годы с активным внедрением систем ИИ в повседневную жизнь — например, голосовых банковских помощников, автопилотов, сервисов медицинской диагностики, систем идентификации на транспорте — стало понятно, что тематика устойчивости к атакам скоро станет очень востребована», — отметил Денис Гамаюнов, доцент факультета ВМК МГУ.

По мнению эксперта, в ближайшие годы рынок средств защиты систем ИИ возрастет в несколько раз.

«Безусловно, защита серверов, на которых запущен код ИИ, важна, но злоумышленникам интереснее скорее нарушить, а не прекратить его работу, чтобы тот выдавал некорректные решения, — комментирует Сергей Полунин, руководитель группы защиты инфраструктурных ИТ-решений компании «Газинформсервис». — Например, если хакеры доберутся до обучающей выборки и сумеют добавить в нее свои объекты, то обученная на такой выборке модель будет ошибаться и выдавать неправильные результаты».

Мошенники делают россиян администраторами опасных каналов ради шантажа

Злоумышленники начали использовать новую тактику при групповых атаках. Они наделяют случайных людей правами администраторов каналов с противоправным контентом, а затем с помощью шантажа пытаются выманить у них учётные данные или деньги.

О широком распространении таких схем сообщают «Известия» со ссылкой на свои источники.

Злоумышленники назначают случайных пользователей администраторами различных групп и каналов, где распространяется контент, нарушающий российское законодательство. Обычно, как рассказал источник издания в правоохранительных органах, жертвами становятся дети, подростки и молодые люди.

Как рассказал собеседник издания, который сам столкнулся с попыткой такой атаки, уведомление обычно выглядит примерно так: «Предыдущий владелец канала (...) передал вам права на него. Теперь вы новый владелец этого канала и отвечаете за содержание публикаций в нём».

В описанном случае речь шла о канале с относительно небольшим числом подписчиков. В нём публиковались новости, в том числе на криминальные и военные темы, причём часть материалов нарушала законодательство.

«Существенное количество обращений связано с обманом или попытками обмана в реальных домовых чатах либо в чатах, которые злоумышленники создают под видом сообществ жильцов — районных, домовых, подъездных, — рассказал источник в правоохранительных органах. — Ещё одна популярная в последние месяцы уловка — создание чатов от имени „Минчистоты“, снабжающих компаний, энергетиков. Людей без их согласия добавляют в такие сообщества, и уже это должно насторожить пользователя. Цель одна — выведать чувствительную информацию, перевести общение в личные чаты и усыпить бдительность собеседников».

Как отметили в пресс-службе Министерства энергетики Московской области, заметна высокая активность таких злоумышленников от имени энергосбытовых организаций: «В рассылке аферисты обещают некий „перерасчёт“ или „скидки на оплату жилищно-коммунальных услуг“. Цель мошенников — выманить код подтверждения, который приходит в СМС. Получив его, злоумышленники получают доступ к личному кабинету на портале „Госуслуги“».

Как отмечает издание, злоумышленники активно действуют и в чатах другой тематики, включая туристические и игровые сообщества. В туристических чатах они предлагают туры и экскурсии по заниженным ценам с возможностью оплаты российскими картами. При этом вернуть такие платежи практически невозможно.

Атаки через игровые чаты выглядят ещё более изощрённо. Их целью может быть не только кража денег, вероятнее всего у родителей, но и вовлечение детей и подростков в противоправные действия.

После этого злоумышленники пытаются манипулировать или шантажировать таких «администраторов», угрожая им административной или даже уголовной ответственностью, в том числе по тяжёлым статьям. В итоге они добиваются доступа к учётным записям на портале «Госуслуги» и в других государственных сервисах. Дальше сценарии могут развиваться по-разному: от потери денег и оформления кредитов под давлением до вовлечения жертвы в уголовно наказуемые действия.

Как отметил независимый эксперт в сфере ИБ Константин Парфентьев, злоумышленники используют уже не только Telegram, как это было раньше, но и другие платформы. Кроме того, они стали тщательнее готовить атаки, собирая данные о потенциальных жертвах из открытых источников.

«Базовое правило нулевого доверия: входящие коды и личные данные — это цифровой эквивалент ключей от сейфа, — рекомендует Константин Парфентьев. — Передавать их нельзя ни под каким предлогом. Не вступайте в диалог с незнакомцами, которые добавили вас в группу. Любая реакция — это сигнал боту, что номер активен».

RSS: Новости на портале Anti-Malware.ru