При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

Вопросы доверия и безопасности сервисов искусственного интеллекта являются наиболее сложными при внедрении инструментов с ИИ в промышленную эксплуатацию. К такому выводу пришли участники пленарной дискуссии на Открытой конференции Института системного программирования РАН им. В. П. Иванникова.

Первым данную проблему обозначил заместитель министра цифрового развития, связи и массовых коммуникаций Александр Шойтов.

По его словам, она начала возникать по мере того, как внедрение ИИ начало переходить от ограниченных пилотов к масштабным внедрениям, особенно в таких сферах, как государственные информационные системы и все, что связано с работой на объектах, отнесенных к сфере критической информационной инфраструктуры.

Решение данной проблемы, как подчеркнул Александр Шойтов, требует совместных усилий разработчиков, научного сообщества и органов власти. При этом он напомнил о задаче, поставленной высшим руководством страны, добиться того, чтобы регулирование не являлось тормозом для развития технологий, что влечет риск технологического отставания от передовых стран.

Другим риском, по мнению Александра Шойтова, является усложнение внедрения данных технологий из-за завышенных, труднореализуемых и дорогостоящих мер по защите. Другой проблемой является интерпретация результатов, которые выдает ИИ.

Как отметил заместитель министра цифрового развития, основные риски уже определены, как и методы их компенсации. Это прежде всего использование доверенных и безопасных фреймворков, а также обезличивание данных (персональных в первую очередь).

Генеральный директор Национального технологического центра цифровой криптографии Игорь Качалин назвал основной задачей преодоление ситуации, когда инструментарий, использующий ИИ, является «черным ящиком», принцип работы которого непонятен.

Актуальной задачей остается регулирование так называемых дипфейков, и реальные шаги по ее решению Александр Шойтов анонсировал на ближайшее время. Вице-президент ПАО «Транснефть» Андрей Бадалов назвал эту технологию уже широко применяемой злоумышленниками в ходе целевых атак на персонал, особенно в ходе целевого фишинга или при реализации схемы «фейк-босс». Данные техники применяются для получения необходимых злоумышленникам данных в компании.

Андрей Бадалов назвал одной из важнейших задач обеспечение качества данных. Это касается как тех наборов данных, на которых обучают нейросети, так и тех, с которыми ИИ работает. Однако Андрей Бадалов выразил уверенность, что данную проблему удастся решить. Игорь Качалин на 2025 год анонсировал появление сервисов, направленных на защиту передаваемых данных от искажений и подмены.

Заместитель министра энергетики Эдуард Шереметцев назвал сложной проблемой также хранение и передачу данных, которых отрасль накапливает 3 эксабайта за один день. Кроме того, он обозначил проблему разделения ответственности между теми, кто ИИ разрабатывает и кто эксплуатирует: нельзя привлекать к ответственности оператора, который принял решение на основании полученных от аналитической системы данных, за которыми стоит ошибка в алгоритме или уязвимость. Александр Шойтов анонсировал начало большой работы в данном направлении уже в начале 2025 года.

Начальник 2 управления ФСТЭК России Дмитрий Шевцов напомнил, что ИИ и машинное обучение давно используются в средствах защиты информации. Без них невозможно выявление вредоносной активности. Он выразил уверенность, что многие проблемы можно решить через внедрение технологий безопасной разработки.

Тут большую роль может сыграть Консорциум безопасной разработки ИИ, созданный в мае 2024 года. Число его участников уже достигло 12, а уже в январе, как анонсировал Александр Шойтов, к нему присоединится еще 16 компаний и организаций.

Мошенники делают россиян администраторами опасных каналов ради шантажа

Злоумышленники начали использовать новую тактику при групповых атаках. Они наделяют случайных людей правами администраторов каналов с противоправным контентом, а затем с помощью шантажа пытаются выманить у них учётные данные или деньги.

О широком распространении таких схем сообщают «Известия» со ссылкой на свои источники.

Злоумышленники назначают случайных пользователей администраторами различных групп и каналов, где распространяется контент, нарушающий российское законодательство. Обычно, как рассказал источник издания в правоохранительных органах, жертвами становятся дети, подростки и молодые люди.

Как рассказал собеседник издания, который сам столкнулся с попыткой такой атаки, уведомление обычно выглядит примерно так: «Предыдущий владелец канала (...) передал вам права на него. Теперь вы новый владелец этого канала и отвечаете за содержание публикаций в нём».

В описанном случае речь шла о канале с относительно небольшим числом подписчиков. В нём публиковались новости, в том числе на криминальные и военные темы, причём часть материалов нарушала законодательство.

«Существенное количество обращений связано с обманом или попытками обмана в реальных домовых чатах либо в чатах, которые злоумышленники создают под видом сообществ жильцов — районных, домовых, подъездных, — рассказал источник в правоохранительных органах. — Ещё одна популярная в последние месяцы уловка — создание чатов от имени „Минчистоты“, снабжающих компаний, энергетиков. Людей без их согласия добавляют в такие сообщества, и уже это должно насторожить пользователя. Цель одна — выведать чувствительную информацию, перевести общение в личные чаты и усыпить бдительность собеседников».

Как отметили в пресс-службе Министерства энергетики Московской области, заметна высокая активность таких злоумышленников от имени энергосбытовых организаций: «В рассылке аферисты обещают некий „перерасчёт“ или „скидки на оплату жилищно-коммунальных услуг“. Цель мошенников — выманить код подтверждения, который приходит в СМС. Получив его, злоумышленники получают доступ к личному кабинету на портале „Госуслуги“».

Как отмечает издание, злоумышленники активно действуют и в чатах другой тематики, включая туристические и игровые сообщества. В туристических чатах они предлагают туры и экскурсии по заниженным ценам с возможностью оплаты российскими картами. При этом вернуть такие платежи практически невозможно.

Атаки через игровые чаты выглядят ещё более изощрённо. Их целью может быть не только кража денег, вероятнее всего у родителей, но и вовлечение детей и подростков в противоправные действия.

После этого злоумышленники пытаются манипулировать или шантажировать таких «администраторов», угрожая им административной или даже уголовной ответственностью, в том числе по тяжёлым статьям. В итоге они добиваются доступа к учётным записям на портале «Госуслуги» и в других государственных сервисах. Дальше сценарии могут развиваться по-разному: от потери денег и оформления кредитов под давлением до вовлечения жертвы в уголовно наказуемые действия.

Как отметил независимый эксперт в сфере ИБ Константин Парфентьев, злоумышленники используют уже не только Telegram, как это было раньше, но и другие платформы. Кроме того, они стали тщательнее готовить атаки, собирая данные о потенциальных жертвах из открытых источников.

«Базовое правило нулевого доверия: входящие коды и личные данные — это цифровой эквивалент ключей от сейфа, — рекомендует Константин Парфентьев. — Передавать их нельзя ни под каким предлогом. Не вступайте в диалог с незнакомцами, которые добавили вас в группу. Любая реакция — это сигнал боту, что номер активен».

RSS: Новости на портале Anti-Malware.ru