При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

При внедрении ИИ вопрос доверия и безопасности стал ключевым

Вопросы доверия и безопасности сервисов искусственного интеллекта являются наиболее сложными при внедрении инструментов с ИИ в промышленную эксплуатацию. К такому выводу пришли участники пленарной дискуссии на Открытой конференции Института системного программирования РАН им. В. П. Иванникова.

Первым данную проблему обозначил заместитель министра цифрового развития, связи и массовых коммуникаций Александр Шойтов.

По его словам, она начала возникать по мере того, как внедрение ИИ начало переходить от ограниченных пилотов к масштабным внедрениям, особенно в таких сферах, как государственные информационные системы и все, что связано с работой на объектах, отнесенных к сфере критической информационной инфраструктуры.

Решение данной проблемы, как подчеркнул Александр Шойтов, требует совместных усилий разработчиков, научного сообщества и органов власти. При этом он напомнил о задаче, поставленной высшим руководством страны, добиться того, чтобы регулирование не являлось тормозом для развития технологий, что влечет риск технологического отставания от передовых стран.

Другим риском, по мнению Александра Шойтова, является усложнение внедрения данных технологий из-за завышенных, труднореализуемых и дорогостоящих мер по защите. Другой проблемой является интерпретация результатов, которые выдает ИИ.

Как отметил заместитель министра цифрового развития, основные риски уже определены, как и методы их компенсации. Это прежде всего использование доверенных и безопасных фреймворков, а также обезличивание данных (персональных в первую очередь).

Генеральный директор Национального технологического центра цифровой криптографии Игорь Качалин назвал основной задачей преодоление ситуации, когда инструментарий, использующий ИИ, является «черным ящиком», принцип работы которого непонятен.

Актуальной задачей остается регулирование так называемых дипфейков, и реальные шаги по ее решению Александр Шойтов анонсировал на ближайшее время. Вице-президент ПАО «Транснефть» Андрей Бадалов назвал эту технологию уже широко применяемой злоумышленниками в ходе целевых атак на персонал, особенно в ходе целевого фишинга или при реализации схемы «фейк-босс». Данные техники применяются для получения необходимых злоумышленникам данных в компании.

Андрей Бадалов назвал одной из важнейших задач обеспечение качества данных. Это касается как тех наборов данных, на которых обучают нейросети, так и тех, с которыми ИИ работает. Однако Андрей Бадалов выразил уверенность, что данную проблему удастся решить. Игорь Качалин на 2025 год анонсировал появление сервисов, направленных на защиту передаваемых данных от искажений и подмены.

Заместитель министра энергетики Эдуард Шереметцев назвал сложной проблемой также хранение и передачу данных, которых отрасль накапливает 3 эксабайта за один день. Кроме того, он обозначил проблему разделения ответственности между теми, кто ИИ разрабатывает и кто эксплуатирует: нельзя привлекать к ответственности оператора, который принял решение на основании полученных от аналитической системы данных, за которыми стоит ошибка в алгоритме или уязвимость. Александр Шойтов анонсировал начало большой работы в данном направлении уже в начале 2025 года.

Начальник 2 управления ФСТЭК России Дмитрий Шевцов напомнил, что ИИ и машинное обучение давно используются в средствах защиты информации. Без них невозможно выявление вредоносной активности. Он выразил уверенность, что многие проблемы можно решить через внедрение технологий безопасной разработки.

Тут большую роль может сыграть Консорциум безопасной разработки ИИ, созданный в мае 2024 года. Число его участников уже достигло 12, а уже в январе, как анонсировал Александр Шойтов, к нему присоединится еще 16 компаний и организаций.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Шпион на основе Stealerium — находка для бытового шантажиста

В этом году в Proofpoint зафиксировали рост активности распространителей троянов на базе opensource-проекта Stealerium. Все замеченные варианты PoC-стилера проявляли особое рвение при просмотре жертвой контента 18+.

Исходники Stealerium были выложены на GitHub «в образовательных целях» в 2022 году и доступен до сих пор. Как и следовало ожидать, их стали брать за основу злоумышленники — появление Phantom Stealer тому живой пример.

Создаваемые ими модификации отличаются от других стилеров повышенным интересом к «клубничке». Кроме кражи системных данных, файлов, сохраненных в приложениях учеток, куки и финансовой информации, они умеют фиксировать заходы жертвы на порносайты, делать скриншоты и включать веб-камеру при просмотре такого контента.

Открытие целевых страниц в браузере Stealerium-подобный вредонос отслеживает по заданным словам — «porn», «sex» и т. п. Захваченные изображения отсылаются оператору по электронной почте, через Telegram или Discord и впоследствии могут быть использованы для шантажа.

 

Имейл-рассылки, нацеленные на распространение Stealerium-зловредов, проводятся различным тиражом, от пары сотен до десятков тысяч сообщений. Поддельные письма с аттачем имитируют послания разных организаций — благотворительных фондов, банков, судов, турагентств и даже ЗАГСов.

Прикрепленные файлы отличаются разнообразием форматов: RAR, JS, VBS, ISO, IMG, ACE. По данным экспертов, подобные вредоносные фальшивки были направлены в сотни учреждений из разных стран.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru