В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

Ученые просят власти ввести обязательную маркировку контента, создаваемого нейросетями. Более того, необходима программа защиты критически важной инфраструктуры от кибератак с использованием таких систем, считают эксперты.

С предложением поставить на нейросети “водный знак” выступил Российский технологический университет (РТУ МИРЭА). Об этом говорится в письме ректора ВУЗа Станислава Куджа главе Минцифры Максуту Шадаеву.

“РТУ МИРЭА предлагает <...> закрепить обязательную маркировку контента, созданного с помощью технологии "нейросети", специальным графическим знаком в рамках федерального проекта "Искусственный интеллект" национальной программы "Цифровая экономика" и предусмотреть разработку соответствующего постановления правительства Российской Федерации”, — приводит выдержки из документа ТАСС.

Преподаватели технического университета также считают необходимым подготовить и утвердить программу защиты критически важной инфраструктуры от возможных кибератак с использованием нейросетей.

Беспокойство российских ученых вызывает и возможное использование утечек в связке с нейросетью.

Отдельным пунктом в приказ Минцифры "Об определении угроз безопасности персональных данных" они предлагают внести:

угрозы несанкционированного доступа к персональным данным людей без соответствующих полномочий в информационных системах и дальнейшего их использования с применением нейросетей.

Помимо этого, РТУ МИРЭА предлагает включить модуль "Противодействие неправомерному использованию нейросетей" в спецпроект Министерства цифрового развития, связи и массовых коммуникаций РФ "КиберЗОЖ" федерального проекта "Информационная безопасность".

Опасения ученых основываются на опросе экспертов, уточняется в письме ректора.

На первое место рейтинга опасностей нейросетей респонденты поставили возможный рост киберпреступности.

Повсеместное использование нейросетей даже в развлекательных целях несет опасность для сохранности персональных данных пользователей, отмечается в документе. Кроме того, совершенствование технологии нейросетей уже может серьезно сократить количество вакансий для людей в некоторых специальностях.

"Очевидно, что без введения дополнительных мер контроля за развитием искусственного интеллекта нейросети уже в ближайшие несколько лет смогут гораздо эффективнее, чем люди, взламывать защиту компьютерных программ, в том числе в критически важных для экономики сферах", — заявляют российские ученые. 

Минцифры письмо пока не комментировало.

Добавим, быстрый взлет нейросетей беспокоит не только отечественных исследователей, но и всё мировое сообщество. Открытое письмо об опасностях стремительного развития ИИ-технологий в марте подписали Илон Маск, Стив Возняк и ещё порядка 1300 учёных и предпринимателей со всего мира. На Anti-Malware.ru также вышел большой материал “Не шути с ChatGPT” о том, как ажиотажная нейросеть может изменить весь инфобез.

64% ИИ-приложений для iPhone оказались с дырой в защите

Исследователи из Wake Forest University обнаружили масштабную проблему в экосистеме iOS-приложений с искусственным интеллектом. Анализ показал, что сотни программ фактически оставляют открытыми ключи доступа к нейросетям и серверным компонентам, что позволяет злоумышленникам использовать их инфраструктуру в своих целях.

Для исследования специалисты разработали инструмент LLMKeyLens, который анализирует сетевой трафик приложений и выявляет утечки учетных данных, используемых для работы с OpenAI, Gemini, DeepSeek, Mistral и другими ИИ-сервисами.

Из более чем 38 тысяч приложений App Store исследователи отобрали 444 программы с подтверждёнными функциями на базе больших языковых моделей. Результаты оказались неприятными: у 282 приложений, или 64% выборки, были обнаружены утечки ключей доступа или других механизмов подключения к ИИ-сервисам.

 

Причем в 146 случаях проблема позволяла напрямую использовать чужие ресурсы. Некоторые приложения передавали API-ключи OpenAI и других провайдеров в открытом виде прямо в сетевых запросах. Другие скрывали ключи на сервере, но оставляли открытыми прокси-серверы, через которые любой желающий мог отправлять запросы к нейросетям.

Особенно часто проблемы встречались в приложениях для продуктивности, обучения, развлечений, здоровья и образа жизни. Лидером по доле уязвимых программ стала категория Health & Fitness.

Исследователи также обнаружили крайне небрежное отношение к защите токенов доступа. В некоторых случаях JWT-токены действовали годами, а отдельные системы выдавали их со сроком действия до 100 лет. Более того, некоторые серверы принимали даже просроченные токены.

После обнаружения проблем разработчиков всех 282 приложений уведомили об уязвимостях. Через 90 дней специалисты провели повторную проверку. Патчи выпустили только 78 приложений — это около 28% от числа уязвимых программ. Еще 66 приложений остались доступными для эксплуатации даже после уведомления.

Авторы исследования считают, что причина проблемы проста: многие разработчики стремятся максимально быстро интегрировать ИИ-функции и уделяют недостаточно внимания защите инфраструктуры.

RSS: Новости на портале Anti-Malware.ru