В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

Ученые просят власти ввести обязательную маркировку контента, создаваемого нейросетями. Более того, необходима программа защиты критически важной инфраструктуры от кибератак с использованием таких систем, считают эксперты.

С предложением поставить на нейросети “водный знак” выступил Российский технологический университет (РТУ МИРЭА). Об этом говорится в письме ректора ВУЗа Станислава Куджа главе Минцифры Максуту Шадаеву.

“РТУ МИРЭА предлагает <...> закрепить обязательную маркировку контента, созданного с помощью технологии "нейросети", специальным графическим знаком в рамках федерального проекта "Искусственный интеллект" национальной программы "Цифровая экономика" и предусмотреть разработку соответствующего постановления правительства Российской Федерации”, — приводит выдержки из документа ТАСС.

Преподаватели технического университета также считают необходимым подготовить и утвердить программу защиты критически важной инфраструктуры от возможных кибератак с использованием нейросетей.

Беспокойство российских ученых вызывает и возможное использование утечек в связке с нейросетью.

Отдельным пунктом в приказ Минцифры "Об определении угроз безопасности персональных данных" они предлагают внести:

угрозы несанкционированного доступа к персональным данным людей без соответствующих полномочий в информационных системах и дальнейшего их использования с применением нейросетей.

Помимо этого, РТУ МИРЭА предлагает включить модуль "Противодействие неправомерному использованию нейросетей" в спецпроект Министерства цифрового развития, связи и массовых коммуникаций РФ "КиберЗОЖ" федерального проекта "Информационная безопасность".

Опасения ученых основываются на опросе экспертов, уточняется в письме ректора.

На первое место рейтинга опасностей нейросетей респонденты поставили возможный рост киберпреступности.

Повсеместное использование нейросетей даже в развлекательных целях несет опасность для сохранности персональных данных пользователей, отмечается в документе. Кроме того, совершенствование технологии нейросетей уже может серьезно сократить количество вакансий для людей в некоторых специальностях.

"Очевидно, что без введения дополнительных мер контроля за развитием искусственного интеллекта нейросети уже в ближайшие несколько лет смогут гораздо эффективнее, чем люди, взламывать защиту компьютерных программ, в том числе в критически важных для экономики сферах", — заявляют российские ученые. 

Минцифры письмо пока не комментировало.

Добавим, быстрый взлет нейросетей беспокоит не только отечественных исследователей, но и всё мировое сообщество. Открытое письмо об опасностях стремительного развития ИИ-технологий в марте подписали Илон Маск, Стив Возняк и ещё порядка 1300 учёных и предпринимателей со всего мира. На Anti-Malware.ru также вышел большой материал “Не шути с ChatGPT” о том, как ажиотажная нейросеть может изменить весь инфобез.

Браузер OpenAI можно было заставить спамить контактам в WhatsApp

ИИ-браузеры обещали самостоятельно разбираться с рутиной, но исследователи Zenity выяснили: иногда они столь же самостоятельно начинают выполнять команды злоумышленников. Специалисты обнаружили около 20 уязвимостей в браузерах и расширениях от OpenAI, Google, Anthropic, Microsoft и Perplexity.

Самый эффектный трюк провернули с OpenAI Atlas. Исследователи разместили на поддельной странице подписки скрытые инструкции на иврите.

Они убедили агента, что тот работает в песочнице с вымышленными пользователями, после чего Atlas открыл WhatsApp Web (принадлежит корпорации Meta, признанной экстремисткой и запрещённой в России) и начал рассылать сообщение контактам владельца аккаунта.

Получился зачаток цифрового червя: один заражённый пользователь зовёт остальных на ту же страницу.

Уязвимость находилась не в WhatsApp. Атакующие обманули сам ИИ-браузер, который смешал законную просьбу пользователя с командами сайта. В Zenity называют это столкновением намерений.

Затем исследователи отправили Atlas на Amazon. Агент добавил новый адрес доставки и положил планшет в корзину, но перед оплатой упёрся в защитные ограничения OpenAI. Казалось бы, приехали. Однако Atlas попросил совершить покупку встроенного помощника Rufus, и тот послушно оплатил товар, решив, что общается с владельцем аккаунта.

Другие найденные изъяны позволяли получать доступ к локальным устройствам, красть файлы, перехватывать управление менеджером паролей и выгружать историю браузера.

В OpenAI заявили, что получили отчёт Zenity в январе и уже усилили защиту Atlas. Сам браузер компания отключит 9 августа, а новые механизмы перенесёт в браузерные функции приложения ChatGPT.

RSS: Новости на портале Anti-Malware.ru