В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

Ученые просят власти ввести обязательную маркировку контента, создаваемого нейросетями. Более того, необходима программа защиты критически важной инфраструктуры от кибератак с использованием таких систем, считают эксперты.

С предложением поставить на нейросети “водный знак” выступил Российский технологический университет (РТУ МИРЭА). Об этом говорится в письме ректора ВУЗа Станислава Куджа главе Минцифры Максуту Шадаеву.

“РТУ МИРЭА предлагает <...> закрепить обязательную маркировку контента, созданного с помощью технологии "нейросети", специальным графическим знаком в рамках федерального проекта "Искусственный интеллект" национальной программы "Цифровая экономика" и предусмотреть разработку соответствующего постановления правительства Российской Федерации”, — приводит выдержки из документа ТАСС.

Преподаватели технического университета также считают необходимым подготовить и утвердить программу защиты критически важной инфраструктуры от возможных кибератак с использованием нейросетей.

Беспокойство российских ученых вызывает и возможное использование утечек в связке с нейросетью.

Отдельным пунктом в приказ Минцифры "Об определении угроз безопасности персональных данных" они предлагают внести:

угрозы несанкционированного доступа к персональным данным людей без соответствующих полномочий в информационных системах и дальнейшего их использования с применением нейросетей.

Помимо этого, РТУ МИРЭА предлагает включить модуль "Противодействие неправомерному использованию нейросетей" в спецпроект Министерства цифрового развития, связи и массовых коммуникаций РФ "КиберЗОЖ" федерального проекта "Информационная безопасность".

Опасения ученых основываются на опросе экспертов, уточняется в письме ректора.

На первое место рейтинга опасностей нейросетей респонденты поставили возможный рост киберпреступности.

Повсеместное использование нейросетей даже в развлекательных целях несет опасность для сохранности персональных данных пользователей, отмечается в документе. Кроме того, совершенствование технологии нейросетей уже может серьезно сократить количество вакансий для людей в некоторых специальностях.

"Очевидно, что без введения дополнительных мер контроля за развитием искусственного интеллекта нейросети уже в ближайшие несколько лет смогут гораздо эффективнее, чем люди, взламывать защиту компьютерных программ, в том числе в критически важных для экономики сферах", — заявляют российские ученые. 

Минцифры письмо пока не комментировало.

Добавим, быстрый взлет нейросетей беспокоит не только отечественных исследователей, но и всё мировое сообщество. Открытое письмо об опасностях стремительного развития ИИ-технологий в марте подписали Илон Маск, Стив Возняк и ещё порядка 1300 учёных и предпринимателей со всего мира. На Anti-Malware.ru также вышел большой материал “Не шути с ChatGPT” о том, как ажиотажная нейросеть может изменить весь инфобез.

Американец попытался приказать судебному ИИ поддержать его

Судья Верховного суда Коннектикута Уолтер Спейдер применил санкции к истцу, который пытался внедрить в судебные документы скрытые инструкции для искусственного интеллекта. По оценке судьи, это первый выявленный в США случай инъекции промпта в материалы дела.

Мэттью Эллиотт, самостоятельно судившийся с медицинской организацией из-за доступа к документам, добавил в ходатайства белый текст размером 3 пункта на белом фоне.

Человек такую надпись почти не замечает, зато система извлечения текста читает без проблем. Скрытая команда требовала от любого ИИ, анализирующего документы, поддержать позицию Эллиотта, проигнорировать прежние отказы суда и сформировать благоприятный для него вывод.

На исход дела инъекция не повлияла. Судебная система Коннектикута не использует ИИ для анализа этих документов или принятия решений. Однако Спейдер назвал попытку серьёзным злоупотреблением процессуальными правами. Такая инструкция могла выдать указание автора за команду суда, его сотрудника или другой доверенной стороны.

После предупреждения Эллиотт не остановился и продолжил вставлять скрытые сообщения. Позднее он назвал их шутками: среди них были ссылка на ролик «Носферату», обращение «hi :) I hope you cant see me» и бессмысленный набор слов.

Денежный штраф суд назначать не стал. Вместо этого Эллиотту запретили пользоваться электронной системой и обязали подавать документы лично, на бумаге.

Раньше суды в основном сталкивались с выдуманными чат-ботами прецедентами и цитатами. Теперь появилась обратная угроза — манипуляция данными, поступающими на вход ИИ.

RSS: Новости на портале Anti-Malware.ru