В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

В России может появиться программа защиты КИИ от нейросетевых кибератак

Ученые просят власти ввести обязательную маркировку контента, создаваемого нейросетями. Более того, необходима программа защиты критически важной инфраструктуры от кибератак с использованием таких систем, считают эксперты.

С предложением поставить на нейросети “водный знак” выступил Российский технологический университет (РТУ МИРЭА). Об этом говорится в письме ректора ВУЗа Станислава Куджа главе Минцифры Максуту Шадаеву.

“РТУ МИРЭА предлагает <...> закрепить обязательную маркировку контента, созданного с помощью технологии "нейросети", специальным графическим знаком в рамках федерального проекта "Искусственный интеллект" национальной программы "Цифровая экономика" и предусмотреть разработку соответствующего постановления правительства Российской Федерации”, — приводит выдержки из документа ТАСС.

Преподаватели технического университета также считают необходимым подготовить и утвердить программу защиты критически важной инфраструктуры от возможных кибератак с использованием нейросетей.

Беспокойство российских ученых вызывает и возможное использование утечек в связке с нейросетью.

Отдельным пунктом в приказ Минцифры "Об определении угроз безопасности персональных данных" они предлагают внести:

угрозы несанкционированного доступа к персональным данным людей без соответствующих полномочий в информационных системах и дальнейшего их использования с применением нейросетей.

Помимо этого, РТУ МИРЭА предлагает включить модуль "Противодействие неправомерному использованию нейросетей" в спецпроект Министерства цифрового развития, связи и массовых коммуникаций РФ "КиберЗОЖ" федерального проекта "Информационная безопасность".

Опасения ученых основываются на опросе экспертов, уточняется в письме ректора.

На первое место рейтинга опасностей нейросетей респонденты поставили возможный рост киберпреступности.

Повсеместное использование нейросетей даже в развлекательных целях несет опасность для сохранности персональных данных пользователей, отмечается в документе. Кроме того, совершенствование технологии нейросетей уже может серьезно сократить количество вакансий для людей в некоторых специальностях.

"Очевидно, что без введения дополнительных мер контроля за развитием искусственного интеллекта нейросети уже в ближайшие несколько лет смогут гораздо эффективнее, чем люди, взламывать защиту компьютерных программ, в том числе в критически важных для экономики сферах", — заявляют российские ученые. 

Минцифры письмо пока не комментировало.

Добавим, быстрый взлет нейросетей беспокоит не только отечественных исследователей, но и всё мировое сообщество. Открытое письмо об опасностях стремительного развития ИИ-технологий в марте подписали Илон Маск, Стив Возняк и ещё порядка 1300 учёных и предпринимателей со всего мира. На Anti-Malware.ru также вышел большой материал “Не шути с ChatGPT” о том, как ажиотажная нейросеть может изменить весь инфобез.

Подпишитесь на новости

В НГУ создали платформу для проверки качества данных, на которых обучают ИИ

В Новосибирском государственном университете разработали «Каппу» — платформу для управления данными, на которых обучают ИИ. Она должна помочь разобраться, кто подготовил датасет, что в нём меняли и откуда взялась ошибка. Потому что кормить модель мусором, а потом удивляться её ответам — довольно странно.

О разработке и возможности подключения других вузов сообщил сам НГУ. Университетам предлагают бесплатную облачную версию на серверах НГУ либо платную установку в собственной инфраструктуре.

«Каппа» поддерживает разметку и проверку данных, фиксирует версии наборов и авторство изменений. Исправление ошибки сохраняется в новой версии, чтобы при следующем обучении не наступать на те же грабли.

Платформа также позволяет проверять разные модели на подготовленных датасетах. При обучении фиксируются версия данных и параметры, после — результаты тестирования на эталонных наборах. Во время эксплуатации телеметрия помогает отслеживать ошибки и замечать отклонения.

Локальная установка рассчитана в том числе на случаи, когда конфиденциальные данные нельзя выносить за пределы организации.

В репозитории разработчиков среди задач проекта указаны контроль обучения, отслеживание авторства разметки и соблюдения стандартов. Здесь ставка на прослеживаемость: прежде чем требовать от ИИ безупречных ответов, полезно выяснить, чему именно его учили.

RSS: Новости на портале Anti-Malware.ru