В России начнут маркировать контент, сгенерированный нейросетью

В России начнут маркировать контент, сгенерированный нейросетью

В России начнут маркировать контент, сгенерированный нейросетью

Материалы, созданные нейросетью, российские сервисы будут автоматически маркировать четкими и заметными графическими знаками. По словам Антона Немкина, члена комитета Госдумы по информационной политике, это поможет усмирить бесконтрольное использование ИИ.

Начальник управления киберразведки и цифровой криминалистики Angara Security Никита Леокумович сообщил изданию «КоммерсантЪ», что стремительно развивающийся искусственный интеллект несёт в себе опасность.

Например, он может нарушать нормы морали и права человека, создавая вымышленные факты и генерируя дипфейки. Именно поэтому очень важно маркировать материалы, сгенерированные с помощью нейросети, включая текст, изображения и видео.

Огромное количество исходных кодов нейросети доступно любому пользователю. Возможно, из-за этого число мошенников, использующих ИИ, заметно выросло.

Сейчас есть возможность проверить, сгенерировано ли изображение с помощью искусственного интеллекта или создано человеком. Пользователю достаточно загрузить картинку на сервис (есть как платные, так и бесплатные), где алгоритм, основанный на ИИ, даст ответ.

По подсчётам компании «Диалог Регионы», около 12 миллионов дипфейков было обнаружено на просторах рунета в 2023 году. Исследователи предполагают, что к 2024 году это число вырастет до 15 млн.

Ярослав Шицле, руководитель направления «Разрешение IT & IP споров» юридической фирмы «Рустам Курмаев и партнеры» предполагает, что если сервисы не будут придерживаться требований и автоматически маркировать создаваемый ИИ контент, их будут блокировать или даже привлекать к ответственности.

О том, что вид графических символов на материалах может повлиять на рекламный рынок, рассказал управляющий партнер агентства PRT Edelman Глеб Сахрай. Пока неизвестно, насколько большой будет надпись, и как будут относиться люди к контенту, зная, что он сгенерирован нейросетью. Возможно, рекламные агентства снова прибегнут к помощи копирайтеров и дизайнеров.

Примечательно, что подобный закон в Евросоюзе уже действует с марта этого года. По сообщениям компании OpenAI, изображения, созданные ChatGPT, уже маркируются. Видео, сгенерированные встроенными алгоритмами в TikTok, помечаются платформой.

ChatGPT тайно заставили выполнять команды из чужого аккаунта

Исследователи из Check Point Research обнаружили канал, позволявший передавать команды между изолированными сессиями ChatGPT из разных аккаунтов. В результате ассистент мог отвечать пользователю как обычно, а параллельно выполнять чужое задание и отправлять результат атакующему.

Канал проходил через внутренний JFrog Artifactory, к которому обращались контейнеры ChatGPT при установке программных пакетов.

Напрямую связаться друг с другом они не могли, но имели доступ к общему сервису. Исследователи выяснили, что контейнеры способны записывать данные в свойства объектов Artifactory и читать их из других аккаунтов. Метаданные репозитория фактически превратились в общий буфер обмена.


Чтобы запустить атаку, требовалось поместить вредоносную инструкцию в контекст жертвы — например, через скопированный промпт, общую беседу или специально созданный GPT. После обычного сообщения пользователя ассистент проверял скрытый канал, забирал оттуда задачу и выполнял её с правами текущей сессии.


В демонстрации ChatGPT получил данные из подключённого Gmail жертвы и передал их исследовательскому аккаунту. На экране при этом появился нормальный ответ на исходный вопрос. Единственной подсказкой оставалась небольшая отметка Talked to Gmail — уже после чтения почты.


Масштаб возможной утечки зависел от полномочий сессии: атакующему потенциально становились доступны история чата, загруженные файлы и данные из подключённых Gmail, Google Drive, Microsoft Teams или GitHub.

Check Point сообщила о проблеме OpenAI. Корпорация подтвердила, что задействованный экземпляр Artifactory выведен из эксплуатации, поэтому описанный канал больше не работает. Данных о его использовании в реальных атаках нет.

RSS: Новости на портале Anti-Malware.ru