ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

Директор Института системного программирования РАН им. В. П. Иванникова академик Арутюн Аветисян в кулуарах открытой конференции ИСП РАН заявил о том, что институт работает над цифровыми метками для маркировки контента, сгенерированного искусственным интеллектом (ИИ).

Пока, как отметил Арутюн Аветисян в беседе с корреспондентом ТАСС на полях конференции, готовые инструменты «позволяющие автоматически однозначно идентифицировать сгенерированный ИИ контент», отсутствуют. Причем их нет не только в России, но и в любой другой стране мира.

Директор ИСП РАН заявил, что в институте уже работают над своего рода цифровыми водяными знаками для маркировки материалов, сгенерированных с помощью ИИ. Это позволит защитить пользователей от угроз, которые несет распространение ложных данных.

Уже в первом квартале 2024 года, по данным Positive Technologies, дипфейки фигурировали в 85% атак на частных лиц с использованием методов социальной инженерии.

Необходимость маркирования такого контента отражена в регуляторных документах целого ряда стран, включая Россию, США, а также Евросоюз.

«[В ИСП РАН разработана] технология DocMarking, использующая машинное обучение для внедрения незаметных меток в изображения или видеопоток. Изначально мы применяли ее для борьбы с утечками конфиденциальных документов, а теперь адаптируем для пометки сгенерированного контента», — заявил Арутюн Аветисян корреспонденту ТАСС.

Каждая пятая утечка уже связана с теневым использованием ИИ

Сотрудники всё чаще отправляют рабочие данные в нейросети быстрее, чем службы ИБ успевают понять, что вообще происходит. По данным «Информзащиты», в июле 2026 года уже 20% организаций, столкнувшихся с утечками, хотя бы частично связали инциденты с несанкционированным использованием ИИ. Годом ранее таких случаев было около 12%.

И это не безобидное попросил чат-бота поправить письмо. В публичные ИИ-сервисы загружают договоры, исходный код, внутреннюю переписку, клиентские обращения и техническую документацию.

На веб-интерфейсы нейросетей приходится около 42% подобных инцидентов. Ещё 24% утечек связаны с браузерными расширениями и ИИ-помощниками.

Они получают доступ к вкладкам, истории сессий и cookie, а потом тихо делают то, на что им когда-то нажали «Разрешить». Самостоятельно подключённые API и библиотеки дают ещё 19%, инструменты для программирования — 15%.

Проблема в том, что классические средства защиты часто не видят ничего подозрительного. Домен легитимный, TLS работает, вредоносной сигнатуры нет. Только конфиденциальный документ уже уехал во внешний сервис.

Почти у трети компаний, использующих ИИ, находят хотя бы один API-ключ или секрет в небезопасном месте: конфигурациях, тестовых скриптах, рабочих станциях и Git-репозиториях. Получив такой ключ, атакующий может не только потратить чужой бюджет, но и добраться до подключённых баз данных и RAG-хранилищ.

Дороже всего здесь обходится позднее обнаружение. Инциденты с теневым ИИ в среднем увеличивают ущерб примерно на $670 тыс.

Эксперты советуют начинать не с тотальных запретов, а с инвентаризации сервисов, поиска ключей, контроля расширений и классификации данных. Потому что запретить ChatGPT приказом легко. Гораздо сложнее заметить, что сотрудник уже загрузил туда половину проекта.

RSS: Новости на портале Anti-Malware.ru