ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

ИСП РАН работает над маркировкой дипфейков

Директор Института системного программирования РАН им. В. П. Иванникова академик Арутюн Аветисян в кулуарах открытой конференции ИСП РАН заявил о том, что институт работает над цифровыми метками для маркировки контента, сгенерированного искусственным интеллектом (ИИ).

Пока, как отметил Арутюн Аветисян в беседе с корреспондентом ТАСС на полях конференции, готовые инструменты «позволяющие автоматически однозначно идентифицировать сгенерированный ИИ контент», отсутствуют. Причем их нет не только в России, но и в любой другой стране мира.

Директор ИСП РАН заявил, что в институте уже работают над своего рода цифровыми водяными знаками для маркировки материалов, сгенерированных с помощью ИИ. Это позволит защитить пользователей от угроз, которые несет распространение ложных данных.

Уже в первом квартале 2024 года, по данным Positive Technologies, дипфейки фигурировали в 85% атак на частных лиц с использованием методов социальной инженерии.

Необходимость маркирования такого контента отражена в регуляторных документах целого ряда стран, включая Россию, США, а также Евросоюз.

«[В ИСП РАН разработана] технология DocMarking, использующая машинное обучение для внедрения незаметных меток в изображения или видеопоток. Изначально мы применяли ее для борьбы с утечками конфиденциальных документов, а теперь адаптируем для пометки сгенерированного контента», — заявил Арутюн Аветисян корреспонденту ТАСС.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Из-за вайб-кодинга доля уязвимостей в ИИ-сервисах достигла 5%

Эксперты центра расследования киберугроз Solar 4RAYS (группа компаний «Солар») сообщили о новом тренде: в третьем квартале 2025 года 5% всех обнаруженных уязвимостей пришлись на ИИ-сервисы. Раньше таких случаев просто не было.

По мнению специалистов, всплеск связан с популярностью так называемого «вайб-кодинга» — когда разработчики используют нейросети для генерации кода без последующей проверки и тестирования.

Почти 300 уязвимостей за квартал

В обзор Solar 4RAYS вошла статистика по более чем 200 продуктам — веб-приложениям, сайтам и сетевому оборудованию. Всего за квартал эксперты выявили 296 уязвимостей, что на 38% больше, чем во втором квартале.

81% из них имеют сетевой вектор, то есть эксплуатируются через протоколы вроде HTTP, SSH, SMB и др. Причём 67% уязвимостей признаны критическими — это на 7% больше, чем ранее.

Бреши в ИИ-сервисах обнаружены в таких платформах, как Aibox, Liner, Telegai, Deepy и Chaindesk. В одном из кейсов — на платформе Ai2 Playground — баг позволял получить доступ к перепискам пользователей с чат-ботом.

В Solar 4RAYS уточняют, что большинство таких багов несложные и связаны с тем, что многие ИИ-проекты всё ещё находятся на стадии стартапов и не уделяют должного внимания безопасности.

Помимо ИИ-сервисов, 9% всех уязвимостей пришлись на WordPress, ещё 5% — на сетевое оборудование и столько же — на библиотеки для Node.js.

«Многие уязвимости связаны с классическими проблемами вроде XSS и IDOR. Они часто возникают, когда код создаётся искусственным интеллектом без ручной проверки. В индустрии это называют вайб-кодингом — программированием “на вдохновении”, без тестов и валидации данных», — объясняет Сергей Беляев, аналитик Solar 4RAYS.

Он добавляет, что ажиотаж вокруг ИИ в программировании стал одной из причин роста таких показателей. Чтобы избежать проблем, разработчикам стоит уделять особое внимание обработке пользовательских данных и проверке кода — как на клиентской, так и на серверной стороне.

По данным Solar 4RAYS, большинство найденных уязвимостей уже устранено, а информация о них будет использована для обновления правил обнаружения в продуктах и сервисах «Солара».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru