Роскомнадзор заказал сервис по ловле дипфейков

Роскомнадзор заказал сервис по ловле дипфейков

Роскомнадзор заказал сервис по ловле дипфейков

Роскомнадзор заинтересовался разработкой НИУ ИТМО в области распознавания лжи по видеозаписи. В ведомстве допускают, что систему могут использовать для выявления “дипфейков”. Решение пока только на английском языке.

О сервисе Expert на основе искусственного интеллекта сегодня пишет “Ъ”. Система позволит проверять видеозаписи выступлений на предмет лжи и манипуляций.

По словам одного из собеседников “Ъ”, прототип был представлен Роскомнадзору на заседании экспертного совета ГРЧЦ по ИИ в июле:

“Присутствовал глава Роскомнадзора Андрей Липов, которого решение заинтересовало. Он попросил как можно скорее передать его ведомству на тестирование”.

Сервис позволяет анализировать видеозаписи на предмет лжи и представляет интерес для оперативного выявления “дипфейков” (deepfake), уточнил глава Научно-технического центра ФГУП ГРЧЦ Александр Федотов:

“Если ИТМО сможет представить устойчиво работающую технологию в виде готового продукта, ГРЧЦ рассмотрит возможность ее применения”.

Expert анализирует видео или аудио, оценивая уверенность, уровень агрессии внутренней и внешней, конгруэнтность (уровень согласованности информации, передаваемой вербальным и невербальным способом) и противоречивость, сравнивает слова с научными статьями и высказываниями других специалистов.

Система заточена пока только под английский язык. Разработчики объясняют это популярностью именно английского, а эксперты “Ъ” — тем, что 90% российских разработок, связанных с ИИ, построены на основе скачанных открытых зарубежных библиотек вместе с дата-сетами для их обучения.

“Поэтому разработка ИТМО адаптирована для английского языка. Для переобучения под русский потребуется большой массив данных и затраты”, — говорит топ-менеджер профильной ИТ-компании.

Доработка для получения текста из речи на русском языке стоит в ближайших планах, заверяют в ИТМО. Там же добавили, что система уже прошла предварительное тестирование в преддверии выборов в Сенат США.

“Мы проанализировали опубликованные на YouTube интервью шести кандидатов на предмет противоречивости, агрессии и уверенности в себе”, — говорит руководитель научно-исследовательской лаборатории “Когнитивная невербалика” НЦКР ИТМО Олег Басов.

По его словам, в заявлениях трех кандидатов система обнаружила скрытую агрессию, а одного из них удалось уличить во лжи. Анализировал ли эксперт речь российских политиков на английском языке, не уточняется.

Подробнее про дипфейки можно прочитать в материале “Технологии Deepfake как угроза информационной безопасности”.

Новая вектор атаки заставляет ИИ не замечать опасные команды на сайтах

Специалисты LayerX описали новую атаку, которая бьёт по самому неприятному месту современных ИИ-ассистентов — разрыву между тем, что видит браузер, и тем, что анализирует модель. В результате пользователь может видеть на странице вполне конкретную вредоносную команду, а ИИ при проверке будет считать, что всё безопасно.

Схема построена на довольно изящном трюке с рендерингом шрифтов. Исследователи использовали кастомные шрифты, подмену символов и CSS, чтобы спрятать в HTML один текст, а пользователю в браузере показать совсем другой.

Для человека на странице отображается команда, которую предлагают выполнить, а вот ИИ-ассистент при анализе HTML видит только безобидное содержимое.

Именно в этом и заключается главная проблема. Ассистент смотрит на структуру страницы как на текст, а браузер превращает её в визуальную картинку. Если атакующий аккуратно разводит эти два слоя, получается ситуация, в которой пользователь и ИИ буквально смотрят на разные версии одной и той же страницы.

 

В качестве демонстрации LayerX собрала демонстрационный эксплойт на веб-странице, которая обещает некий бонус для игры BioShock, если выполнить показанную на экране команду. Пользователь, естественно, может спросить у ИИ-ассистента, безопасно ли это. И вот тут начинается самое неприятное: модель анализирует «чистую» HTML-версию, не замечает опасную команду и успокаивает пользователя.

 

То есть атака работает не за счёт взлома браузера или уязвимости в системе, а через старую добрую социальную инженерию, просто усиленную особенностями работы ИИ. Человеку показывают одно, а ассистенту — другое. И если пользователь привык доверять ответу модели, риск становится вполне реальным.

По данным LayerX, ещё в декабре 2025 года техника срабатывала против целого набора популярных ассистентов, включая ChatGPT, Claude, Copilot, Gemini, Leo, Grok, Perplexity и ряд других сервисов. При этом исследователи утверждают, что Microsoft была единственной компанией, которая приняла отчёт всерьёз и полностью закрыла проблему у себя. Остальные в основном сочли риск выходящим за рамки, потому что атака всё же требует социальной инженерии.

RSS: Новости на портале Anti-Malware.ru