В Москве тестируют бесплатный ИИ-сервис защиты от кибермошенников

В Москве тестируют бесплатный ИИ-сервис защиты от кибермошенников

В Москве тестируют бесплатный ИИ-сервис защиты от кибермошенников

Московский Департамент информационных технологий (ДИТ) предлагает гражданам принять участие в тестировании нового ИИ-инструмента защиты от мошенников, созданного в рамках ИБ-проекта «Перезвони сам».

Специализированный телеграм-бот выполняет проверку текстовых и голосовых сообщений на наличие дипфейков и других признаков обмана. Доступ к нему предоставляется на безвозмездной основе.

«Мы создали бесплатный инструмент, который поможет проверить полученные сообщения, — заявила Валентина Шилина, руководитель проекта «Перезвони сам» столичного ДИТ. — Телеграм-бот анализирует присланные скриншоты переписки, текстовое или голосовое сообщение и помогает определить, есть ли в нем признаки мошенничества. Сервис работает с применением искусственного интеллекта, включая большие языковые модели и технологии оптического распознавания текста и речи».

Выявляя попытки мошенничества, ИИ-анализатор работает по таким сигналам, как эмоциональное давление, манипуляции, просьбы о предоставлении персональных данных или переводе денег. В текстах он также выискивает подозрительные ссылки, в аудиозаписях — признаки синтезированной речи.

По результатам анализа умный бот выводит процент вероятности обмана и основания для подозрений. Пользовательский ввод планируется использовать для обучения ИИ-модели с целью повышения эффективности и пополнения базы знаний о мошеннических схемах.

Новый сервис запущен в пилотном режиме до 27 февраля; получить доступ к телеграм-боту можно по прямой ссылке или с сайта «Перезвони сам». Проверки показали, что текстовые сообщения новый инструмент пока обрабатывает лучше, чем скриншоты документов и аудиофайлы.

 

Отзывы и замечания москвичей принимаются по телефону горячей линии и через форму обратной связи и будут учтены при доработке ИИ-сервиса. Согласно планам, он должен заработать в полном объеме весной.

Московская новинка — далеко не первый ИИ-инструмент киберзащиты, созданный в России. Так, в начале прошлого года была обнародована разработка Кубанского государственного технического университета: Python-софт, использующий ИИ для выявления мошенников в чатах мессенджеров.

А в ноябре стало известно, что ИИ помог российским киберкопам найти и задержать участника группы телефонных мошенников, действовавших на территории Ростовской области.

Новая вектор атаки заставляет ИИ не замечать опасные команды на сайтах

Специалисты LayerX описали новую атаку, которая бьёт по самому неприятному месту современных ИИ-ассистентов — разрыву между тем, что видит браузер, и тем, что анализирует модель. В результате пользователь может видеть на странице вполне конкретную вредоносную команду, а ИИ при проверке будет считать, что всё безопасно.

Схема построена на довольно изящном трюке с рендерингом шрифтов. Исследователи использовали кастомные шрифты, подмену символов и CSS, чтобы спрятать в HTML один текст, а пользователю в браузере показать совсем другой.

Для человека на странице отображается команда, которую предлагают выполнить, а вот ИИ-ассистент при анализе HTML видит только безобидное содержимое.

Именно в этом и заключается главная проблема. Ассистент смотрит на структуру страницы как на текст, а браузер превращает её в визуальную картинку. Если атакующий аккуратно разводит эти два слоя, получается ситуация, в которой пользователь и ИИ буквально смотрят на разные версии одной и той же страницы.

 

В качестве демонстрации LayerX собрала демонстрационный эксплойт на веб-странице, которая обещает некий бонус для игры BioShock, если выполнить показанную на экране команду. Пользователь, естественно, может спросить у ИИ-ассистента, безопасно ли это. И вот тут начинается самое неприятное: модель анализирует «чистую» HTML-версию, не замечает опасную команду и успокаивает пользователя.

 

То есть атака работает не за счёт взлома браузера или уязвимости в системе, а через старую добрую социальную инженерию, просто усиленную особенностями работы ИИ. Человеку показывают одно, а ассистенту — другое. И если пользователь привык доверять ответу модели, риск становится вполне реальным.

По данным LayerX, ещё в декабре 2025 года техника срабатывала против целого набора популярных ассистентов, включая ChatGPT, Claude, Copilot, Gemini, Leo, Grok, Perplexity и ряд других сервисов. При этом исследователи утверждают, что Microsoft была единственной компанией, которая приняла отчёт всерьёз и полностью закрыла проблему у себя. Остальные в основном сочли риск выходящим за рамки, потому что атака всё же требует социальной инженерии.

RSS: Новости на портале Anti-Malware.ru