В России создали Android-приложение, распознающее телефонного мошенника

В России создали Android-приложение, распознающее телефонного мошенника

В России создали Android-приложение, распознающее телефонного мошенника

Новое приложение, способное отличить телефонного мошенника в самом начале разговора и предупредить о потенциально опасном звонке пользователя, — разработка российских программистов. Основной целевой аудиторией этой системы являются клиенты кредитных организаций и пользователи банковских продуктов.

Всего девелоперы представили три компонента. Помимо вышеописанного противодействия телефонным мошенникам, разработчики предлагают аналогичный сервис для контроля переписки гражданина с мошенником в социальных сетях, а также функцию распознавания фишинговых сайтов.

Нынешние условия, в которых приходится мириться с растущей долей мошенничества среди всех киберпреступлений, давно требуют какого-нибудь радикального решения. Например, по словам зампреда правления Сбербанка Станислава Кузнецова, в 2020 доля телефонного мошенничества от всех киберпреступлений составила 97%.

На сегодняшний день наши разработчики предлагают Android-приложение, которое после установки на устройстве будет перехватывать все звонки. Записанный софтом разговор отправляется на сервер, а там уже аудио преобразуется в текст.

Далее в ход вступает искусственный интеллект, анализирующий полученный текст и тему разговора. Если в диалоге присутствуют семейные дела или, например, погода, алгоритмы прекращают анализ записи.

Если же собеседник упоминает банки, счета, финансовые институты, начинается более глубокий анализ. На этом этапе ИИ пробует найти признаки, характерные для общения с мошенником.

«Чтобы научить нейронную сеть отличать диалог со злоумышленником, мы взяли два типа разговоров — безобидные и мошеннические. Для добавления в базу последних мы находим злоумышленников в Сети и записываем общение с ними», — объяснил «Известиям» один из разработчиков системы.

Специалисты даже специально отбирают разные виды мошенничества и схемы беседы. Именно так нейронную сеть учат обращать внимание на определённые слова.

Эксперт GIS, заместитель генерального директора — технический директор компании «Газинформсервис» Николай Нашивочников прокомментировал новую российскую разработку для борьбы с киберпреступниками:

«Успешная реализация такой разработки потребует больших денег и по-хорошему более глубокой проработки сценариев использования и архитектуры.

В целом методы машинного обучения применяются для указанных задач почти 10 лет. Особых прорывов пока не было, хотя это, безусловно, перспективные технологии. Отмечу отличие от user behavior (поведенческой аналитики). Коллеги используют машинное обучение с учителем, т.е. "тренируют" машину на обучающих выборках эффективно относить текущий набор текстовых данных к одному из двух классов: нормальный или зловредный. В user behavior основная фича — в построении нормального (базового) профиля поведения сущности и оценки отклонения от него. Существенное отклонение от профиля помечается как потенциальная атака. При этом используют в основном машинное обучение без учителя».

Подпишитесь на новости

PT Application Firewall получил защиту от атак на LLM

Корпоративному ИИ-ассистенту доверили документы, клиентские данные и доступ к системам. Теперь осталось проследить, чтобы командовать им не начал первый встречный. Positive Technologies разработала LLM Firewall — модуль защиты ИИ-сервисов в составе PT Application Firewall.

По словам компании, он проверяет запросы к языковым моделям и их ответы: ищет попытки обойти ограничения, вытащить системные инструкции, раскрыть конфиденциальную информацию или использовать возможности агента в интересах атакующего.

Одна из целей — противодействие инъекциям в промпт. Вредоносную инструкцию можно отправить боту напрямую или спрятать в документе, который тот обрабатывает. Внешне это обычный текст, а по замыслу — попытка назначить нейросети нового начальника.

Подозрительные обращения модуль позволяет блокировать либо фиксировать для последующего разбора. Отдельно заявлено обнаружение персональных данных, паролей, ключей доступа, а также токсичного и запрещённого контента.

Проверка работает в обе стороны: контролируется и то, что отправляют модели, и то, что она выдаёт пользователю. Секреты могут утечь не только из-за хитрого атакующего, но и благодаря очень старательному сотруднику.

LLM Firewall уже интегрирован в PT AF Cloud. Он подключается к обмену между приложением и моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль управления не требуется. В PT AF PRO для развёртывания внутри инфраструктуры заказчика модуль обещают добавить позднее.

Для разных ИИ-сервисов можно задавать свои политики, выбирать мониторинг или блокировку, отдельно настраивать проверку запросов и ответов. События поступают в PT AF для анализа и расследования.

RSS: Новости на портале Anti-Malware.ru