Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Исследователи рассказали о новых кибератаках, в которых злоумышленники используют модель Text-to-SQL для создания вредоносного кода, позволяющего собирать конфиденциальную информацию и проводить DoS-атаки.

«Для лучшего взаимодействия с пользователями БД-приложения применяют ИИ-технологии, способные переводить вопросы человека в SQL-запросы. Такая техника носит название Text-to-SQL», — объясняет один из специалистов Шеффилдского университета Ксютан Пень.

«Мы выяснили, что злоумышленники могут обойти модели Text-to-SQL и создать вредоносный код с помощью специально подготовленных вопросов. В результате это может привести к утечке данных или DoS, поскольку злонамеренный код будет выполняться в базе данных».

Согласно отчёту, эксперты тестировали свои выводы на двух коммерческих решениях — BAIDU-UNIT и AI2sql. Таким образом у них получился первый в истории случай, когда модели обработки текстов на естественном языке (Natural Language Processing, NLP) использовались в качестве вектора кибератаки.

Так называемые «атаки чёрного ящика» можно сравнить с SQL-инъекцией, когда вредоносная нагрузка копируется в сконструированный SQL-запрос. В итоге такие запросы могут позволить атакующему модифицировать базы данных бэкенда и вызвать DoS на сервере.

 

Кроме того, эксперты изучали возможность компрометации предварительно обученных языковых моделей (PLM), что должно было приводить к генерации вредоносных команд по специальным триггерам.

«Есть много способов установки бэкдоров в PLM-фреймворках: замена слов, разработка специальных подсказок и модификация стилей», — отмечают исследователи.

Атаки бэкдора на четыре разные модели с открытым исходным кодом — BART-BASE, BART-LARGE, T5-BASE и T5-3B — показали 100-проценную успешность с незначительным влиянием на производительность. В реальном сценарии такие атаки будет трудно детектировать.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

76% россиян готовы доверить поиск партнёра искусственному интеллекту

Большинство россиян не против доверить поиски второй половинки искусственному интеллекту. По данным исследования «Лаборатории Касперского», 76% участников положительно относятся к идее ИИ-сервиса, который помогал бы подбирать романтического партнёра. А 65% и вовсе хотели бы попробовать разные функции ИИ в процессе знакомств — например, попросить совета по идеям для свиданий, подарков или тем для разговора.

Четверть опрошенных (24%) использовали бы ИИ, чтобы спланировать свидание, 20% — для выбора подарка, 19% — чтобы сделать свою анкету привлекательнее. В топ-5 запросов вошли также помощь в подборе тем для общения (17%) и консультации по выбору партнёра (16%).

«С того момента, как большие языковые модели получили широкое распространение, пользователи стремятся с их помощью автоматизировать разные жизненные задачи — в том числе и в сфере личных отношений, например поиск мест для свиданий. При этом порой люди даже готовы доверить ИИ принятие важных решений. Чат-боты действительно могут стать хорошим источником для вдохновения. Однако слепо полагаться на их рекомендации не стоит — они подвержены галлюцинациям, то есть могут выдавать информацию, не соответствующую действительности, которая будет звучать убедительно», — говорит Владислав Тушканов, руководитель группы исследований и разработки технологий машинного обучения в «Лаборатории Касперского».

Исследователи считают, что в будущем роль ИИ в дейтинге будет только расти. Например, он сможет анализировать предпочтения пользователя или даже создавать его цифровую копию для «пробного общения» с копией другого человека.

«Возможное будущее дейтинг-индустрии с применением продвинутого ИИ — создание цифровой копии человека для общения. Две таких копии после мэтча могли бы пообщаться без участия „оригинала“ и понять, есть ли совместимость. Если да, то следующим этапом уже станет чат или свидание живых участников. Искусственный интеллект не способен зажечь искру между людьми, но способен сократить время на поиск подходящего партнёра. А выстраивание искренних, доверительных отношений всегда будет на стороне реальных людей», — комментирует Игорь Кузнецов, CEO сервиса VK Знакомства.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru