Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Исследователи рассказали о новых кибератаках, в которых злоумышленники используют модель Text-to-SQL для создания вредоносного кода, позволяющего собирать конфиденциальную информацию и проводить DoS-атаки.

«Для лучшего взаимодействия с пользователями БД-приложения применяют ИИ-технологии, способные переводить вопросы человека в SQL-запросы. Такая техника носит название Text-to-SQL», — объясняет один из специалистов Шеффилдского университета Ксютан Пень.

«Мы выяснили, что злоумышленники могут обойти модели Text-to-SQL и создать вредоносный код с помощью специально подготовленных вопросов. В результате это может привести к утечке данных или DoS, поскольку злонамеренный код будет выполняться в базе данных».

Согласно отчёту, эксперты тестировали свои выводы на двух коммерческих решениях — BAIDU-UNIT и AI2sql. Таким образом у них получился первый в истории случай, когда модели обработки текстов на естественном языке (Natural Language Processing, NLP) использовались в качестве вектора кибератаки.

Так называемые «атаки чёрного ящика» можно сравнить с SQL-инъекцией, когда вредоносная нагрузка копируется в сконструированный SQL-запрос. В итоге такие запросы могут позволить атакующему модифицировать базы данных бэкенда и вызвать DoS на сервере.

 

Кроме того, эксперты изучали возможность компрометации предварительно обученных языковых моделей (PLM), что должно было приводить к генерации вредоносных команд по специальным триггерам.

«Есть много способов установки бэкдоров в PLM-фреймворках: замена слов, разработка специальных подсказок и модификация стилей», — отмечают исследователи.

Атаки бэкдора на четыре разные модели с открытым исходным кодом — BART-BASE, BART-LARGE, T5-BASE и T5-3B — показали 100-проценную успешность с незначительным влиянием на производительность. В реальном сценарии такие атаки будет трудно детектировать.

X запретила Grok «раздевать» людей на изображениях после скандала

Платформа X (прежний Twitter) Илона Маска объявила о новых ограничениях для своего ИИ-бота Grok после волны международной критики и расследований, связанных с генерированием непристойных изображений реальных людей — включая женщин и детей. Об этом компания сообщила 14 января.

Поводом стал резонанс вокруг так называемого Spicy Mode, который позволял с помощью простых текстовых запросов «раздевать» людей на фотографиях — например, «надень на неё бикини» или «убери одежду».

Эти возможности вызвали шквал жалоб, блокировки сервиса в отдельных странах и проверку со стороны регуляторов.

В X заявили, что приняли технические меры, чтобы пресечь подобные сценарии. В частности, компания начнёт блокировать по геолокации возможность создавать или редактировать изображения людей в «откровенной одежде» — бикини, нижнем белье и аналогичных образах — в тех юрисдикциях, где такие действия нарушают закон.

«Мы внедрили технологические ограничения, которые не позволяют Grok редактировать изображения реальных людей в откровенной одежде, включая бикини», — говорится в заявлении команды безопасности X.

Ограничения распространяются на всех пользователей, включая платных подписчиков.

Кроме того, в качестве «дополнительного уровня защиты» X решила оставить генерацию и редактирование изображений через Grok только для платных аккаунтов. В компании считают, что это позволит снизить риски злоупотреблений.

На ситуацию уже отреагировали европейские регуляторы. В Еврокомиссии заявили, что внимательно изучают дополнительные меры, принятые X, и проверят, действительно ли они способны защитить пользователей в ЕС. Представитель комиссии Томас Ренье отметил, что речь идёт о реакции на острую критику из-за непристойных изображений.

По данным недавнего исследования некоммерческой организации AI Forensics, более половины из 20 тысяч проанализированных изображений, созданных Grok, показывали людей в минимальном количестве одежды. Большинство из них — женщины, а около 2% персонажей выглядели как несовершеннолетние.

RSS: Новости на портале Anti-Malware.ru