Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Модели Text-to-SQL можно использовать для кражи данных или DoS

Исследователи рассказали о новых кибератаках, в которых злоумышленники используют модель Text-to-SQL для создания вредоносного кода, позволяющего собирать конфиденциальную информацию и проводить DoS-атаки.

«Для лучшего взаимодействия с пользователями БД-приложения применяют ИИ-технологии, способные переводить вопросы человека в SQL-запросы. Такая техника носит название Text-to-SQL», — объясняет один из специалистов Шеффилдского университета Ксютан Пень.

«Мы выяснили, что злоумышленники могут обойти модели Text-to-SQL и создать вредоносный код с помощью специально подготовленных вопросов. В результате это может привести к утечке данных или DoS, поскольку злонамеренный код будет выполняться в базе данных».

Согласно отчёту, эксперты тестировали свои выводы на двух коммерческих решениях — BAIDU-UNIT и AI2sql. Таким образом у них получился первый в истории случай, когда модели обработки текстов на естественном языке (Natural Language Processing, NLP) использовались в качестве вектора кибератаки.

Так называемые «атаки чёрного ящика» можно сравнить с SQL-инъекцией, когда вредоносная нагрузка копируется в сконструированный SQL-запрос. В итоге такие запросы могут позволить атакующему модифицировать базы данных бэкенда и вызвать DoS на сервере.

 

Кроме того, эксперты изучали возможность компрометации предварительно обученных языковых моделей (PLM), что должно было приводить к генерации вредоносных команд по специальным триггерам.

«Есть много способов установки бэкдоров в PLM-фреймворках: замена слов, разработка специальных подсказок и модификация стилей», — отмечают исследователи.

Атаки бэкдора на четыре разные модели с открытым исходным кодом — BART-BASE, BART-LARGE, T5-BASE и T5-3B — показали 100-проценную успешность с незначительным влиянием на производительность. В реальном сценарии такие атаки будет трудно детектировать.

VK Tech запускает отдельное ИИ-направление для корпоративных клиентов

VK Tech выделяет отдельное направление, связанное с искусственным интеллектом для корпоративных заказчиков. Компания собирается развивать решения для внедрения ИИ в защищённой инфраструктуре организаций — от вычислительных мощностей и хранения данных до прикладных сервисов.

Как следует из сообщения компании, среди ключевых задач нового направления — создание корпоративной ИИ-платформы, а также усиление ИИ-функциональности в существующих продуктах VK Tech. Для этого планируется использовать и собственные разработки VK, включая языковую модель Diona.

Руководить ИИ-направлением будет Роман Стятюгин, который ранее возглавлял команду аналитических сервисов VK Predict.

В VK Tech отмечают, что корпоративный рынок ИИ постепенно уходит от стадии экспериментов. Если раньше компании чаще тестировали отдельные инструменты или точечные сценарии, то теперь всё чаще рассматривают ИИ как полноценную технологию для перестройки бизнес-процессов и повышения эффективности.

При этом один из главных вопросов для корпоративного сегмента — безопасность. Именно поэтому, как считают в компании, растёт спрос на внедрение ИИ не в публичной среде, а внутри защищённого контура организаций, где можно контролировать данные и доступ к ним.

По сути, VK Tech делает ставку на то, что бизнесу нужны не разрозненные ИИ-сервисы, а более цельная инфраструктура, которую можно встроить в существующие процессы компании и использовать в более предсказуемом режиме.

RSS: Новости на портале Anti-Malware.ru