В ChatGPT нашли семь уязвимостей, сливающих данные пользователей

В ChatGPT нашли семь уязвимостей, сливающих данные пользователей

В ChatGPT нашли семь уязвимостей, сливающих данные пользователей

Исследователи из компании Tenable сообщили о серии уязвимостей, затрагивающих модели GPT-4o и GPT-5, которые лежат в основе ChatGPT. Эти дыры позволяют злоумышленникам похищать личные данные пользователей из памяти и истории переписки бота — без ведома самих пользователей.

Всего специалисты выявили семь векторов атак, часть из которых OpenAI уже устранила. Главная проблема — так называемые «непрямые инъекции промпта» (indirect prompt injection).

С их помощью можно обмануть искусственный интеллект и заставить его выполнять вредоносные инструкции, даже если пользователь ничего не подозревает.

Среди найденных методов — внедрение команд через вредоносные сайты, запросы к ChatGPT с поддельными ссылками или командами, маскированными под разрешённые домены (например, через bing.com), а также скрытие вредоносных инструкций в коде веб-страниц. В одном из сценариев атаки злоумышленник мог «отравить» память ChatGPT, добавив туда свои команды через сайт, который пользователь попросил бота кратко пересказать.

Подобные инъекции не требуют от пользователя кликов или загрузки файлов — достаточно обычного запроса вроде «расскажи, что написано на этом сайте». Если страница уже проиндексирована поисковиком, ИИ мог выполнить вредоносный код автоматически.

 

Tenable отмечает, что такие атаки — проблема не только OpenAI. За последние месяцы исследователи обнаруживали похожие уязвимости в Claude, Copilot, и других ИИ-инструментах. Некоторые позволяли похищать данные, обходить фильтры безопасности или подменять ответы модели.

По словам экспертов, полностью устранить угрозу инъекций промпта в ближайшее время вряд ли удастся. Они рекомендуют разработчикам ИИ-сервисов тщательнее проверять механизмы безопасности и фильтры URL, чтобы свести риски к минимуму.

Не так давно мы рассуждали на тему «можно ли доверять GenAI». Рассматривали галлюцинации и контроль достоверности ИИ.

Минцифры создаст полигон для тестирования систем с ИИ на безопасность

Минцифры планирует создать киберполигон для тестирования систем с искусственным интеллектом (ИИ) на безопасность. В первую очередь речь идёт о решениях, предназначенных для применения на объектах критической инфраструктуры, а также о системах с функцией принятия решений.

О том, что министерство ведёт работу над созданием такого полигона, сообщил РБК со ссылкой на несколько источников.

Площадка будет использоваться для тестирования ИИ-систем, которые в дальнейшем должны пройти сертификацию ФСТЭК и ФСБ России. Это предусмотрено правительственным законопроектом «О применении систем искусственного интеллекта органами, входящими в единую систему публичной власти, и внесении изменений в отдельные законодательные акты».

Документ вводит четыре уровня критичности ИИ-систем:

  • минимальный — влияние на безопасность отсутствует или минимально;
  • ограниченный;
  • высокий — относится к системам, используемым на объектах критической информационной инфраструктуры;
  • критический — системы, способные угрожать жизни и здоровью людей или безопасности государства, а также автономные комплексы, принимающие самостоятельные решения.

Определять уровень критичности будет Национальный центр искусственного интеллекта в сфере госуправления при правительстве. Эта же структура займётся ведением реестра сертифицированных ИИ-систем.

Конкретные требования к сертификации планируется закрепить в отдельных нормативных документах, которые пока находятся в разработке. На текущем этапе единственным обязательным условием является включение программного обеспечения в реестр Минцифры.

По данным «Российской газеты», распространять новые требования на коммерческие ИИ-решения не планируется. При этом в аппарате первого вице-премьера Дмитрия Григоренко пояснили, что ключевая цель законопроекта — снизить риски применения ИИ в сферах с высокой ценой ошибки, включая здравоохранение, судопроизводство, общественную безопасность и образование.

RSS: Новости на портале Anti-Malware.ru