Эксперты призывают к осторожности при использовании DeepSeek

Эксперты призывают к осторожности при использовании DeepSeek

Эксперты призывают к осторожности при использовании DeepSeek

Эксперты в области искусственного интеллекта (ИИ) призывают к осторожности при использовании сервиса DeepSeek из-за возможных рисков, связанных со сбором данных для обучения нейросетей и их потенциальной передачей третьим лицам.

Китайский стартап DeepSeek представил одноимённый чат-бот, разработка которого обошлась как минимум в несколько раз дешевле американских аналогов и требует меньше вычислительных ресурсов.

Запуск сервиса вызвал широкий резонанс: DeepSeek стремительно занял лидирующие позиции по числу загрузок в магазинах приложений, а капитализация технологических компаний в США сократилась более чем на 1 трлн долларов.

Президент США Дональд Трамп назвал появление DeepSeek тревожным сигналом для американской индустрии ИИ и призвал активизировать национальные разработки. Как заявила пресс-секретарь Белого дома Каролин Ливитт, влияние DeepSeek станет одной из ключевых тем первого заседания Совета национальной безопасности.

В то же время генеративные ИИ-модели нуждаются в больших объёмах данных для обучения, и многие компании собирают информацию о пользователях без их явного согласия. Ранее в подобных практиках уже обвиняли Microsoft.

Согласно политике конфиденциальности DeepSeek, сервис хранит на своих серверах IP-адреса, User-Agent, данные об устройствах, куки, отчёты о сбоях, журналы производительности, шаблоны нажатий клавиш, язык системы и другую техническую информацию. Причём даже после удаления учётной записи часть данных может оставаться в системе.

Из-за потенциальных угроз безопасности и этических вопросов, связанных с происхождением и использованием модели, военно-морской флот США запретил использование DeepSeek.

Член консультативного совета по искусственному интеллекту при ООН Венди Холл в комментарии для Guardian отметила, что китайские технологические компании обязаны соблюдать законодательство КНР. В частности, Закон о национальной разведке Китая предписывает гражданам и компаниям содействовать спецслужбам страны.

Она также напомнила, что генеративные ИИ-модели подвержены так называемым «галлюцинациям», а значит, результаты работы DeepSeek могут содержать дезинформацию.

Профессор Оксфордского университета Майкл Вулдридж в интервью Guardian выразил основное опасение по поводу возможной утечки конфиденциальных данных. Он предостерёг пользователей от передачи личной или корпоративной информации любым чат-ботам на основе ИИ, включая ChatGPT.

ChatGPT тайно заставили выполнять команды из чужого аккаунта

Исследователи из Check Point Research обнаружили канал, позволявший передавать команды между изолированными сессиями ChatGPT из разных аккаунтов. В результате ассистент мог отвечать пользователю как обычно, а параллельно выполнять чужое задание и отправлять результат атакующему.

Канал проходил через внутренний JFrog Artifactory, к которому обращались контейнеры ChatGPT при установке программных пакетов.

Напрямую связаться друг с другом они не могли, но имели доступ к общему сервису. Исследователи выяснили, что контейнеры способны записывать данные в свойства объектов Artifactory и читать их из других аккаунтов. Метаданные репозитория фактически превратились в общий буфер обмена.


Чтобы запустить атаку, требовалось поместить вредоносную инструкцию в контекст жертвы — например, через скопированный промпт, общую беседу или специально созданный GPT. После обычного сообщения пользователя ассистент проверял скрытый канал, забирал оттуда задачу и выполнял её с правами текущей сессии.


В демонстрации ChatGPT получил данные из подключённого Gmail жертвы и передал их исследовательскому аккаунту. На экране при этом появился нормальный ответ на исходный вопрос. Единственной подсказкой оставалась небольшая отметка Talked to Gmail — уже после чтения почты.


Масштаб возможной утечки зависел от полномочий сессии: атакующему потенциально становились доступны история чата, загруженные файлы и данные из подключённых Gmail, Google Drive, Microsoft Teams или GitHub.

Check Point сообщила о проблеме OpenAI. Корпорация подтвердила, что задействованный экземпляр Artifactory выведен из эксплуатации, поэтому описанный канал больше не работает. Данных о его использовании в реальных атаках нет.

RSS: Новости на портале Anti-Malware.ru