DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Яндекс Документы вышел из бета-версии

Яндекс сообщил о завершении бета-тестирования собственного офисного пакета онлайн-редакторов Яндекс Документы, включающего инструменты для работы с текстами и таблицами. Новый сервис был разработан с нуля и пришёл на смену предыдущему решению, основанному на веб-версии «Р7 Офиса». Теперь редакторы доступны всем пользователям в релизной версии с расширенным функционалом.

Бета-версия онлайн-редакторов от Яндекса появилась в декабре 2024 года. В отличие от прежнего решения, основанного на «Р7 Офисе», новый офисный пакет создавался полностью с нуля.

Ключевой особенностью Яндекс Документов стала глубокая интеграция с нейросетью YandexGPT. С её помощью пользователи могут генерировать тексты по запросу, пересказывать документы или формировать краткое резюме объёмных материалов.

В релизной версии появилась поддержка офлайн-режима: работать с документами можно без подключения к интернету, а при восстановлении связи данные автоматически синхронизируются с облаком. Редакторы уведомляют пользователя как о переходе в офлайн-режим, так и о возвращении соединения.

Среди новых возможностей — комментарии к документам, вставка изображений и таблиц в текстовые файлы. В табличном редакторе реализована поддержка диаграмм, фильтров для анализа данных, поиска по содержимому, а также закрепление областей при работе с крупными таблицами.

«Собственная технологическая платформа делает нас гибче и позволяет быстрее внедрять новые функции. Уже на этапе бета-тестирования мы предложили по-настоящему функциональный инструмент, которым пользовались миллионы человек в рабочих и повседневных задачах. Мы продолжаем развивать сервис, добавляя новые сценарии: офлайн-режим, визуальные инструменты — лишь начало. Впереди — ещё больше нововведений, и мы представим их на флагманской конференции Yandex Connect 30 октября», — отметил руководитель сервиса Документы Евгений Круглов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru