DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Выпускников и их родителей атакуют фишингом и скамом

Выпускники и их родители в сезон торжеств рискуют столкнуться с фишингом и мошенничеством. Злоумышленники нередко выдают себя за сотрудников школ или членов родительских комитетов. Количество схем обмана ежегодно растёт, а главной целью преступников остаются персональные и платёжные данные.

Как рассказал «Известиям» ведущий аналитик департамента цифровой защиты F6 Евгений Егоров, мошенники используют различные поводы: проверка данных об учащихся, исправление ошибок в документах, подтверждение сведений об аттестатах или дипломах, сбор согласий на участие в награждении и т. п.

Главная цель — получить доступ к данным, необходимым для авторизации на государственных онлайн-сервисах. Также злоумышленники могут предлагать заполнить формы под предлогом покупки билетов на мероприятия или получения скидок.

Ведущий эксперт по сетевым угрозам компании «Код Безопасности» Константин Горбунов отметил, что аферисты продолжают использовать и традиционные схемы — например, требуют «вступительный взнос» за участие в мероприятии, после чего исчезают с деньгами.

По словам эксперта проекта «За права заемщиков» и платформы «Мошеловка» Галактиона Кучавы, одной из самых распространённых схем остаётся продажа пригласительных билетов на выпускные мероприятия в Москве и Санкт-Петербурге. Потенциальным жертвам предлагают заполнить анкету, внести «символический взнос» или авторизоваться через Госуслуги. Таким способом мошенники получают персональные и платёжные данные или доступ к личному кабинету гражданина на Портале Госуслуг.

Кучава напомнил, что такие билеты не продаются и не распространяются через интернет — они передаются исключительно через администрации школ или волонтёрские организации.

Отдельная категория схем ориентирована на организаторов выпускных вечеров. По словам Кучавы, к ним относятся:

  • Фальшивые аниматоры и фотографы, исчезающие после получения предоплаты.
  • Поддельные агентства по организации праздников с фейковыми отзывами на сайтах.
  • Мнимая аренда залов по заниженной цене — помещения либо уже заняты, либо не существуют.
  • Продажа билетов на «закрытые» вечеринки, которые на деле не проводятся или оказываются совсем не такими, как заявлено.

В 2025 году, как отмечает «Мошеловка», мошенники всё активнее используют искусственный интеллект — для создания фальшивых портфолио, написания поддельных отзывов, генерации голосовых и видеосообщений. Это делает даже старые схемы более убедительными.

По словам Евгения Егорова, в период выпускных участились случаи массового захвата аккаунтов в мессенджерах и соцсетях. Для этого применяется проверенная схема с фальшивыми голосованиями. Также нередки случаи шантажа с использованием фото и видео, полученных из личной переписки.

«Никогда не передавайте свои логины, пароли, личные данные и коды подтверждения. Не вводите их на сомнительных сайтах. В мессенджерах включите все доступные средства защиты — двухфакторную аутентификацию, виртуальные пароли. Обязательно расскажите об этом детям и объясните, почему нельзя доверять незнакомцам в интернете», — рекомендует Евгений Егоров.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru