DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

DarkMind: специалисты продемонстрировали манипулятивную атаку на LLM

Исследователи из Университета Сент-Луиса продемонстрировали атаку на большие языковые модели (LLM), позволяющую манипулировать процессами рассуждения нейросетей. В отличие от других методов атак на искусственный интеллект, эта уязвимость не обнаруживается стандартными средствами и не требует изменения запросов.

Авторы исследования, Зен Го и Реза Турани, назвали свою разработку DarkMind. Техника базируется на уязвимостях парадигмы «цепочки рассуждений» (Chain-of-Thought, CoT), используемой в таких моделях, как ChatGPT, GPT-4, O1 и LLaMA-3.

DarkMind внедряет скрытые триггеры в приложения, работающие поверх языковых моделей, что делает атаку практически незаметной при обычном использовании. Выявить её сложно даже в приложениях, которых уже насчитывается сотни тысяч, так как она активируется только при срабатывании определенных шаблонов рассуждений.

При этом меры защиты, предназначенные для противодействия другим типам манипулятивных атак, не обнаруживают DarkMind, и вредоносная активность выявляется лишь после её активации.

Исследователи также установили, что чем совершеннее LLM, тем более они уязвимы к данной технике атак. Более того, для её применения не требуется модификация запросов или алгоритмов работы моделей, что делает технологию простой в использовании и потенциально массовой, особенно в таких секторах, как финансы и медицина, где LLM активно внедряются.

Зен Го и Реза Турани сообщили, что работают над защитными мерами, направленными на предотвращение подобных атак, и призвали разработчиков усилить встроенные механизмы защиты от манипулятивных воздействий на LLM. Однако, по мнению Microsoft, создать полностью безопасные системы на базе генеративного ИИ невозможно.

Суд признал банкротом российскую дочку Microsoft

Арбитражный суд Москвы признал банкротом российскую дочку Microsoft — ООО «Майкрософт Рус» — и открыл конкурсное производство. Это финальная стадия процедуры банкротства, которая фактически означает распродажу активов для расчётов с кредиторами.

Процесс начался ещё в сентябре 2025 года, тогда компания сама подала заявление о банкротстве.

Как сообщал её представитель в суде, на тот момент неисполненные обязательства превышали 1,5 млрд рублей. Конкурсным управляющим назначен Андрей Соломонов из ассоциации «Достояние».

Причины ситуации довольно ожидаемы. После 2022 года Microsoft приостановила продажи продуктов и услуг в России. При этом «Майкрософт Рус» какое-то время продолжала оказывать техническую поддержку.

Но со временем клиентов практически не осталось: к 2025 году у компании был всего один заказчик, который тоже прекратил сотрудничество. В итоге бизнес перестал приносить доход, и компания сама запустила процедуру банкротства.

Интересно, что ещё по отчётности за 2024 год в Microsoft подчёркивали: вопрос о ликвидации российской дочки не рассматривается. Однако на практике компания фактически уже не вела полноценной деятельности.

Общая картина по Microsoft в России тоже выглядит сдержанно. По данным ФНС, выручка четырёх российских дочек корпорации в 2025 году снизилась почти на треть — на 29,5%, до 117,3 млн рублей. Для сравнения: годом ранее она составляла 166,5 млн рублей.

Больше всего дохода в 2025 году принесла структура «Майкрософт пейментс рус» — около 70,4 млн рублей. При этом в апреле 2025 года компания привлекла займ на 300 млн рублей у ирландской «дочки» Microsoft Global Finance ULC под 2,5% годовых.

Таким образом, история «Майкрософт Рус» подошла к логическому завершению: после сворачивания бизнеса и ухода ключевых клиентов компания не смогла продолжать работу и перешла в стадию банкротства.

RSS: Новости на портале Anti-Malware.ru