Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Команда из T-Bank AI Research предложила новый подход к интерпретации и управлению большими языковыми моделями — вроде тех, что лежат в основе современных чат-ботов. Разработку представили на международной конференции ICML в Ванкувере, одном из крупнейших событий в области машинного обучения.

Речь идёт о модифицированном методе SAE Match, который позволяет не просто наблюдать за тем, как модель обрабатывает информацию, но и влиять на это поведение без переобучения или вмешательства в архитектуру.

Что нового?

Вместо того чтобы просто смотреть, какие признаки активируются в слоях модели, исследователи научились строить граф потока признаков. Он показывает, как определённые смысловые элементы (например, тема или стиль ответа) зарождаются и проходят через внутренние механизмы модели — от attention до feedforward.

Самое интересное — теперь можно точечно усиливать или подавлять эти элементы. Например, изменить тональность текста или убрать нежелательную тему. Причём это делается не путём настройки модели заново, а с помощью управления внутренними активностями на нужных этапах.

Почему это важно?

  • Можно контролировать поведение модели более точно, если воздействовать сразу на несколько уровней обработки.
  • Не нужны дополнительные данные или переобучение, метод работает с уже обученными моделями.
  • Прозрачность — можно проследить, откуда берётся тот или иной фрагмент текста: из контекста или из внутренних «знаний» модели.
  • Безопасность — если модель сгенерировала что-то нежелательное, теперь можно понять, почему так вышло, и в будущем избежать повторения.

В чём уникальность?

Раньше интерпретация ИИ сводилась к тому, чтобы просто наблюдать, как он работает. Теперь же появляется возможность вмешиваться в процесс генерации — причём быстро и точечно. Это может быть полезно не только в научных задачах, но и в реальных продуктах, где важно избегать неожиданных или опасных ответов от ИИ.

Так что теперь исследователи могут не просто догадываться, что происходит внутри модели, а действительно видеть и управлять этими процессами. И это, по сути, шаг к более контролируемому и предсказуемому искусственному интеллекту.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Gartner: к 2030 году половину ИБ-бюджетов составят превентивные ИИ-решения

По оценке Gartner, в 2024 году компании потратили 5% ИБ-бюджета на СЗИ, реализующие проактивный подход к кибербезопасности за счет использования ИИ. К 2030 году доля этой статьи расходов возрастет до 50%.

Традиционные решения по выявлению инцидентов и оперативному реагированию не способны обеспечить достойную защиту от атак с использованием ИИ. Новая, растущая угроза требует от защитников адекватного ответа.

В таких условиях больший эффект, по мнению аналитиков, можно ожидать от инструментов превентивной кибербезопасности на основе ИИ и ML. Применение таких технологий позволяет не только ускорить реакцию на инциденты, но также реализовать упреждающий подход к ИБ.

Подобного ИИ-помощника можно использовать для автоматизации Threat Hunting. Результаты прогностического анализа на основе собранных данных помогут специалистам по ИБ заранее подготовиться к отражению потенциальных угроз, смоделировать сценарии развития атаки, принять проактивные меры защиты.

Согласно Gartner, возможности превентивных ИБ-решений позволяют лишить злоумышленников шанса инициировать атаку и добраться до целевых ресурсов, пресечь начавшуюся атаку, а также отвлечь внимание атакующих от критически важных активов.

 

Прогнозируемый постепенный отказ от универсальных защитных платформ в пользу превентивных решений на базе агентских ИИ либо специализированных языковых моделей откроет новые возможности для ИБ-вендоров, позволив им сосредоточиться на конкретных нишах:

  • вертикалях (здравоохранение, финансы, промышленное производство);
  • типах приложений (АСУ, облако);
  • техниках и тактиках злоумышленников (вымогательство, атаки на цепочку поставок).

Подобная специализация должна усилить партнерские связи в экосистеме ИБ и расширить возможность интеграции разрозненных решений: никакой вендор не сможет в одиночку прикрыть стремительно растущую и многослойную глобальную площадь атаки (global attack surface grid, GASG).

Так, по прогнозу Gartner, число задокументированных уязвимостей (CVE) к 2030 году перевалит за 1 млн, более чем в три раза превысив объем 2025 года (примерно 277 тыс.).

В ответ на новые вызовы индустрии ИБ придется сплотиться, разработать стратегии взаимодействия, поработать над стандартизацией API и форматов данных, чтобы обеспечить бесшовную интеграцию специализированных продуктов. Венцом эволюции превентивных ИБ-решений, по мнению аналитиков, должна стать автономная кибериммунная система — Autonomous Cyber Immune System (ACIS).

«Неуклонное расширение и растущая сложность GASG заставляют традиционные, реактивные меры кибербезопасности выйти в тираж, — комментирует исполнительный вице-президент Gartner Карл Мэнион (Carl Manion). — ACIS пока находится на ранних этапах развития, однако ее проактивный характер и возможности адаптации — это, несомненно, будущее цифровой обороны. Разработка и развертывание интеллектуальных, децентрализованных, тактических фреймворков ACIS — не просто амбициозная цель, но также важнейшая задача в деле обеспечения безопасности нашего все более связного мира».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru