Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Команда из T-Bank AI Research предложила новый подход к интерпретации и управлению большими языковыми моделями — вроде тех, что лежат в основе современных чат-ботов. Разработку представили на международной конференции ICML в Ванкувере, одном из крупнейших событий в области машинного обучения.

Речь идёт о модифицированном методе SAE Match, который позволяет не просто наблюдать за тем, как модель обрабатывает информацию, но и влиять на это поведение без переобучения или вмешательства в архитектуру.

Что нового?

Вместо того чтобы просто смотреть, какие признаки активируются в слоях модели, исследователи научились строить граф потока признаков. Он показывает, как определённые смысловые элементы (например, тема или стиль ответа) зарождаются и проходят через внутренние механизмы модели — от attention до feedforward.

Самое интересное — теперь можно точечно усиливать или подавлять эти элементы. Например, изменить тональность текста или убрать нежелательную тему. Причём это делается не путём настройки модели заново, а с помощью управления внутренними активностями на нужных этапах.

Почему это важно?

  • Можно контролировать поведение модели более точно, если воздействовать сразу на несколько уровней обработки.
  • Не нужны дополнительные данные или переобучение, метод работает с уже обученными моделями.
  • Прозрачность — можно проследить, откуда берётся тот или иной фрагмент текста: из контекста или из внутренних «знаний» модели.
  • Безопасность — если модель сгенерировала что-то нежелательное, теперь можно понять, почему так вышло, и в будущем избежать повторения.

В чём уникальность?

Раньше интерпретация ИИ сводилась к тому, чтобы просто наблюдать, как он работает. Теперь же появляется возможность вмешиваться в процесс генерации — причём быстро и точечно. Это может быть полезно не только в научных задачах, но и в реальных продуктах, где важно избегать неожиданных или опасных ответов от ИИ.

Так что теперь исследователи могут не просто догадываться, что происходит внутри модели, а действительно видеть и управлять этими процессами. И это, по сути, шаг к более контролируемому и предсказуемому искусственному интеллекту.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Мошенники убедили пенсионерку купить для них золотые слитки

В Санкт-Петербурге мошенники обманом заставили 75-летнюю пенсионерку из Купчино купить и передать им золотые слитки на сумму более 4,4 млн рублей. Как сообщили в региональном главке МВД, женщина обратилась в полицию Фрунзенского района и заявила, что стала жертвой аферы.

Об инциденте сообщило РИА Новости со ссылкой на МВД. Под предлогом «декларирования имущества» у пожилой женщины похитили сбережения.

«Неизвестные в телефонных разговорах сначала вынудили ее снять деньги со счета в банке, однако после отказа банка провести операцию убедили оформить доверенность сроком на 10 лет на незнакомую женщину. 12 сентября пенсионерка вместе с ней на такси приехала в дополнительный офис банка на Ленинском проспекте, где приобрела золотые слитки на сумму 4 417 125 рублей и передала их этой незнакомке», — говорится в сообщении УМВД России по Санкт-Петербургу и Ленинградской области.

По факту возбуждено уголовное дело по статье 159 ч. 4 УК РФ (мошенничество в особо крупном размере). Полиция ведет расследование.

Напомним, в конце марта Госдума приняла пакет мер против телефонного и финансового мошенничества, включающий новые ограничения на переводы, которые кажутся банкам подозрительными. Тогда же был запущен пилот единой антифрод-платформы банков и операторов связи.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru