Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Исследователи показали, как управлять «мыслями» ИИ на лету

Команда из T-Bank AI Research предложила новый подход к интерпретации и управлению большими языковыми моделями — вроде тех, что лежат в основе современных чат-ботов. Разработку представили на международной конференции ICML в Ванкувере, одном из крупнейших событий в области машинного обучения.

Речь идёт о модифицированном методе SAE Match, который позволяет не просто наблюдать за тем, как модель обрабатывает информацию, но и влиять на это поведение без переобучения или вмешательства в архитектуру.

Что нового?

Вместо того чтобы просто смотреть, какие признаки активируются в слоях модели, исследователи научились строить граф потока признаков. Он показывает, как определённые смысловые элементы (например, тема или стиль ответа) зарождаются и проходят через внутренние механизмы модели — от attention до feedforward.

Самое интересное — теперь можно точечно усиливать или подавлять эти элементы. Например, изменить тональность текста или убрать нежелательную тему. Причём это делается не путём настройки модели заново, а с помощью управления внутренними активностями на нужных этапах.

Почему это важно?

  • Можно контролировать поведение модели более точно, если воздействовать сразу на несколько уровней обработки.
  • Не нужны дополнительные данные или переобучение, метод работает с уже обученными моделями.
  • Прозрачность — можно проследить, откуда берётся тот или иной фрагмент текста: из контекста или из внутренних «знаний» модели.
  • Безопасность — если модель сгенерировала что-то нежелательное, теперь можно понять, почему так вышло, и в будущем избежать повторения.

В чём уникальность?

Раньше интерпретация ИИ сводилась к тому, чтобы просто наблюдать, как он работает. Теперь же появляется возможность вмешиваться в процесс генерации — причём быстро и точечно. Это может быть полезно не только в научных задачах, но и в реальных продуктах, где важно избегать неожиданных или опасных ответов от ИИ.

Так что теперь исследователи могут не просто догадываться, что происходит внутри модели, а действительно видеть и управлять этими процессами. И это, по сути, шаг к более контролируемому и предсказуемому искусственному интеллекту.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Рост курса биткоина увеличил число схем с поддельными «вкладами» в крипту

Мошенники снова нацелились на тех, кто верит в быстрый заработок на крипте — BI.ZONE Brand Protection предупреждают о новой схеме, которая активизируется на фоне октябрьского роста биткоина. Схема простая и продуманная, состоит из двух этапов.

Сначала жертве пишут от имени реального кадрового агентства: предлагают обсудить «взаимовыгодное сотрудничество» и приглашают к диалогу. Это служит способом завоевать доверие и подготовить почву.

На втором этапе от другого аккаунта к пострадавшему выходит «партнёр» — якобы специалист по работе с биржей Binance. Он подробно объясняет «схему заработка», сравнивая её с банковским вкладом: пополнил счёт — получаешь проценты.

Для убедительности жертве предлагают скачать официальные приложения — криптокошелёк Trust Wallet и биржу вроде MEXC или Bitget — и зарегистрироваться.

После пополнения кошелька мошенники создают аккаунт на Binance, указывая в нём почту жертвы. Затем жертве приходит письмо с ссылкой: пройдя по ней и привязав кошелёк к «аккаунту», человек фактически передаёт контроль над своими средствами злоумышленникам. Иными словами, все деньги уходят не «вкладчику», а мошенникам.

Дмитрий Кирюшкин, руководитель BI.ZONE Brand Protection, отмечает, что злоумышленники всегда отслеживают актуальные поводы для обмана и подстраивают под них свои сценарии. На фоне быстрого роста курса биткоина они, по его словам, могут активизироваться — ведь интерес к крипте у людей растёт, и это повышает шансы попадания в ловушку.

Авторы схемы сознательно создают видимость честности: говорят о «проценте от чистого дохода», прямо признают, что Binance формально не работает в России — всё это делается, чтобы вызвать доверие и убедить жертву пополнить кошелёк. В результате преступники получают доступ к деньгам, а пострадавший остаётся без средств.

Кроме рассылок в мессенджерах, на волне подъёма курса растёт и количество фишинговых доменов, имитирующих официальные сайты. С 1 октября в доменной зоне .ru специалисты нашли 39 потенциально мошеннических доменов с ключевыми словами; за сентябрь таких ресурсов обнаружили 222.

Вывод простой: не переходите по подозрительным ссылкам, не привязывайте кошелёк по письмам от незнакомцев и перепроверяйте предложения о «инвестициях» через официальные каналы. Если вам предлагают «гарантированный» доход за платёж или привязку кошелька — скорее всего, это ловушка.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru