Исследователи показали, как управлять «мыслями» ИИ на лету

Екатерина Быстрова 23 Июля 2025 - 14:38

GenAI (генеративный искусственный интеллект)

...

Исследователи показали, как управлять «мыслями» ИИ на лету

Команда из T-Bank AI Research предложила новый подход к интерпретации и управлению большими языковыми моделями — вроде тех, что лежат в основе современных чат-ботов. Разработку представили на международной конференции ICML в Ванкувере, одном из крупнейших событий в области машинного обучения.

Речь идёт о модифицированном методе SAE Match, который позволяет не просто наблюдать за тем, как модель обрабатывает информацию, но и влиять на это поведение без переобучения или вмешательства в архитектуру.

Что нового?

Вместо того чтобы просто смотреть, какие признаки активируются в слоях модели, исследователи научились строить граф потока признаков. Он показывает, как определённые смысловые элементы (например, тема или стиль ответа) зарождаются и проходят через внутренние механизмы модели — от attention до feedforward.

Самое интересное — теперь можно точечно усиливать или подавлять эти элементы. Например, изменить тональность текста или убрать нежелательную тему. Причём это делается не путём настройки модели заново, а с помощью управления внутренними активностями на нужных этапах.

Почему это важно?

Можно контролировать поведение модели более точно, если воздействовать сразу на несколько уровней обработки.
Не нужны дополнительные данные или переобучение, метод работает с уже обученными моделями.
Прозрачность — можно проследить, откуда берётся тот или иной фрагмент текста: из контекста или из внутренних «знаний» модели.
Безопасность — если модель сгенерировала что-то нежелательное, теперь можно понять, почему так вышло, и в будущем избежать повторения.

В чём уникальность?

Раньше интерпретация ИИ сводилась к тому, чтобы просто наблюдать, как он работает. Теперь же появляется возможность вмешиваться в процесс генерации — причём быстро и точечно. Это может быть полезно не только в научных задачах, но и в реальных продуктах, где важно избегать неожиданных или опасных ответов от ИИ.

Так что теперь исследователи могут не просто догадываться, что происходит внутри модели, а действительно видеть и управлять этими процессами. И это, по сути, шаг к более контролируемому и предсказуемому искусственному интеллекту.

Следующая главная новость »

Подписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Екатерина Быстрова 25 Июля 2025 - 14:11

Целевые атаки Таргетированные атаки Корпорации Государство Информзащита

Атаки на SCADA-системы выросли на 27% — чаще всего страдает энергетика

Атаки на промышленные системы управления в России продолжают набирать обороты. По данным исследования «Информзащиты», в первом полугодии 2025 года количество кибератак на SCADA-системы увеличилось на 27% по сравнению с тем же периодом 2024-го.

Причины всё те же: активная цифровизация производств, подключение устаревшего оборудования к внешним сетям и слабая защита таких систем.

SCADA используется для управления крупными и разбросанными объектами — вроде электросетей или трубопроводов. Устройства вроде ПЛК и удалённых терминалов, через которые система получает данные, часто выходят в интернет — и становятся уязвимыми для атак.

«Сегодня подключение к интернету и сетям подрядчиков или техподдержки стало обычной практикой. Но вот защищены такие подключения далеко не всегда», — говорит Игорь Рыжов, замдиректора Центра промышленной безопасности «Информзащиты».

Больше всего атак зафиксировано в энергетике (38% от общего числа), на предприятиях машиностроения (21%), в химической и нефтехимической отраслях (17%) и в пищевой промышленности (11%).

Что самое тревожное — успешная атака на SCADA может привести не просто к сбоям, а к серьёзным последствиям: от остановки конвейера до выхода из строя оборудования, утечек опасных веществ, рисков для жизни персонала и даже экологических катастроф. Бывают и внутренние инциденты — когда вред наносят свои же сотрудники, намеренно или по неосторожности.

«В отличие от ИТ-систем, где максимум — потеря данных, здесь последствия могут быть физическими: аварии, взрывы, отравления. Это уже совсем другой уровень угроз», — подчёркивает Рыжов.

Чтобы снизить риски, «Информзащита» советует предприятиям:

внедрить многофакторную аутентификацию для доступа извне;
регулярно проверять систему на уязвимости;
следить за всеми изменениями в инфраструктуре;
обновить устаревшее оборудование;
обеспечить круглосуточный мониторинг и готовность реагировать на инциденты;
и, конечно, делать защищённые резервные копии критически важных компонентов — с обязательной проверкой их восстановления.

SCADA — это не просто система. Это сердце современного производства. А значит, защищать её нужно так же тщательно, как и само предприятие.