Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Путин поручил запустить пилот по обучению ИИ и информационной безопасности

Владимир Путин поручил запустить в Московской области пилотный проект по обучению технологиям искусственного интеллекта и информационной безопасности. Соответствующие поручения опубликованы на сайте Кремля по итогам заседания Госсовета.

Проект правительство должно реализовать совместно с властями региона. Доклад о его запуске президент ожидает до 1 июля — его представят премьер-министр Михаил Мишустин и губернатор Подмосковья Андрей Воробьёв.

Кроме того, к 15 июля поручено включить компетенции в сфере ИИ в образовательные и профессиональные стандарты. Речь идёт о том, чтобы навыки работы с искусственным интеллектом стали частью формальной системы подготовки специалистов.

Отдельно поставлена задача организовать программы повышения квалификации для преподавателей и учителей по направлениям ИТ и ИИ — с участием технологических компаний.

Тема развития искусственного интеллекта ранее уже звучала на федеральном уровне. В ноябре, выступая на конференции AI Journey-2025, президент заявил о необходимости создать штаб по управлению отраслью ИИ и поручил правительству совместно с регионами сформировать национальный план внедрения генеративного ИИ.

Тогда Владимир Путин подчеркнул, что зависимость от иностранных нейросетей недопустима, поскольку речь идёт о технологическом суверенитете страны. Новые поручения, судя по всему, становятся практическим шагом в этом направлении.

Анастасия Федорова, руководитель образовательных программ Positive Education, поделилась с Anti-Malware.ru своим комментарием:

«Поручение о запуске пилотного проекта по обучению ИИ и кибербезопасности —  сигнал о приоритете повышения безопасности в цифровой среде. Это поможет интегрировать ключевые компетенции в образование и сформировать культуру кибербезопасности на всех уровнях.

Внимание к вопросу кибербезопасности на самом высшем уровне говорит о том, что киберугрозы воспринимаются как серьезная проблема, решение которой — межотраслевая задача.

Аналитики Positive Technologies в 2026 году прогнозируют рост успешных атак на компании и частных лиц на 30–35% по сравнению с 2025 годом. Важно понимать, что сегодня личный и корпоративный кибербез неразделимы — часть атак на бизнес начинается с компрометации устройств или аккаунтов сотрудников в личном пространстве. Поэтому обучение должно фокусироваться на реальных повседневных сценариях, где ошибка одного человека может запустить цепную реакцию до уровня компании. В Positive Education мы активно развиваем именно такие корпоративные программы».

RSS: Новости на портале Anti-Malware.ru