Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

ГК «Солар» взяла курс на защиту искусственного интеллекта

На ЦИПР-2026 группа компаний «Солар» обозначила новый стратегический фокус — развитие решений для безопасности искусственного интеллекта. Компания выступила технологическим партнёром конференции по информационной безопасности и сосредоточила свою программу вокруг темы ИИ, его внедрения в бизнес и связанных с этим киберрисков.

По данным совместного исследования «Солара», Б1, Ассоциации ФинТех и HiveTrace, 60% российских компаний, внедряющих ИИ в бизнес-процессы, не уверены в защищённости таких решений.

Среди основных рисков участники опроса называют утечки данных, галлюцинации моделей, компрометацию источников данных и баз знаний, а также использование ИИ злоумышленниками для автоматизации атак, генерации вредоносного кода и создания дипфейков.

В «Соларе» считают, что вслед за рынком ИИ будет развиваться и рынок защиты ИИ. Компания планирует строить платформенный подход к контролю ИИ-трафика, безопасному использованию нейросетей сотрудниками, защите от утечек, Data Poisoning и рисков, связанных с ИИ-агентами.

Отдельно на ЦИПР обсуждали практические кейсы внедрения ИИ. В партнёрской сессии «Солара» участвовали представители «Ростелекома», «Делимобиля», Альфа-Банка, «АльфаСтрахования», ТМК и «Циана». Компании рассказывали, как используют ИИ в контакт-центрах, разработке, аналитике, страховании, промышленности, модерации и клиентских сервисах.

«Солар» также отвечал за безопасность веб-ресурсов ЦИПР. Перед мероприятием специалисты провели анализ инфраструктуры, а в дни конференции центр Solar JSOC круглосуточно мониторил события и отражал атаки, в том числе с использованием ИИ.

Кроме того, на площадке ЦИПР компания подписала соглашения о сотрудничестве с Т1, группой «Астра», ТМК, «АЛМИ Партнер», «1С-Битрикс» и нижегородским кампусом НИУ ВШЭ.

RSS: Новости на портале Anti-Malware.ru