Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

39% компаний в России обходятся без динамической ИТ-инфраструктуры

Почти четыре из десяти российских компаний до сих пор не используют динамическую ИТ-инфраструктуру. Об этом свидетельствуют результаты опроса зрителей эфира AM Live, где эксперты обсуждали развитие динамических систем и переход бизнеса к более гибким моделям.

По данным опроса, 39% компаний вообще не применяют динамическую инфраструктуру. Как отметил архитектор UserGate Михаил Кадер, цифра выглядит неожиданной на фоне активных разговоров о цифровой трансформации.

Впрочем, генеральный директор «Флант» Александр Титов считает, что противоречия здесь нет. В эфире в основном говорили о компаниях, создающих собственные цифровые продукты. У многих организаций иная специализация, поэтому они могут обходиться без динамической модели. Хотя, по его мнению, даже такие компании могли бы использовать её для экономии ресурсов и оптимизации мощностей.

Руководитель продуктового департамента Скала^р Группы Rubytech Роман Бычков добавил, что такие результаты показывают масштаб потенциального рынка — поле для развития решений в этой сфере по-прежнему широкое.

В то же время директор департамента продуктового развития гибридных и частных облаков Cloud.ru Руслан Иванов обратил внимание на другую сторону статистики: большинство участников понимают, что такое динамическая инфраструктура и как она работает. А значит, интерес к теме есть, и обсуждение идёт не в пустоту.

Эксперты сошлись во мнении, что динамическая модель помогает снижать операционные издержки и эффективнее использовать вычислительные ресурсы. Однако переход к ней даётся не всем легко. В другом вопросе опроса 67% респондентов назвали главным препятствием сложности интеграции с существующими системами, а 51% — риски сбоев при миграции.

Коммерческий директор ITKey Вячеслав Самарин отметил, что вендоры сегодня предлагают сопровождение и поддержку при переходе, стараясь сделать миграцию максимально безболезненной.

В целом участники эфира согласились: динамическая инфраструктура перестала быть инструментом только для ИТ-лидеров. Сегодня она может быть полезна компаниям самых разных отраслей — от ретейла до промышленности.

RSS: Новости на портале Anti-Malware.ru