Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Касперский притормозил развитие «МойОфис»: импортозамещение не сработало

У российского офисного ПО продолжаются непростые времена. Глава «Лаборатории Касперского» Евгений Касперский заявил, что компания решила сократить объёмы поддержки развития «МойОфис», контрольный пакет которого находится под её управлением.

По словам Касперского, речь не идёт о закрытии проекта, однако актив переводится в режим медленного огня. Разработка и поддержка продуктов сохраняются, но уже не в тех масштабах, что раньше.

Причина проста: бизнес остаётся убыточным.

«Если говорить про ситуацию здесь и сейчас, то актив убыточен», — признал Касперский в интервью ТАСС на ПМЭФ.

Он также отметил, что не видит серьёзного экспортного потенциала у «МойОфис». По его словам, продукт слишком сильно ориентирован на российский рынок. Одной из ключевых задач для выхода за рубеж он назвал глубокую локализацию, в частности поддержку арабского языка, которая потребует дополнительных инвестиций и времени.

При этом основные надежды связывались именно с российским рынком и импортозамещением. Однако здесь ожидания не оправдались.

По мнению Касперского, полноценного импортозамещения в сегменте офисного ПО так и не произошло. Он объяснил это тем, что часть пользователей продолжает работать на пиратских версиях зарубежных продуктов, а часть использует схемы серого импорта программного обеспечения.

Несмотря на проблемы, говорить о полной заморозке проекта пока рано. В компании рассчитывают на дальнейшее развитие экосистемы и интеграцию продуктов «МойОфис» с собственной операционной системой.

Заявление прозвучало вскоре после сообщений о сокращениях в компании. Ранее стало известно, что «МойОфис» уведомил сотрудников об оптимизации штата. Финансовые показатели также выглядят тревожно: по итогам 2025 года чистый убыток разработчика вырос до 4 млрд рублей против 1,2 млрд рублей годом ранее.

RSS: Новости на портале Anti-Malware.ru