Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Вслед за банками перестала работать бесконтактная оплата в Vendista

В России в субботу начался массовый сбой в работе системы приёма безналичных платежей Vendista. О причинах инцидента и сроках его устранения оператор системы пока не сообщает. POS-терминалы Vendista широко используются компаниями малого и среднего бизнеса — для оплаты в магазинах, гостиницах, заведениях общественного питания, сфере услуг, при доставке еды навынос, а также в вендинговых автоматах.

Оператор системы, компания «ВендГрупп», работает с 2019 года и присутствует в России, Беларуси, Армении и Казахстане.

Как сообщает РБК, сбой начался 4 апреля. Он затронул только российский сегмент. Не проходили платежи через ряд банков-партнёров, включая ВТБ, «Т-Банк» и «Альфа-Банк». При этом через Сбербанк платежи у части пользователей проходили.

«Сроки восстановления неизвестны», — прокомментировали ситуацию РБК в «ВендГрупп».

Причину сбоя в компании также назвать не смогли. При этом в других странах присутствия никаких проблем не наблюдалось.

По оценке ИТ-эксперта Михаила Капустина, которую он дал в комментарии для «Российской газеты», причиной сбоя могла стать потеря соединения с одним из зарубежных серверов.

Это могло произойти как из-за ограничительных действий регулятора, так и на фоне военных действий: значительная часть таких серверов физически расположена в ОАЭ и других странах Персидского залива, которые нередко становятся целями ударов ракетами и дронами. Ещё одной возможной причиной, по мнению экспертов, опрошенных изданием, могла стать DDoS-атака.

«Сообщалось, что сбой затронул операции через ВТБ, Т-Банк и Альфа-Банк, тогда как Сбер у части пользователей продолжал работать. Это важная деталь, потому что она делает менее вероятной версию о неисправности самих терминалов как „железа“ и скорее указывает на проблему в платёжной обработке, маршрутизации или интеграции с частью банковских контуров», — отметил в комментарии для «Российской газеты» доцент Финансового университета при Правительстве РФ Кырлан Марчел.

По его оценке, наиболее вероятны три сценария: сбой в процессинге или платёжном шлюзе, ошибка при обмене данными с банками, а также неудачное обновление ПО или изменение конфигурации на серверах, из-за которых была нарушена отправка запросов.

Накануне, 3 апреля, произошёл массовый сбой в работе сразу нескольких крупнейших финансовых платформ. Он продолжался несколько часов.

RSS: Новости на портале Anti-Malware.ru