Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Российским сайтам готовят штрафы до 700 тысяч за иностранную аутентификацию

Госдума окончательно одобрила законопроект, который вводит новые штрафы для владельцев сайтов и онлайн-сервисов. Под удар попадают площадки, которые продолжают использовать зарубежные способы аутентификации пользователей вместо предусмотренных российским законодательством механизмов. Документ принят сразу во втором и третьем чтениях.

Согласно новым нормам, сайты и сервисы должны обеспечивать аутентификацию пользователей через российский номер телефона, портал «Госуслуги», Единую биометрическую систему или другие российские информационные системы, принадлежащие гражданам или компаниям РФ.

Если ресурс продолжит использовать для входа иностранные сервисы или зарубежную электронную почту в качестве механизма аутентификации, владельцу может грозить серьёзный штраф. Для юридических лиц он составит от 500 до 700 тысяч рублей. Для должностных лиц предусмотрены штрафы от 30 до 50 тысяч рублей, для граждан — от 10 до 20 тысяч рублей.

Закон также усиливает ответственность для владельцев интернет-платформ с рекомендательными алгоритмами. Штрафы предусмотрены за сбор информации о предпочтениях пользователей с нарушением законодательства, отсутствие уведомлений о работе рекомендательных систем, а также за непубликацию правил их использования и контактных данных для юридически значимых обращений.

Размер санкций здесь такой же — до 700 тысяч рублей для юридических лиц. При повторном нарушении штрафы могут вырасти до 1,4 млн рублей.

Отдельный блок поправок касается операторов связи. Для них вводится ответственность за нарушение правил взаимодействия с правоохранительными органами во время оперативно-разыскных мероприятий и мероприятий по обеспечению безопасности.

Если оператор нарушит установленный порядок или раскроет методы проведения таких мероприятий, компании может грозить штраф от 3 до 5 млн рублей.

За повторные нарушения наказание станет ещё жёстче. В этом случае может применяться оборотный штраф в размере до 3% годовой выручки. При этом минимальный порог санкций повышается с 1 млн до 10 млн рублей.

RSS: Новости на портале Anti-Malware.ru