Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Red Teaming в применении к ИИ требует переосмысления

Учения Generative Red Team, проведенные в рамках DEF CON 32, показали, что подобный способ оценки защищенности ИИ не дает адекватной картины. Эксперты предлагают создать систему, подобную CVE и учитывающую целевое назначение объектов анализа.

В мероприятии приняли участие (PDF) около 500 добровольцев с разным опытом аудита больших языковых моделей (БЯМ, LLM). В 48 случаях за выявленные недочеты были выплачены премии — суммарно $7850.

Тем не менее организаторы пришли к выводу, что метод Red Teaming в применении к ИИ необходимо усовершенствовать. Большой проблемой оказалось фрагментарность документации по LLM, которые к тому же разнятся по предусмотренному применению.

Без учета назначения ИИ-модели и сообразных встроенных ограничений результаты таких проверок на прочность могут ввести в заблуждение. Более того, отсутствие единых критериев оценки может привести к противоречивым заключениям.

Бурный рост и развитие ИИ-технологий создали новые риски, однако ни у кого пока нет четкого представления о том, как тестировать такие продукты и выстраивать их защиту.

Обеспечение безопасности LLM, по словам экспертов, — нескончаемый процесс. Умные помощники могут ошибаться, им свойственны галлюцинации, предвзятость (из-за неправильного обучения), уязвимость к инъекции стимула. Подобные системы бесперспективно защищать от взлома, однако его можно сделать более затратным, а последствия — краткосрочными.

Организаторы Generative Red Team призывают ИИ- и ИБ-сообщества совместными усилиями решить настоятельные проблемы. В противном случае техническая революция приведет к появлению ИИ-инструментов, на которые невозможно положиться; живой пример тому — скороспелка DeepSeek.

Друзья могут слить ваш номер телефона ChatGPT, предупреждают эксперты

ChatGPT постепенно превращается во что-то большее, чем просто чат-бот. OpenAI добавляет новую функцию — синхронизацию контактов. Теперь можно загрузить свою телефонную книгу и узнать, кто из знакомых уже пользуется ChatGPT или другими продуктами компании.

Пока подробностей немного: скриншотов интерфейса нет, да и компания в целом рассказывает скупо.

Но в политике конфиденциальности уже появилось обновление — синхронизация нужна, чтобы «находить друзей». Опция добровольная. Правда, есть нюанс: даже если вы сами ничего не загружаете, кто-то из знакомых может синхронизировать свои контакты, и тогда ваш номер всё равно окажется в обработке у OpenAI.

Компания прямо пишет: если ваш номер сохранён у кого-то в адресной книге, и этот человек загрузит контакты, OpenAI может обработать ваш телефон.

Если система найдёт совпадение с существующим аккаунтом, пользователю предложат «подписаться» на этого человека. А тот, в свою очередь, получит уведомление и сможет подписаться в ответ.

Звучит уже не как обычный чат-бот, а как заготовка под соцсеть. И это совпадает с апрельскими слухами о том, что OpenAI строит собственную социальную платформу. Пока громких релизов не было, разве что приложение Sora для генерации видео, но оно живёт отдельно от ChatGPT и больше похоже на эксперимент. Синхронизация контактов может стать первым реальным шагом к более «социальной» версии сервиса.

Тем более что в ChatGPT уже есть групповые чаты — до 20 человек могут обсуждать тему или вместе что-то исследовать с помощью ИИ. Синхронизация контактов логично упрощает приглашения в такие чаты.

OpenAI также будет периодически проверять, не появился ли новый аккаунт среди ваших контактов, чтобы предложить соединиться. Компания утверждает, что не хранит полные записи из адресной книги — ни имена, ни имейлы, только телефонные номера. Причём в зашифрованном (хешированном) виде. Доступ можно отозвать через настройки устройства.

RSS: Новости на портале Anti-Malware.ru