Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Опасные стихи раскрыли уязвимости ИИ: до 60% успешных обходов

Исследователи из DEXAI нашли нестандартный, но весьма результативный способ обхода защит современных языковых моделей: оказалось, что многие ИИ куда менее устойчивы к опасным запросам, если скрыть их в стихотворении. Команда протестировала 25 популярных нейросетей и выяснила, что «поэтические» запросы обходят защиту примерно в 60% случаев.

У отдельных моделей уровень уязвимости подбирался почти к 100%. Для эксперимента специалисты подготовили около двадцати опасных стихов — тексты, в которых вредоносный смысл сохранялся полностью, но был завуалирован рифмой и метафорами.

 

Темы брались самые жёсткие: от создания опасных веществ до методов манипуляции сознанием. Чтобы добиться нужного эффекта, исследователи сначала формулировали вредоносные запросы, а затем превращали их в стихи при помощи другой ИИ-модели.

Контраст получился впечатляющим. На прямые запросы модели давали опасные ответы лишь в 8% случаев, тогда как стихотворная форма увеличивала вероятность прорыва защит до 43% и выше.

 

Разницу в подходах к безопасности между западными и российскими ИИ-комплексами пояснил директор по ИИ «Группы Астра» Станислав Ежов. По его словам, западные LLM часто можно обойти «простыми метафорами», тогда как отечественные системы строятся по более строгой архитектуре — с контролем безопасности на каждом этапе.

Он отметил, что в компании внедряют доверенный ИИ-комплекс «Тессеракт», разработанный с защитой ключевых компонентов на уровне ФСТЭК.

Ежов подчёркивает:

«Проблема уязвимости ИИ — это не просто интересный технический нюанс, а вопрос стратегической безопасности. Поэтому внимание к качеству защитных механизмов сегодня становится критически важным».

Права авторов при обучении ИИ уточнят в подзаконных актах осенью

Новый закон о поддержке развития искусственного интеллекта не отменяет Гражданский кодекс и не превращает произведения авторов в бесплатный корм для нейросетей. Об этом заявила советник президента России Елена Ямпольская. Закон, подписанный президентом 26 июля, разрешает использовать общедоступные и правомерно опубликованные материалы для обучения российских алгоритмов ИИ.

Однако правообладатель может закрыть свои работы от такой обработки техническими средствами. Бесконтрольно загружать в модели всё, до чего дотянулся парсер, нельзя.

Как именно будет работать этот механизм, пока предстоит решить. Подзаконные акты, по данным «Ведомостей», начнут появляться осенью. При их подготовке власти обещают учесть опасения творческих отраслей, представители которых предупреждали об обесценивании интеллектуальной собственности.

Эксперты тем временем предлагают несколько способов помирить нейросети с авторами. Среди них — отказ от использования произведений по требованию правообладателя, коллективное лицензирование и отчисление части прибыли ИИ-продуктов в компенсационный фонд.

В РАНХиГС считают, что разработчиков генеративных моделей стоит обязать вести закрытые реестры обучающих данных и показывать их регуляторам. Так можно будет понять, чьи произведения попали в датасет, не раскрывая коммерческую тайну.

Юрист Михаил Семенов предлагает разделять сценарии. Если модель копирует голос актёра, манеру художника или тексты конкретного писателя, потребуется прямой договор и выплаты. При массовом обучении на миллиардах материалов искать каждого автора нереально — здесь пригодился бы аналог авторского общества для ИИ.

В отрасли есть и более жёсткий взгляд: чрезмерные ограничения могут ударить и по экономике, и по культуре. Поэтому властям предстоит настроить систему так, чтобы модели не остались голодными, а авторы — с красивым обещанием вместо денег.

RSS: Новости на портале Anti-Malware.ru