Вам не понравится: стартапы критикуют инициативу по отключению рекомендаций

Вам не понравится: стартапы критикуют инициативу по отключению рекомендаций

Вам не понравится: стартапы критикуют инициативу по отключению рекомендаций

Разработчики алгоритмов для сайтов и сервисов выступили против законопроекта, который позволяет пользователям отключать рекомендации. В последнем варианте инициатива коснется всех ресурсов и приложений. Авторы обещали подумать.

Законопроект неделю назад обсуждали на площадке Фонда развития интернет-инициатив (ФРИИ). По задумке авторов, онлайн-платформы обязаны:

  1. Дать пользователю возможность отключать алгоритм, который формирует в ленте специально подобранный контент;
  2. Предупреждать клиентов о “включенных” рекомендациях.

Такая перспектива беспокоит технологические стартапы, для которых рекомендательный алгоритм — ядро сервиса. Об этом в своем Telegram-канале написал автор законопроекта, единоросс Антон Горелкин.

Сначала говорили, что под действие законопроекта попадут только соцсети, новостные и поисковые агрегаторы, аудиовизуальные сервисы.

Источники “Ъ”, побывавшие на встрече с депутатами, утверждают, что в последней версии инициатива регулирует технологию, а не отдельные категории информационных ресурсов или сервисов. То есть под закон попадает любая компания.

По данным “Ъ”, на встрече также были представители VK и “Яндекс”.

Ключевая проблема в том, что документ не определяет четко субъект регулирования, рассказывает директор по правовым инициативам во ФРИИ Александра Орехович.

“Сейчас круг субъектов регулирования не ограничивается только значимыми ресурсами, а фактически включает любые приложения и интернет-сайты вне зависимости от размера аудитории, — говорит Орехович. — Кроме того, формально юридически под регулирование подпадают компании, в которых рекомендательные технологии используются исключительно по запросу самих пользователей, то есть человек заходит на сайт и предоставляет информацию о себе или доступ к ней именно с целью разработки рекомендаций, например, по развитию карьеры”.

Сам депутат Горелкин еще в апреле писал, что “законопроект готов на 99%”.

“Остался один дискуссионный вопрос. Мы ждем, что этот один процент мы доработаем в этом месяце”, — приводит весеннюю цитату депутата “Ъ”.

После встречи с резидентами фонда, инициатор законопроекта об отключении рекомендаций обещал учесть критику.

“Все опасения и предложения зафиксировал, будем с ними работать”, — написал Горелкин в Telegram.

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

RSS: Новости на портале Anti-Malware.ru