Википедия стала слишком взрослой для школьников

Википедия стала слишком взрослой для школьников

Википедия стала слишком взрослой для школьников

В Госдуме хотят запретить школьникам ссылаться на Википедию. Инициатива принадлежит единороссу Антону Горелкину. Депутат уверен, что скоро ресурс окончательно заблокируют в России, а пока учителя должны в рекомендательно-принудительной форме не принимать работы, где фигурирует “свободная энциклопедия”.

Идею вымарать Википедию из школьных докладов зампред Комитета ГД по информационной политике, информационным технологиям и связи Антон Горелкин высказал на ноябрьском форуме “Здоровье и безопасность детей”.

Такую меру депутат назвал “профилактической”.

Любой другой источник можно, “Википедию” — в бан, приводит цитату Горелкина канал ДумаТВ.

Сейчас в российском школьном сегменте интернета русскоязычная Википедия блокируется фильтром “Интернет-Цензор”, работающим по принципу “белого списка”. То есть блокируется весь интернет, кроме разрешённого списка сайтов.

Теперь Горелкин предлагает учителям не принимать рефераты, где дети используют ссылку на ресурс.

На днях политический деятель развил тему от запрета упоминания Википедии до отказа школьников от зарубежных мессенджеров и соцсетей.

“Учителя и школьники всё чаще выбирают не Telegram с WhatsApp, а российский “ВК Мессенджер” – по данным ВЦИОМ, им пользуется 62% опрошенных. Понятно, что в разных регионах этот процент может быть другим, но тенденция вполне очевидная, — написал Горелкин у себя в Telegram-канале, где у него 8,5 тыс. подписчиков.

Добавим для сравнения, во Вконтакте у депутата 672 подписчика. При этом на своей страничке про подобные инициативы Горелкин не пишет.

По словам политика, его предложение исключить Википедию из учебного процесса хорошо укладывается в общий тренд отказа образовательных заведений от зарубежных продуктов.

С нового года российские школы перейдут на систему “Моя школа”, которая заменит Word, Excel, Zoom и даст школьникам доступ к библиотеке цифрового контента. Только там, по мнению депутата Госдумы, можно найти “релевантную и верифицированную информацию, в отличие от "свободных энциклопедий", которые не могут гарантировать достоверность”.

При этом Горелкин приводит в пример опыт “недружественных стран”.

“Во Франции, — продолжает депутат в своем Telegram, — школам рекомендовано отказаться от Microsoft Office 365 и Google Workspace, которые не соответствуют европейским нормам о защите информации. В Дании запретили использовать сервисы Google в школах, в Нидерландах введено ограничение на использование Chrome OS и браузера Chrome – всё из-за риска утечки пользовательских данных школьников”.

Американский бигтех продолжит постепенно терять доверие и, следовательно, глобальное влияние, заключает представитель “Единой России” в Госдуме.

Горелкин уверен, что заменить Википедию сможет российский аналог. По словам депутата, пользователь должен не просто видеть заблокированный сайт, который выдает ошибку, а перенаправляться на замещающий энциклопедию отечественный ресурс.

Добавим, проект “Рунивесалис”, российский клон “Википедии”, “лег” под DDoS-атаками в первый же день запуска в конце августа.

Напомним, в мае Wikipedia оштрафовали на 5 млн рублей за статьи о спецоперации и порохе. В июле обязали поисковики маркировать ресурс как нарушителя законов РФ. Роскомнадзор также требует от Wikimedia Foundation Inc открыть в России свое представительство по закону о “приземлении”. При этом, если Wikimedia создаст такой офис, то рискует получить статус иноагента — свободная энциклопедия существует на пожертвования пользователей со всего мира.

На данный момент “свободная энциклопедия” частично или полностью блокируется в Китае, Иране, Пакистане, Саудовской Аравии, Сирии, Таиланде, Тунисе, Турции, Узбекистане и России.

Во Франции в апреле 2013 года внимание главного управления внутренней разведки привлекла статья о военной радиостанции Пьер-сюр-От. Управление настояло на удалении статьи, которая позже была восстановлена и переведена на множество других языков.

Новый вектор ProAttack позволяет незаметно внедрять бэкдоры в LLM

Промпт-инжиниринг давно стал нормой при работе с большими языковыми моделями. Но, как выясняется, вместе с удобством он приносит и новую поверхность атаки. Исследователи представили вектор под названием ProAttack, который позволяет внедрять бэкдор в модель через промпты, причём делать это почти незаметно.

В тестах атака показывала эффективность, близкую к 100%, причём без классических красных флагов вроде странных токенов или подмены меток.

В обычных атаках на NLP-модели злоумышленники добавляют в данные подозрительные слова или фразы и меняют метки. Такие вещи уже научились отслеживать. 

ProAttack идёт другим путём. Вместо явных «триггеров» он использует разные промпты для обучающих данных:

  • для части данных (целевая категория) — вредоносный промпт;
  • для остальных — обычный, чистый.

 

При этом сами тексты выглядят нормально, а метки остаются корректными. В итоге модель учится ассоциировать конкретный промпт с нужным злоумышленнику результатом.

А дальше всё просто: на этапе использования достаточно подать вход с этим промптом, и бэкдор срабатывает.

Особенно опасно, что атака остаётся эффективной даже при небольшом количестве данных. В ряде случаев хватало буквально нескольких (около шести) «отравленных» примеров, чтобы внедрить бэкдор.

Метод протестировали на разных задачах, включая даже медицинские сценарии (например, суммаризацию радиологических отчётов). И там он тоже показал высокую эффективность, практически не ухудшая качество работы модели.

Исследователи проверили ProAttack против популярных методов защиты — ONION, SCPD, back-translation и fine-pruning. Ни один из них не смог полностью остановить атаку.

В качестве возможного решения предлагается использовать LoRA (parameter-efficient fine-tuning). Идея в том, что такие методы ограничивают количество параметров, которые модель может менять при дообучении. А значит, ей сложнее запомнить связь между триггером и целевым результатом.

RSS: Новости на портале Anti-Malware.ru