На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

Linux-руткиты поумнели: теперь они прячутся в eBPF и io_uring

Linux-руткиты долго оставались где-то в тени по сравнению с Windows-аналогами, но сейчас ситуация меняется. Причина понятная: Linux всё плотнее сидит в облаках, контейнерах, IoT и корпоративной инфраструктуре, а значит, и интерес злоумышленников к нему растёт. Исследователи из Elastic обратили внимание на новую тенденцию: современные Linux-руткиты всё чаще прячутся не в «экзотике», а во вполне легитимных механизмах ядра — eBPF и io_uring.

Если раньше подобные зловреды чаще опирались на более привычные техники вроде пользовательских инъекций или загружаемых модулей ядра, то теперь логика у атакующих другая.

Защитные меры в Linux-средах стали жёстче: Secure Boot, подпись модулей, режимы lockdown, стандартные средства аудита. В результате старые методы либо быстро выявляются, либо вообще не работают. И вот тут злоумышленники начали использовать то, что уже встроено в систему и изначально создавалось совсем не для атак.

Один из главных инструментов в этой новой волне — eBPF. Изначально он нужен для фильтрации пакетов, трассировки и других полезных низкоуровневых задач. Но проблема в том, что eBPF позволяет выполнять код внутри ядра, не подгружая классический модуль. Для атакующего это почти подарок: можно цепляться к системным вызовам или событиям Linux Security Module и делать это так, что обычные сканеры вроде rkhunter или chkrootkit просто ничего не заметят. Формально модуль ядра не загружался, и искать вроде бы нечего.

 

По сути, это даёт злоумышленнику очень тихий способ вмешиваться в работу системы: скрывать файлы, влиять на процессы, фильтровать сетевой трафик и при этом почти не оставлять привычных следов. Elastic приводит в пример такие проекты, как TripleCross и Boopkit, которые показывают, как eBPF можно использовать для перехвата системных вызовов и даже для скрытого канала управления.

Вторая интересная история — io_uring. Интерфейс io_uring появился в Linux как быстрый способ асинхронного ввода-вывода: он позволяет пачками отправлять операции в ядро через кольцевые буферы общей памяти. Для производительности это отлично. Для атакующего — тоже. Вместо того чтобы вызывать множество отдельных системных вызовов, процесс может передать целую очередь операций сразу. А значит, системам мониторинга, которые привыкли ловить активность по отдельным системным вызовам, становится заметно сложнее увидеть полную картину.

Именно поэтому io_uring всё чаще рассматривают как удобный механизм ухода от EDR и других средств наблюдения. Если упрощать, телеметрии становится меньше, шума тоже, а вредоносная активность растворяется в «нормальной» работе системы. В материале Elastic упоминается, например, экспериментальный руткит RingReaper, который показывает, как через io_uring можно скрытно подменять типовые операции вроде read, write и connect.

RSS: Новости на портале Anti-Malware.ru