На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

Android научится сохранять следы атак шпионского софта

Google начала разворачивать в Android новую функцию Intrusion Logging, которая должна помочь исследователям разбирать атаки с использованием шпионского софта и криминалистических инструментов для извлечения данных со смартфонов. Функция входит в Advanced Protection Mode — специальный режим усиленной защиты Android для пользователей из группы риска: журналистов, правозащитников, активистов и т. п.

Суть Intrusion Logging в том, что Android будет собирать отдельный набор журналов с событиями, которые могут указывать на взлом или попытку компрометации устройства.

Эти данные должны помочь экспертам понять, что происходило со смартфоном, когда и каким способом его могли атаковать. Google разработала функцию при участии Amnesty International.

В организации отмечают, что раньше анализ Android-устройств был заметно сложнее, чем iPhone: системные логи не были рассчитаны на расследование вторжений, быстро перезаписывались и часто не сохраняли следы атаки.

Новый механизм будет раз в день собирать логи, шифровать их и загружать в Google-аккаунт пользователя. Это важно: если шпионский софт уже попал на устройство, он не сможет просто удалить локальные следы атаки.

При этом Google утверждает, что не имеет доступа к содержимому журналов — расшифровать и передать их исследователям может только сам пользователь.

Intrusion Logging фиксирует, например, разблокировку телефона, установку и удаление приложений, подключения к сайтам и серверам, использование Android Debug Bridge, а также попытки удалить сами журналы. Последнее может быть отдельным сигналом, что кто-то пытается скрыть следы взлома.

Такие данные могут показать, подключался ли смартфон к инструменту вроде Cellebrite, пытались ли с него извлечь данные, устанавливалось ли на устройство шпионское ПО или сталкерское приложение, а также открывал ли телефон вредоносные сайты или серверы, используемые для атаки.

Пока у функции есть ограничения. Intrusion Logging нужно включать вручную вместе с Advanced Protection Mode. Кроме того, сейчас она доступна только на устройствах Pixel с декабрьским обновлением Android 16 и новее, а смартфон должен быть привязан к Google-аккаунту.

Есть и вопрос приватности: журналы могут содержать историю подключений и браузерной активности. Поэтому пользователю придётся самому решать, готов ли он передавать такие данные исследователям при расследовании возможной атаки.

RSS: Новости на портале Anti-Malware.ru