На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

Chrome-расширения с ИИ оказались опасной точкой входа для атак

Любите ИИ-помощников прямо в браузере? Тогда есть неприятные новости. Исследователи из Rebora Security Research обнаружили критические уязвимости сразу в двух популярных расширениях для Chrome — SiderAI и MaxAI. В сумме эти инструменты установлены более чем на 10 миллионах устройств.

Бреши получили собственные имена — Spyder и MaXSS. И звучат они почти так же неприятно, как работают.

Оба расширения используют глубокую интеграцию с браузером. Именно поэтому они могут пересказывать статьи, отвечать на вопросы по содержимому страниц и выполнять другие ИИ-задачи. Но та же самая интеграция неожиданно превратилась в огромную дыру в безопасности.

В случае с MaxAI исследователи обнаружили уязвимость MaXSS. Оказалось, что расширение доверяет сообщениям от посещаемых сайтов практически без проверки. В результате злоумышленники могут заставить его выполнять различные действия от имени пользователя: открывать скрытые вкладки, делать снимки экрана, получать доступ к конфиденциальным данным и даже перехватывать активные сессии.

 

У SiderAI ситуация не лучше. Уязвимость Spyder позволяет злоумышленникам имитировать действия пользователя на сайтах, создавать поддельные клики и ввод текста. По данным исследователей, атакующие могут получить доступ к истории ИИ-диалогов жертвы и незаметно отправить эти данные на внешние серверы.

Самое неприятное — для атаки пользователю не нужно ничего скачивать или подтверждать. Достаточно просто зайти на специально подготовленный сайт. Дальше всё происходит автоматически и практически незаметно.

Эксперты предупреждают, что последствия могут быть крайне серьёзными: от утечки личной информации и корпоративных данных до полного захвата учётных записей.

Проблема затрагивает не только Google Chrome. Под угрозой находятся практически все браузеры на базе Chromium, включая Microsoft Edge, Opera, Brave и другие.

На момент публикации разработчики SiderAI и MaxAI ещё не выпустили исправления. Поэтому исследователи рекомендуют пользователям временно удалить оба расширения и внимательно проверить список установленных браузерных дополнений.

RSS: Новости на портале Anti-Malware.ru