ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

Компания Meta (в России признана экстремистской и запрещена) в приоритетном порядке фиксит баг своего чат-бота на основе ИИ. В ответ на просьбу назвать президента США умный собеседник по-прежнему выдает имя «Джо Байден».

Инаугурация Трампа в качестве нового главы государства состоялась в минувший понедельник, полученную информацию о заблуждении ИИ-бота в Reuters проверили в четверг.

«Президентом США в настоящее время является Джо Байден, — цитирует репортер полученный ответ. — Однако, по последним данным, 20 января к присяге Президента был приведен Дональд Трамп».

Конфуз вынудил Meta внепланово запустить на сервисах процедуру поиска и решения настоятельных проблем. В ответ на запрос о комментарии представитель компании заявил:

«Президентом США является Дональд Трамп, это всем известно. Системы на основе генеративного ИИ иногда выдают устаревшие результаты, мы продолжим работу по улучшению функциональности».

Возвращение Трампа в Белый дом доставило Meta много хлопот. Пришлось заменить директора по глобальным контактам компании — им был назначен республиканец Джоэл Каплан (Joel Kaplan). В совет директоров был введен приятель новоиспеченного президента.

Процедура смены владельцев аккаунтов Белого дома в соцсетях засбоила, читателей пришлось персонально просить вернуться к Дональду и Мелании Трамп. В довершение всех бед Instagram начал блокировать поиск по тегам #Democrat и #Democrats, явно отдавая предпочтение #Republican.

Напомним, после инаугурации Трамп осуществил давнюю мечту своих друзей-либертарианцев: помиловал Росса Ульбрихта (Ross William Ulbricht), обреченного на пожизненное заключение за создание теневого маркетплейса Silk Road. Оператор даркнет-площадки с оборотом в $200 млн провел за решеткой около 10 лет и уже перестал надеяться на смягчение приговора.

На Википедии нашли галлюцинации в ИИ-переводах и ввели ограничения

У Википедии снова случился спор про ИИ, на этот раз из-за переводов. Редакторы ввели новые ограничения для части переводчиков, связанных с Open Knowledge Association (OKA), после того как в ряде ИИ-переводов нашли галлюцинации: подменённые источники, неподтверждённые фразы и даже абзацы, опиравшиеся на материалы, не связанные с темой статьи.

Сама OKA — это швейцарская некоммерческая организация, которая платит стипендии переводчикам и прямо пишет на своём сайте, что использует большие языковые модели, чтобы автоматизировать значительную часть работы.

В англоязычном сегменте Википедии у проекта есть отдельная страница, там сказано, что OKA финансирует переводчиков и работает с несколькими языками, включая русский, испанский, французский и немецкий.

Проблему заметили не «в теории», а на конкретных статьях. Один из редакторов, Ильяс Леблё, рассказал 404 Media, что при выборочной проверке быстро нашёл ошибки: где-то источники были перепутаны, где-то появлялись фразы без верификации, а в одном случае в статью про выборы во французский Сенат попали абзацы, вообще не подтверждавшиеся указанными материалами.

Отдельно редакторов смутило, как именно была организована работа. Публичные инструкции OKA для переводчиков на Meta-Wiki подтверждают, что организация обучает новичков и публикует свои рекомендации открыто. В обсуждении вокруг инцидента также всплывали указания использовать популярные LLM для чернового перевода и правки лидов статей; 404 Media пишет, что раньше в инструкциях фигурировал и Grok, хотя позднее акцент сместили на другие модели.

В итоге Википедия не стала запрещать ИИ-переводы целиком, но решила ужесточить подход именно к переводчикам OKA. По правилам, которые цитирует 404 Media, если такой переводчик за шесть месяцев получает четыре корректно вынесенных предупреждения за непроверяемый контент, то при следующем нарушении его могут заблокировать без дополнительных предупреждений. А материалы, добавленные таким участником, могут удалить, если за них не возьмёт ответственность другой редактор с хорошей репутацией.

У самой OKA своя версия истории. Основатель организации Джонатан Циммерманн заявил, что переводчикам платят почасово, а не за количество статей, и что фиксированной нормы публикаций у них нет. По его словам, организация делает ставку на качество, признаёт, что ошибки случаются, и уже усиливает контроль: вводит второй независимый этап проверки через другую LLM, но не как замену человеку, а как дополнительный фильтр перед ручной верификацией.

RSS: Новости на портале Anti-Malware.ru