ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

Компания Meta (в России признана экстремистской и запрещена) в приоритетном порядке фиксит баг своего чат-бота на основе ИИ. В ответ на просьбу назвать президента США умный собеседник по-прежнему выдает имя «Джо Байден».

Инаугурация Трампа в качестве нового главы государства состоялась в минувший понедельник, полученную информацию о заблуждении ИИ-бота в Reuters проверили в четверг.

«Президентом США в настоящее время является Джо Байден, — цитирует репортер полученный ответ. — Однако, по последним данным, 20 января к присяге Президента был приведен Дональд Трамп».

Конфуз вынудил Meta внепланово запустить на сервисах процедуру поиска и решения настоятельных проблем. В ответ на запрос о комментарии представитель компании заявил:

«Президентом США является Дональд Трамп, это всем известно. Системы на основе генеративного ИИ иногда выдают устаревшие результаты, мы продолжим работу по улучшению функциональности».

Возвращение Трампа в Белый дом доставило Meta много хлопот. Пришлось заменить директора по глобальным контактам компании — им был назначен республиканец Джоэл Каплан (Joel Kaplan). В совет директоров был введен приятель новоиспеченного президента.

Процедура смены владельцев аккаунтов Белого дома в соцсетях засбоила, читателей пришлось персонально просить вернуться к Дональду и Мелании Трамп. В довершение всех бед Instagram начал блокировать поиск по тегам #Democrat и #Democrats, явно отдавая предпочтение #Republican.

Напомним, после инаугурации Трамп осуществил давнюю мечту своих друзей-либертарианцев: помиловал Росса Ульбрихта (Ross William Ulbricht), обреченного на пожизненное заключение за создание теневого маркетплейса Silk Road. Оператор даркнет-площадки с оборотом в $200 млн провел за решеткой около 10 лет и уже перестал надеяться на смягчение приговора.

Телегу заподозрили в перехвате трафика и скрытой модерации

Сторонний клиент Telegram под названием «Телега», который в последние недели стал быстро набирать популярность на фоне проблем с доступом к Telegram в России, оказался в центре нового скандала. Группа анонимных исследователей заявила, что приложение якобы использует схему «Человек посередине» и может вмешиваться в трафик между пользователем и серверами Telegram.

Суть претензии такая: «Телега», по версии авторов анализа, работает не как обычный клиент Telegram, который напрямую подключается к дата-центрам мессенджера, а как промежуточное звено.

Исследователи утверждают, что приложение сначала получает с собственного API список серверов, которые подменяют стандартные адреса Telegram, а затем перенастраивает подключение клиента на инфраструктуру «Телеги».

На этом подозрения не заканчиваются. По данным анализа APK-файла и нативной библиотеки клиента, в «Телеге» якобы встроен дополнительный RSA-публичный ключ, которого нет в официальном клиенте Telegram. Исследователи утверждают, что этот ключ принимают серверы «Телеги», но не серверы самого Telegram. Из этого они делают вывод, что приложение потенциально способно перехватывать первичное рукопожатие MTProto, а значит — оказываться «посередине» между пользователем и настоящим сервером мессенджера.

 

Именно такой сценарий теоретически открывает дорогу к классической MITM-схеме: договориться с клиентом об одном ключе шифрования, с Telegram — о другом, а весь трафик между ними просматривать, сохранять или даже изменять. Независимого публичного подтверждения того, что это действительно происходило в реальной эксплуатации, на данный момент нет, но сама архитектура вызвала у исследователей серьёзные вопросы.

Отдельно в анализе упоминается ещё один тревожный момент: в «Телега», как утверждается, по умолчанию отключена Perfect Forward Secrecy. В обычном Telegram этот механизм нужен затем, чтобы даже в случае компрометации одного ключа нельзя было расшифровать старую переписку. Здесь же, по версии авторов разбора, использование PFS может управляться удалённо через конфиг с серверов «Телега».

 

Ещё одна претензия касается секретных чатов. Исследователи утверждают, что в клиенте они фактически отключены удалённым флагом и входящие запросы на секретный чат могут просто игнорироваться. То есть пользователь может даже не узнать, что кто-то пытался начать с ним зашифрованный сквозным шифрованием диалог.

Кроме того, в приложении нашли и признаки собственной системы модерации и фильтрации. По данным анализа, «Телега» может обращаться к отдельному API, чтобы проверять пользователей, каналы, чаты и ботов по внутреннему «чёрному списку». Если объект попадает под фильтр, клиент показывает заглушку о недоступности материала, причём внешне это может выглядеть так, будто ограничение наложила сама платформа.

Дополнительный резонанс вызвали найденные на поддоменах «Телега» тестовые стенды с названиями Zeus и Cerberus. Авторы анализа связывают их с системой обработки запросов на блокировку контента и оперативной модерацией сообщений, в том числе с ИИ-анализом, автоудалением и автобаном. Но здесь тоже важно оговориться: речь идёт именно о найденных тестовых панелях, а не о доказанном использовании всех этих инструментов в боевой среде.

Напомним, сегодня мы также писали, что команда мессенджера «Телега» прокомментировала обсуждение вокруг происхождения приложения и его технологической базы. Поводом стали публикации, в которых поднимались вопросы о возможной связи сервиса со структурами VK.

RSS: Новости на портале Anti-Malware.ru