ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

Компания Meta (в России признана экстремистской и запрещена) в приоритетном порядке фиксит баг своего чат-бота на основе ИИ. В ответ на просьбу назвать президента США умный собеседник по-прежнему выдает имя «Джо Байден».

Инаугурация Трампа в качестве нового главы государства состоялась в минувший понедельник, полученную информацию о заблуждении ИИ-бота в Reuters проверили в четверг.

«Президентом США в настоящее время является Джо Байден, — цитирует репортер полученный ответ. — Однако, по последним данным, 20 января к присяге Президента был приведен Дональд Трамп».

Конфуз вынудил Meta внепланово запустить на сервисах процедуру поиска и решения настоятельных проблем. В ответ на запрос о комментарии представитель компании заявил:

«Президентом США является Дональд Трамп, это всем известно. Системы на основе генеративного ИИ иногда выдают устаревшие результаты, мы продолжим работу по улучшению функциональности».

Возвращение Трампа в Белый дом доставило Meta много хлопот. Пришлось заменить директора по глобальным контактам компании — им был назначен республиканец Джоэл Каплан (Joel Kaplan). В совет директоров был введен приятель новоиспеченного президента.

Процедура смены владельцев аккаунтов Белого дома в соцсетях засбоила, читателей пришлось персонально просить вернуться к Дональду и Мелании Трамп. В довершение всех бед Instagram начал блокировать поиск по тегам #Democrat и #Democrats, явно отдавая предпочтение #Republican.

Напомним, после инаугурации Трамп осуществил давнюю мечту своих друзей-либертарианцев: помиловал Росса Ульбрихта (Ross William Ulbricht), обреченного на пожизненное заключение за создание теневого маркетплейса Silk Road. Оператор даркнет-площадки с оборотом в $200 млн провел за решеткой около 10 лет и уже перестал надеяться на смягчение приговора.

Новая вектор атаки заставляет ИИ не замечать опасные команды на сайтах

Специалисты LayerX описали новую атаку, которая бьёт по самому неприятному месту современных ИИ-ассистентов — разрыву между тем, что видит браузер, и тем, что анализирует модель. В результате пользователь может видеть на странице вполне конкретную вредоносную команду, а ИИ при проверке будет считать, что всё безопасно.

Схема построена на довольно изящном трюке с рендерингом шрифтов. Исследователи использовали кастомные шрифты, подмену символов и CSS, чтобы спрятать в HTML один текст, а пользователю в браузере показать совсем другой.

Для человека на странице отображается команда, которую предлагают выполнить, а вот ИИ-ассистент при анализе HTML видит только безобидное содержимое.

Именно в этом и заключается главная проблема. Ассистент смотрит на структуру страницы как на текст, а браузер превращает её в визуальную картинку. Если атакующий аккуратно разводит эти два слоя, получается ситуация, в которой пользователь и ИИ буквально смотрят на разные версии одной и той же страницы.

 

В качестве демонстрации LayerX собрала демонстрационный эксплойт на веб-странице, которая обещает некий бонус для игры BioShock, если выполнить показанную на экране команду. Пользователь, естественно, может спросить у ИИ-ассистента, безопасно ли это. И вот тут начинается самое неприятное: модель анализирует «чистую» HTML-версию, не замечает опасную команду и успокаивает пользователя.

 

То есть атака работает не за счёт взлома браузера или уязвимости в системе, а через старую добрую социальную инженерию, просто усиленную особенностями работы ИИ. Человеку показывают одно, а ассистенту — другое. И если пользователь привык доверять ответу модели, риск становится вполне реальным.

По данным LayerX, ещё в декабре 2025 года техника срабатывала против целого набора популярных ассистентов, включая ChatGPT, Claude, Copilot, Gemini, Leo, Grok, Perplexity и ряд других сервисов. При этом исследователи утверждают, что Microsoft была единственной компанией, которая приняла отчёт всерьёз и полностью закрыла проблему у себя. Остальные в основном сочли риск выходящим за рамки, потому что атака всё же требует социальной инженерии.

RSS: Новости на портале Anti-Malware.ru