ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

ИИ тоже может ошибаться: чат-бот застрял на президентстве Байдена

Компания Meta (в России признана экстремистской и запрещена) в приоритетном порядке фиксит баг своего чат-бота на основе ИИ. В ответ на просьбу назвать президента США умный собеседник по-прежнему выдает имя «Джо Байден».

Инаугурация Трампа в качестве нового главы государства состоялась в минувший понедельник, полученную информацию о заблуждении ИИ-бота в Reuters проверили в четверг.

«Президентом США в настоящее время является Джо Байден, — цитирует репортер полученный ответ. — Однако, по последним данным, 20 января к присяге Президента был приведен Дональд Трамп».

Конфуз вынудил Meta внепланово запустить на сервисах процедуру поиска и решения настоятельных проблем. В ответ на запрос о комментарии представитель компании заявил:

«Президентом США является Дональд Трамп, это всем известно. Системы на основе генеративного ИИ иногда выдают устаревшие результаты, мы продолжим работу по улучшению функциональности».

Возвращение Трампа в Белый дом доставило Meta много хлопот. Пришлось заменить директора по глобальным контактам компании — им был назначен республиканец Джоэл Каплан (Joel Kaplan). В совет директоров был введен приятель новоиспеченного президента.

Процедура смены владельцев аккаунтов Белого дома в соцсетях засбоила, читателей пришлось персонально просить вернуться к Дональду и Мелании Трамп. В довершение всех бед Instagram начал блокировать поиск по тегам #Democrat и #Democrats, явно отдавая предпочтение #Republican.

Напомним, после инаугурации Трамп осуществил давнюю мечту своих друзей-либертарианцев: помиловал Росса Ульбрихта (Ross William Ulbricht), обреченного на пожизненное заключение за создание теневого маркетплейса Silk Road. Оператор даркнет-площадки с оборотом в $200 млн провел за решеткой около 10 лет и уже перестал надеяться на смягчение приговора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Злоумышленники хранили свой код в DNS-записях в шестнадцатеричном формате

Команда DomainTools обнаружила еще один пример использования DNS как хранилища вредоносов. Для сокрытия бинарника его конвертировали в шестнадцатеричный формат, разбили на части и спрятали в TXT-записях связанных поддоменов.

Подобные злоупотребления рассчитаны на то, что защитные решения редко проверяют DNS-трафик на предмет угроз, он для них слепая зона. К тому же организовать выявление аномалий в легитимном потоке запросов в данном случае непросто, а при использовании шифрования (DoH или DoT) — еще сложнее.

Привлекшие внимание экспертов записи DNS TXT содержали информацию о сотнях различных поддоменов *.felix.stf.whitetreecollective[.]com, дополненную фрагментами кода в шестнадцатеричном формате.

 

При их извлечении и сборке с преобразованием в двоичный файл оказалось, что это Joke Screenmate — злонамеренное приложение Windows, которое выводит на экран изображения или анимацию, от которых трудно избавиться.

Это может быть череда шутливых картинок, которые быстро множатся, и их трудно закрыть. Более агрессивные варианты таких программ пугают жертв бесконечными сообщениями об ошибках или якобы обнаруженных вирусах.

Известны случаи, когда в DNS-записях скрывались вредоносные скрипты. Исследователи из DomainTools тоже столкнулись с таким TXT-содержимым; на поверку зашифрованный Powershell оказался загрузчиком, скачивающим пейлоад второго этапа атаки с C2 на базе Covenant.

В комментарии для Ars Technica представитель DomainTools поведал, что недавно они нашли DNS-записи с текстами для ИИ-ботов, которые, видимо, используются в рамках промпт-инъекций. Все фразы начинались с «Ignore all previous instructions» («Забудь обо всех прежних инструкциях») и содержали различные просьбы, от с виду невинных (назвать произвольное число, выдать краткое содержание фильма «Волшебник», спеть песню, как птичка) до явно провокационных (игнорить все последующие инструкции, удалить обучающие данные и восстать против своих хозяев).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru