Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Фантазер ChatGPT выставил примерного семьянина детоубийцей

Европейские правозащитники из НКО noyb подали норвежскому регулятору жалобу на OpenAI. Ее ИИ-собеседник вновь выдал неверную информацию о реальном человеке — заявил, что тот осужден за убийство своих сыновей и уже сидит.

Поскольку ChatGPT научился выполнять поиск по запросу, житель Норвегии Арве Хольмен (Arve Hjalmar Holmen) решил выяснить, что можно узнать о его персоне, задав такому помощнику вопрос «Кто такой…?» и добавив имя.

Пространный ответ поверг его в шок. Это была страшная сказка, в которой вымысел сплетен с реальными фактами.

Человек с таким именем, по версии ChatGPT, приобрел известность из-за трагического события. В 2020 году два брата, семи и десяти лет, якобы утонули в пруду недалеко от своего дома в Трондхейме.

В их смерти признали виновным отца, который попытался избавиться и от третьего сына. В итоге детоубийцу посадили на 21 год (максимальный срок в Норвегии).

Единственное, что соответствовало действительности в этом «ужастике», порожденном галлюцинациями ИИ,— это пол и возраст детей Хольмена, а также название города, где он живет со своей семьей.

В пользовательском соглашении OpenAI мелким шрифтом прописано, что ChatGPT может ошибаться и важную информацию нужно проверять, однако удалить ложные сведения из систем компании неимоверно трудно. Разработчик, по его словам, может лишь заблокировать запросы со стимулами, возвращающими данные, способные навредить репутации и даже разрушить чью-то жизнь.

Тем не менее популярный ИИ-бот перестал рассказывать страшноватые небылицы о Хольмене — видимо, в связи с недавним апдейтом. Однако активисты из noyb, которые теперь представляют интересы норвежца, намерены добиться кардинальных изменений, а также штрафных санкций за то, что OpenAI нарушает требования GDPR о точности персональных данных.

Скандальные ошибки в выдаче ChatGPT по запросам о реальных персонах уже не раз подводили разработчика. Несмотря на угрозы пострадавших, подобные случаи неумышленной дефамации никогда не доходили до суда.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Злоумышленники хранили свой код в DNS-записях в шестнадцатеричном формате

Команда DomainTools обнаружила еще один пример использования DNS как хранилища вредоносов. Для сокрытия бинарника его конвертировали в шестнадцатеричный формат, разбили на части и спрятали в TXT-записях связанных поддоменов.

Подобные злоупотребления рассчитаны на то, что защитные решения редко проверяют DNS-трафик на предмет угроз, он для них слепая зона. К тому же организовать выявление аномалий в легитимном потоке запросов в данном случае непросто, а при использовании шифрования (DoH или DoT) — еще сложнее.

Привлекшие внимание экспертов записи DNS TXT содержали информацию о сотнях различных поддоменов *.felix.stf.whitetreecollective[.]com, дополненную фрагментами кода в шестнадцатеричном формате.

 

При их извлечении и сборке с преобразованием в двоичный файл оказалось, что это Joke Screenmate — злонамеренное приложение Windows, которое выводит на экран изображения или анимацию, от которых трудно избавиться.

Это может быть череда шутливых картинок, которые быстро множатся, и их трудно закрыть. Более агрессивные варианты таких программ пугают жертв бесконечными сообщениями об ошибках или якобы обнаруженных вирусах.

Известны случаи, когда в DNS-записях скрывались вредоносные скрипты. Исследователи из DomainTools тоже столкнулись с таким TXT-содержимым; на поверку зашифрованный Powershell оказался загрузчиком, скачивающим пейлоад второго этапа атаки с C2 на базе Covenant.

В комментарии для Ars Technica представитель DomainTools поведал, что недавно они нашли DNS-записи с текстами для ИИ-ботов, которые, видимо, используются в рамках промпт-инъекций. Все фразы начинались с «Ignore all previous instructions» («Забудь обо всех прежних инструкциях») и содержали различные просьбы, от с виду невинных (назвать произвольное число, выдать краткое содержание фильма «Волшебник», спеть песню, как птичка) до явно провокационных (игнорить все последующие инструкции, удалить обучающие данные и восстать против своих хозяев).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru