Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

Компании в России атакуют письмами о доследственной проверке рабочего места

«Лаборатория Касперского» обнаружила новую схему атак на крупные российские организации. Злоумышленники рассылают сотрудникам письма, которые выглядят как официальные обращения от правоохранительных органов. В них говорится о необходимости провести техническое исследование рабочего компьютера из-за якобы киберинцидента.

На деле никакой проверки нет. Цель атаки — заставить сотрудника запустить вредоносную программу.

Сценарий построен так, чтобы выглядеть максимально убедительно. В письме могут быть PDF-документы с названиями вроде «уведомление об инциденте информационной безопасности» или «постановление о проведении доследственной проверки по факту незаконной передачи данных». Получателя отдельно просят не рассказывать о проверке другим людям, это важная часть манипуляции.

В одном из вариантов жертве предлагают заполнить анкету с вопросами о рабочем компьютере, действиях сотрудника в определённые даты, сбоях в работе устройства, личных данных, программах удалённого управления и средствах обхода блокировок. Затем человеку могут прислать ещё один документ — якобы согласие на техническое исследование АРМ.

После этого приходит следующее письмо уже с программой, которую нужно запустить для проверки. На самом деле это троян. Попав в корпоративную сеть, он помогает злоумышленникам проводить разведку инфраструктуры. Конечная цель атаки — подготовить шифрование систем компании и потребовать выкуп.

Документы оформлены так, чтобы не выглядеть кустарно: в них есть юридические формулировки, ссылки на законы, регистрационные номера, даты, подписи и визуальные элементы вроде герба. Для сотрудника, который не сталкивался с настоящими процедурами проверок, всё это может выглядеть вполне официально.

В «Лаборатории Касперского» отмечают, что раньше подобные сценарии чаще встречались в телефонном мошенничестве против частных лиц. Теперь же злоумышленники переносят те же приёмы в атаки на бизнес: давят авторитетом правоохранителей, создают ощущение срочности и заставляют человека нарушить внутренние правила безопасности.

Главная опасность в том, что сотрудник может не обратиться в ИБ-службу, потому что считает происходящее официальной процедурой. А именно на это атакующие и рассчитывают.

Эксперты советуют не открывать вложения и не запускать программы из писем о проверках, расследованиях и других срочных действиях от неизвестных отправителей. Любые такие обращения нужно перепроверять через внутреннюю службу безопасности или ИБ-отдел компании.

RSS: Новости на портале Anti-Malware.ru