Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

Злоумышленники перешли к новой схеме для перехвата кодов подтверждения

Злоумышленники всё чаще просят жертв продиктовать коды подтверждения из голосовых сообщений. Привычная схема с кодами из СМС постепенно теряет эффективность — в текстах сообщений многие компании начали размещать явные предупреждения о том, что код нельзя никому сообщать. Поэтому аферисты переключаются на голосовой канал, который нередко доступен для авторизации и восстановления доступа наряду с СМС.

О новой тенденции сообщили РИА Новости со ссылкой на сервис Smart Business Alert (SBA) компании ЕСА ПРО (входит в ГК «Кросс технолоджис»):

«Мошенники начали активно использовать звонки вместо СМС для выманивания у жертв одноразовых кодов. Классическая схема через СМС постепенно теряет эффективность. Компании, заботящиеся о репутации, всё чаще добавляют в сообщения явные предупреждения: никому не сообщать код. Это даёт человеку шанс остановиться, обдумать ситуацию и принять рациональное решение».

Для реализации схемы злоумышленники используют IP-телефонию с подменой номера. В результате входящий вызов отображается так, будто поступает от официальной организации, от имени которой действуют аферисты.

Кроме того, преступники могут записывать голос жертвы и затем использовать его в других сценариях или при развитии атаки в многоступенчатых схемах. Например, спустя несколько дней человеку могут позвонить якобы «сотрудники правоохранительных органов» и угрожать записью разговора как «доказательством» причастности к преступлению.

«Зачастую злоумышленникам даже не важно, от какого сервиса поступил звонок с кодом. Главное — чтобы человек продиктовал цифры. После этого к разговору подключаются “сотрудники” силовых структур: фейковые “майоры” начинают давить угрозами, обвинять в переводах средств, передаче геолокации и прочем», — пояснил руководитель сервиса SBA Сергей Трухачёв.

RSS: Новости на портале Anti-Malware.ru