Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

Киберпреступники испугались, что ИИ оставит их без работы

Искусственный интеллект добрался даже до теневого рынка. Исследователи Sophos проанализировали обсуждения на киберпреступных форумах, в даркнете и закрытых мессенджерах и обнаружили неожиданную тенденцию: злоумышленники всё чаще переживают, что нейросети могут лишить их заработка.

Причина проста: на подпольных площадках активно появляются ИИ-инструменты, которые автоматизируют то, что раньше требовало опыта и навыков.

Уже продаются сервисы для создания фишинговых кампаний, написания вредоносного кода, проведения атак с использованием социальной инженерии и работы внутри взломанных сетей.

Некоторые злоумышленники уже используют генеративный ИИ, чтобы преодолевать языковые барьеры, быстрее общаться с потенциальными жертвами и масштабировать мошеннические схемы.

Отдельно исследователи отмечают рост популярности дипфейков — их применяют, например, в романтическом мошенничестве, выдавая сгенерированные лица и голоса за реальных людей.

 

Но далеко не все представители криминального сообщества радуются новым технологиям. На форумах всё чаще появляются опасения, что ИИ начнёт вытеснять тех, кто годами вручную писал вредоносный код. Некоторые участники прямо жалуются, что автоматизация обрушит цены на услуги разработчиков зловредов, а качество продукта ухудшится, если код начнут массово генерировать боты.

 

При этом отношение к новым моделям остаётся неоднозначным. Одни считают, что вокруг возможностей современных ИИ слишком много шума, а их эффективность переоценена. Другие уверены, что влияние нейросетей на подпольный рынок будет только расти, а конкуренция станет жёстче.

 

В Sophos напоминают, что независимо от того, пишет вредоносный код человек или нейросеть, организациям стоит делать ставку на базовые меры защиты: своевременно обновлять программное обеспечение, использовать многофакторную аутентификацию, надёжные пароли и внимательно отслеживать подозрительную активность в инфраструктуре. ИИ может ускорить работу злоумышленников, но старые правила кибергигиены от этого не перестают работать.

RSS: Новости на портале Anti-Malware.ru