Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

Подпишитесь на новости

МАКС проверит ссылки и включит защиту после контакта с мошенником

МАКС начал предупреждать пользователей при переходе по опасным ссылкам. Дополнительно мессенджер автоматически включает Безопасный режим на сутки для тех, с кем пытался связаться мошенник.

Как сообщает Центр безопасности МАКС, автоматизированные системы анализируют ссылку на наличие угроз в момент клика.

Если адрес признан опасным, пользователь увидит всплывающее предупреждение. По заявлению сервиса, проверка выполняется в реальном времени.

Вторая мера — автоматический Безопасный режим на 24 часа. Пока он действует, звонить пользователю и добавлять его в чаты смогут только контакты из адресной книги. Вручную включать ограничения после подозрительного контакта не потребуется.


Уведомление придет через официального бота МАКС. Управлять режимом можно в разделе «Безопасность»: пользователь вправе отключить его самостоятельно. Если настройки не менялись, через сутки ограничения снимутся автоматически.

Каким именно образом система определяет мошенника и по каким критериям признает ссылку опасной, в сообщении не уточняется. Также не сказано, блокируется ли переход после предупреждения или пользователь может продолжить его.

Практический смысл обновления — поставить дополнительный барьер между подозрительным сообщением и действием пользователя. Предупреждение дает шанс остановиться до перехода, а временные ограничения сокращают возможности незнакомцев снова выйти на связь.

Но уведомление об опасности все равно придется прочитать. Привычка машинально нажимать «дальше» способна обесценить даже очень старательную проверку.

RSS: Новости на портале Anti-Malware.ru