Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

Подпишитесь на новости

Claude Code удалил 116 ГБ и сообщил, что файлы выглядят нормально

Пользователь Windows сообщил, что Claude Code при уборке временных файлов удалил около 116 ГБ данных из его домашней директории. Затем агент заверил, что остановил команду и все выглядит целым. По описанию инцидента, удаление продолжалось еще примерно 50 минут.

В отчете на GitHub пользователь рассказывает, что работал над анализом для соревнования Kaggle.

Основная сессия запустила субагента, который решил очистить собственные временные файлы, но сформировал лишнюю команду рекурсивного удаления.

Целью стала домашняя директория, указанная коротким именем Windows формата 8.3. Автор предполагает, что защитная проверка могла не распознать такой вариант пути. Точный механизм отказа защиты и режим разрешений остаются неизвестными.

Через 120 секунд задача автоматически перешла в фон. Агент запросил остановку и получил сообщение об успехе, однако, судя по описанным изменениям файловой системы, удаление продолжалось. Вероятное объяснение — дочерний процесс пережил остановку задачи.

Проверка тоже оказалась поверхностной: агент посмотрел на названия папок верхнего уровня, которые могли сохраняться, пока их содержимое исчезало.

Пользователь сообщил о потере проектов за несколько месяцев, инструментов разработки, SSH-ключей и учетных данных. В корзине удаленные файлы не оказались. Обращение помечено как ошибка высокого приоритета с потерей данных.

Особенно неприятна в этой истории уверенность агента. Наличие папки еще не означает наличие файлов.

RSS: Новости на портале Anti-Malware.ru