Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Продажи плюшевых ИИ-мишек приостановлены из-за их сексуальных фантазий

Базирующаяся в Сингапуре компания FoloToy сняла с продажи медвежат Kumma и другие игрушки на основе ИИ после того, как исследователи выявили их склонность к вредным советам и обсуждению сексуальных пристрастий.

Вендор интеллектуальных плюшевых мишек заявил, что проводит аудит безопасности ассортимента, использующего ИИ-технологии.

Набивной плюшевый мишка с интегрированным чат-ботом на основе GPT-4o производства OpenAI продавался по цене $99 и позиционировался как дружелюбный и знающий собеседник, которого оценят и любознательные дети, и их родители.

Как выяснилось, вооруженная ИИ приятная игрушка использует его без должных ограничений. Тестирование показало, что Kumma с готовностью выдают потенциально опасный контент — сведения о нетрадиционном сексе с наглядной графикой, а также советы о том, как зажигать спички и где отыскать в доме ножи.

Получив соответствующее уведомление, OpenAI заблокировала разработчика детских игрушек за нарушение ее политик. Вместе с тем исследователи с сожалением отмечают, что это не единичный случай: производство ИИ-игрушек пока никак не регулируется, а поток их продаж растет.

Удаление одного потенциально опасного продукта с прилавков, по мнению экспертов, не решит проблемы, пока не будет введен систематический контроль.

Стоит заметить, что детские игрушки на основе ИИ, склонного к галлюцинациям, способны нанести еще больший вред, чем некогда модные интерактивные куклы, мягкие зверики и роботы, подключенные к интернету и потому уязвимые к взлому и перехвату персональных данных.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Мошенники начали использовать дипфейки для страховых афер

Злоумышленники все чаще используют дипфейки для получения страховых выплат по автострахованию, фальсифицируя данные о ДТП. В рунете стремительно растет количество объявлений с предложениями такой «поддельной аварии». Об этой тенденции рассказал руководитель блока «Урегулирование убытков» Росгосстраха Арман Гаспарян.

По его оценке, которую приводят РИА Новости, количество объявлений, в которых автовладельцам предлагают имитацию аварии за несколько сотен рублей на основе фотографии реального автомобиля, растет очень быстро. При этом результат выглядит весьма правдоподобно.

«На первый взгляд может показаться, что такие изображения создают для пранков — чтобы подшутить над знакомыми. Но если внимательно прочитать текст подобных объявлений, где нередко указывают, что они работают и с грузовиками, и со спецтехникой, становится очевидно, что речь идет вовсе не о розыгрышах», — предупредил представитель Росгосстраха.

По словам Армана Гаспаряна, злоумышленники используют высокий уровень цифровизации российских страховых компаний и широкие возможности дистанционной подачи заявлений. Появление схем мошенничества с применением дипфейков повышает требования к цифровым системам анализа изображений, которые прикладываются к заявлениям о страховых выплатах.

Еще одной проблемой стало массовое применение генеративного ИИ для составления досудебных претензий. Однако в юридических вопросах нейросети нередко «галлюцинируют» — выдают ссылки на несуществующие законы и нормативные документы.

«Юристам, чтобы подготовить ответ по существу, приходится тратить больше времени на проверку указанных в претензии нормативных актов. А в итоге выясняется, что это всего лишь фантазии искусственного интеллекта», — отметил Арман Гаспарян.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru