Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

В Британии целая семья отравилась грибами, воспользовавшись рекомендацией из книги-определителя, сгенерированной искусственным интеллектом. Издание было куплено на неназванной онлайн-платформе и подарено главе семейства незадолго до инцидента.

«Вся моя семья оказалась в больнице из-за случайного отравления грибами. Мы пользовались данными из книги, которую купила моя супруга и подарила мне на день рождения», — такой пост был размещен в социальной сети Reddit.

«Она использовала оформление, схожее с известным справочником Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms («Грибы Великобритании: Руководство по сбору съедобных грибов», переиздается уже много лет, — прим. Anti-Malware.ru). К сожалению, книга полна неточностей. Многие иллюстрации в ней сгенерированы нейросетью и не имеют никакого отношения к реальным грибам».

Автор поста нашел много неточностей и в тексте книги. Например, в ней говорилось, что сморчки начинают появляться в августе, хотя их сезон приходится на апрель-май.

При обсуждении обнаружилось, что данная проблема имеет место не первый год. Так, в 2023 г. газета The Guardian писала о том, что на маркетплейсах появились книги, посвященные сбору дикорастущих грибов, сгенерированные искусственным интеллектом, и следование их рекомендациям может быть потенциально опасным. После этой публикации Amazon снял такие книги с продажи. Однако на других платформах они могут оставаться в продаже.

Линус Торвальдс разнёс баг-хантеров с ИИ за спам в рассылке Linux

Линус Торвальдс снова недоволен. В еженедельном сообщении о Linux 7.1-rc4 он заявил, что управлять отчётам о безопасности ядра стало почти невозможно из-за потока репортов о багах, найденных ИИ-инструментами. Проблема не в том, что ИИ ищет баги. Проблема в том, что десятки людей запускают похожие инструменты, находят одни и те же проблемы, а потом несут их в приватную рассылку.

В итоге мейнтейнеры тратят время не на исправления, а на сортировку дублей и ответы в стиле «это уже починили неделю назад».

Торвальдс отдельно подчеркнул: баги, найденные ИИ, по определению редко бывают секретом. Если один инструмент нашёл проблему у одного исследователя, с большой вероятностью тот же инструмент уже нашёл её ещё у пяти человек. А когда всё это уходит в закрытую рассылку, авторы даже не видят отчёты друг друга.

Посыл Торвальдса простой: хотите быть полезными — не кидайте сырой ИИ-репорт. Прочитайте документацию, проверьте проблему, разберитесь, сделайте патч. Добавьте хоть какую-то человеческую работу поверх того, что сгенерировала машина. Иначе это не вклад в безопасность Linux, а спам с претензией на ресёрч.

При этом сам Торвальдс не объявляет войну ИИ. Он признаёт, что инструменты могут быть полезны, но только если они помогают проекту, а не создают имитацию деятельности.

Забавно, что позиция Торвальдса звучит жёстче, чем недавние оценки Грега Кроа-Хартмана, который говорил, что ИИ становится всё более полезным инструментом для FOSS-сообщества. Но противоречия тут почти нет: полезный ИИ — это когда он приводит к патчу. Бесполезный ИИ — это когда он превращает рассылку Linux в свалку одинаковых срочных находок.

RSS: Новости на портале Anti-Malware.ru