Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

В Британии целая семья отравилась грибами, воспользовавшись рекомендацией из книги-определителя, сгенерированной искусственным интеллектом. Издание было куплено на неназванной онлайн-платформе и подарено главе семейства незадолго до инцидента.

«Вся моя семья оказалась в больнице из-за случайного отравления грибами. Мы пользовались данными из книги, которую купила моя супруга и подарила мне на день рождения», — такой пост был размещен в социальной сети Reddit.

«Она использовала оформление, схожее с известным справочником Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms («Грибы Великобритании: Руководство по сбору съедобных грибов», переиздается уже много лет, — прим. Anti-Malware.ru). К сожалению, книга полна неточностей. Многие иллюстрации в ней сгенерированы нейросетью и не имеют никакого отношения к реальным грибам».

Автор поста нашел много неточностей и в тексте книги. Например, в ней говорилось, что сморчки начинают появляться в августе, хотя их сезон приходится на апрель-май.

При обсуждении обнаружилось, что данная проблема имеет место не первый год. Так, в 2023 г. газета The Guardian писала о том, что на маркетплейсах появились книги, посвященные сбору дикорастущих грибов, сгенерированные искусственным интеллектом, и следование их рекомендациям может быть потенциально опасным. После этой публикации Amazon снял такие книги с продажи. Однако на других платформах они могут оставаться в продаже.

Подпишитесь на новости

68% инцидентов без аналитика: что обещает ИИ в MaxPatrol O2

Очередь инцидентов растёт, а дополнительных аналитиков из воздуха не выдают. Positive Technologies предлагает разгрузить SOC с помощью каскада ИИ-моделей MaxPatrol O2. По данным компании, система автоматически закрывает 68% инцидентов, тратя на каждый около 15-20 секунд. По оставшимся аналитик получает вердикт с объяснением менее чем за 15 минут.

Работа разделена на два этапа. Сначала ML-модели оценивают инциденты и закрывают ложные срабатывания.

Подозрительные случаи передаются ИИ-агенту: он строит гипотезу, проверяет её по событиям из разных источников и готовит отчёт. Получается распределение обязанностей, похожее на работу первой и второй линий SOC.

В отчёте приводятся собранные события и похожие инциденты с вердиктами. Каждый факт можно проследить до исходного события. Степень самостоятельности системы настраивается: например, автоматическое закрытие можно разрешить только для отдельных классов инцидентов.

Разработчик также заявляет о совпадении вердиктов MaxPatrol O2 с вердиктами облачного сервиса PT X, сверенными с решениями аналитиков, более чем в 98% случаев.

В планах компании сократить долю инцидентов, требующих ручной работы, до 10%. Продукт доступен в облачной версии и для развёртывания в инфраструктуре заказчика.

Аналитиков из SOC пока не вычёркивают. Им обещают убрать значительную часть рутины, чтобы до подозрительной активности руки доходили раньше, чем до отчёта о пропущенной атаке.

RSS: Новости на портале Anti-Malware.ru