Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

Отравление ИИ привело к реальному отравлению целой семьи

В Британии целая семья отравилась грибами, воспользовавшись рекомендацией из книги-определителя, сгенерированной искусственным интеллектом. Издание было куплено на неназванной онлайн-платформе и подарено главе семейства незадолго до инцидента.

«Вся моя семья оказалась в больнице из-за случайного отравления грибами. Мы пользовались данными из книги, которую купила моя супруга и подарила мне на день рождения», — такой пост был размещен в социальной сети Reddit.

«Она использовала оформление, схожее с известным справочником Mushrooms UK: A Guide to Harvesting Safe and Edible Mushrooms («Грибы Великобритании: Руководство по сбору съедобных грибов», переиздается уже много лет, — прим. Anti-Malware.ru). К сожалению, книга полна неточностей. Многие иллюстрации в ней сгенерированы нейросетью и не имеют никакого отношения к реальным грибам».

Автор поста нашел много неточностей и в тексте книги. Например, в ней говорилось, что сморчки начинают появляться в августе, хотя их сезон приходится на апрель-май.

При обсуждении обнаружилось, что данная проблема имеет место не первый год. Так, в 2023 г. газета The Guardian писала о том, что на маркетплейсах появились книги, посвященные сбору дикорастущих грибов, сгенерированные искусственным интеллектом, и следование их рекомендациям может быть потенциально опасным. После этой публикации Amazon снял такие книги с продажи. Однако на других платформах они могут оставаться в продаже.

43% использующих ИИ компаний ищут с его помощью уязвимости

Автоматизация рутины по-прежнему остаётся самым популярным сценарием использования ИИ в информационной безопасности. Но рынок постепенно идёт дальше. Как показал опрос «АМ Медиа», проведённый среди зрителей и участников эфира «Практика применения машинного обучения и ИИ в ИБ», почти половина компаний, уже использующих ИИ, применяют его для поиска уязвимостей и анализа защищённости.

Эфир стал продолжением предыдущей дискуссии о роли ИИ в кибербезопасности.

Если раньше речь шла в основном о теории и ожиданиях, то теперь эксперты обсуждали реальные кейсы: как выстроить пайплайн ИИ в ИБ, какие задачи он уже закрывает и какие решения действительно работают у заказчиков.

Судя по результатам опроса, 64% компаний используют ИИ для автоматизации повседневных задач. Но на этом применение не ограничивается. 43% респондентов задействуют его для поиска уязвимостей и усиления защиты. 32% — для классификации и описания инцидентов, что особенно актуально при текущем объёме событий.

Около четверти применяют ИИ для первичного триажа в SOC и автоматизированного реагирования по сценариям. А 14% доверяют ему даже поведенческий анализ в антифроде.

CEO SolidSoft Денис Гамаюнов считает такие цифры закономерными: по его словам, поиск уязвимостей — «вполне нативная задача» для больших языковых моделей. Однако он напомнил о рисках: компании должны чётко понимать, где проходит граница между использованием инструмента и возможной утечкой конфиденциальных данных внешнему провайдеру.

Заместитель генерального директора по инновациям «СёрчИнформ» Алексей Парфентьев также отметил, что результаты выглядят реалистично. По его мнению, к вероятностным алгоритмам в блокирующих средствах защиты пока относятся с осторожностью, а большинство кейсов использования ИИ в ИБ всё же связано с управленческими и вспомогательными задачами.

Более оптимистичную позицию озвучил руководитель группы развития платформы SOC Yandex Cloud Дмитрий Руссак. По его словам, команда с самого начала активно тестировала LLM, а отдельные идеи удалось масштабировать на всю инфраструктуру. В итоге ИИ используется не только для автоматизации, но и для разбора алертов, управления доступами и поиска уязвимостей.

В целом эксперты сошлись во мнении: современные модели всё ещё страдают от нехватки контекста и специализированных знаний. Поэтому внедрять ИИ нужно аккуратно — с пониманием, какие данные он получает, какие доступы имеет и где требуется обязательный человеческий контроль.

Тем не менее тренд очевиден: ИИ в ИБ перестаёт быть экспериментом и всё чаще становится рабочим инструментом — не только для автоматизации, но и для реального усиления защиты.

RSS: Новости на портале Anti-Malware.ru