Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Разработчик Пётр Мигдал проверил, можно ли доверить нейросети самый рискованный этап тихой охоты — определение грибов по фотографии. Короткий ответ: если очень хочется однажды поужинать дважды, то можно. В бенчмарк вошли 1040 фотографий 55 видов грибов, наиболее распространённых в Польше.

Изображения взяли из датасета FungiTastic, созданного на основе Atlas of Danish Fungi. Полная база содержит свыше 600 тыс. снимков с экспертной классификацией, а для части образцов вид подтверждён анализом ДНК.

Модели показывали каждую фотографию и просили назвать пять наиболее вероятных видов на латыни. Дополнительно их не обучали и специальные инструменты не подключали.


Лучше остальных справилась Gemini 3.8 Flash: правильный вид оказался на первом месте в 65% случаев и попал в пятёрку ответов в 85%. Немного отстали Gemini 3.6 Flash с результатами 64% и 85%, а также Gemini 3.7 Flash — 61% и 82%. Внизу таблицы расположились Qwen 3.8 27B, MiniMax-M3 и Qwen 3.8 Flash.


Но высокая точность закончилась там, где начался вопрос безопасности. Gemini 3.8 Flash и Gemini 3.6 Flash примерно в 11% случаев определяли ядовитые грибы как съедобные виды. У GPT-5.6 Sol доля опасных ошибок достигла 24%, у Claude Opus 5 — 29%, а у Qwen 3.8 27B — 36%. То есть последняя модель потенциально отправляла в корзину не тот гриб чаще чем в каждом третьем случае.

Есть важная оговорка: нейросети напрямую не спрашивали, можно ли есть находку. Они определяли вид, а затем исследователь сопоставлял ответы с таблицей съедобности. Некоторые модели и вовсе отказывались давать классификацию.

Подпишитесь на новости

Регистрация на SOC Forum 2026: в центре программы – ИИ и кибербезопасность

ИИ обещает экономить деньги, ускорять работу и помогать защитникам. А потом получает доступ к корпоративным данным — и вопросов становится ещё больше. На SOC Forum 2026 разберут, как извлечь из технологии пользу, контролировать её действия и отвечать за ошибки. Форум пройдёт 27-28 октября в московском кластере «Ломоносов».

Регистрация на SOC Forum уже открыта. Это центральное мероприятие Российской недели кибербезопасности, организатором которой выступает ГК «Солар». Компания также является соорганизатором форума.

Первый день посвятят бизнесу и регулированию. В фокусе — экономический эффект внедрения ИИ, контроль над данными и решениями, ответственность за ошибки и новые риски. Разговор о том, сколько пользы приносит технология, обещает быть интереснее очередной презентации с нейросетевыми картинками.

27 октября запланированы треки «AI & Cybersecurity», «ИБ и бизнес», «Тренды и аналитика угроз» и «Многогранный кибербез».

На второй день программа переключится на техническую практику: обнаружение и расследование атак, развитие защитной инфраструктуры, применение ИИ атакующими и защитниками. Для этого предусмотрены треки «Offence», «Defence», «Архитектура ИТ и ИБ» и «SOC-практикум».

Анонс программы опубликован на сайте форума и будет дополняться. Можно заранее выбрать, где разбираться с бизнес-эффектом, а где — с тем, что делать, когда ИИ уже оказался по другую сторону защиты.

RSS: Новости на портале Anti-Malware.ru