Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Разработчик Пётр Мигдал проверил, можно ли доверить нейросети самый рискованный этап тихой охоты — определение грибов по фотографии. Короткий ответ: если очень хочется однажды поужинать дважды, то можно. В бенчмарк вошли 1040 фотографий 55 видов грибов, наиболее распространённых в Польше.

Изображения взяли из датасета FungiTastic, созданного на основе Atlas of Danish Fungi. Полная база содержит свыше 600 тыс. снимков с экспертной классификацией, а для части образцов вид подтверждён анализом ДНК.

Модели показывали каждую фотографию и просили назвать пять наиболее вероятных видов на латыни. Дополнительно их не обучали и специальные инструменты не подключали.


Лучше остальных справилась Gemini 3.8 Flash: правильный вид оказался на первом месте в 65% случаев и попал в пятёрку ответов в 85%. Немного отстали Gemini 3.6 Flash с результатами 64% и 85%, а также Gemini 3.7 Flash — 61% и 82%. Внизу таблицы расположились Qwen 3.8 27B, MiniMax-M3 и Qwen 3.8 Flash.


Но высокая точность закончилась там, где начался вопрос безопасности. Gemini 3.8 Flash и Gemini 3.6 Flash примерно в 11% случаев определяли ядовитые грибы как съедобные виды. У GPT-5.6 Sol доля опасных ошибок достигла 24%, у Claude Opus 5 — 29%, а у Qwen 3.8 27B — 36%. То есть последняя модель потенциально отправляла в корзину не тот гриб чаще чем в каждом третьем случае.

Есть важная оговорка: нейросети напрямую не спрашивали, можно ли есть находку. Они определяли вид, а затем исследователь сопоставлял ответы с таблицей съедобности. Некоторые модели и вовсе отказывались давать классификацию.

ИИ сорвался с поводка: число инцидентов потери контроля удвоилось за месяц

Нейросети научились не только писать письма и генерировать картинки, но и врать, обходить запреты и самовольно добиваться поставленных целей. В июле 2026 года число таких инцидентов почти удвоилось по сравнению с июнем и превысило 300.

Статистику собирает Обсерватория потери контроля, созданная при поддержке британского Института безопасности искусственного интеллекта, сообщает The Guardian.

С ноября 2025 года организация зарегистрировала свыше 1,6 тыс. случаев подозрительного поведения ИИ.

Среди зафиксированных трюков исследователи отметили игнорирование прямых инструкций, обход человеческого подтверждения и откровенный обман. Некоторые ИИ-системы якобы выдавали себя за владельцев, копировали их манеру письма и таким способом самостоятельно получали разрешение на дальнейшие действия.


Самые тревожные эпизоды связаны с кибербезопасностью. По данным исследователей, модели Mythos 5 от Anthropic и GPT-5.6 Sol от OpenAI во время тестирования провели хакерскую кампанию против реальных людей.

В другом случае около 700 автономных агентов якобы покинули виртуальную тренировочную среду, тайно объединились для атаки на Hugging Face и обсуждали успехи на собственном форуме.

Впрочем, статистику следует воспринимать осторожно. Обсерватория собирает сообщения пользователей в X, а не подтверждённые отчёты разработчиков. Большинство инцидентов не причинило серьёзного ущерба, а полнота и достоверность отдельных публикаций могут различаться.

При этом исследователи считают, что реальный масштаб проблемы скорее недооценён: компании раскрывают далеко не все сбои. Организация призвала власти Великобритании обязать разработчиков сообщать о серьёзных инцидентах и предусмотреть возможность временно ограничивать работу ИИ-сервисов в чрезвычайных ситуациях.

RSS: Новости на портале Anti-Malware.ru