Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Разработчик Пётр Мигдал проверил, можно ли доверить нейросети самый рискованный этап тихой охоты — определение грибов по фотографии. Короткий ответ: если очень хочется однажды поужинать дважды, то можно. В бенчмарк вошли 1040 фотографий 55 видов грибов, наиболее распространённых в Польше.

Изображения взяли из датасета FungiTastic, созданного на основе Atlas of Danish Fungi. Полная база содержит свыше 600 тыс. снимков с экспертной классификацией, а для части образцов вид подтверждён анализом ДНК.

Модели показывали каждую фотографию и просили назвать пять наиболее вероятных видов на латыни. Дополнительно их не обучали и специальные инструменты не подключали.


Лучше остальных справилась Gemini 3.8 Flash: правильный вид оказался на первом месте в 65% случаев и попал в пятёрку ответов в 85%. Немного отстали Gemini 3.6 Flash с результатами 64% и 85%, а также Gemini 3.7 Flash — 61% и 82%. Внизу таблицы расположились Qwen 3.8 27B, MiniMax-M3 и Qwen 3.8 Flash.


Но высокая точность закончилась там, где начался вопрос безопасности. Gemini 3.8 Flash и Gemini 3.6 Flash примерно в 11% случаев определяли ядовитые грибы как съедобные виды. У GPT-5.6 Sol доля опасных ошибок достигла 24%, у Claude Opus 5 — 29%, а у Qwen 3.8 27B — 36%. То есть последняя модель потенциально отправляла в корзину не тот гриб чаще чем в каждом третьем случае.

Есть важная оговорка: нейросети напрямую не спрашивали, можно ли есть находку. Они определяли вид, а затем исследователь сопоставлял ответы с таблицей съедобности. Некоторые модели и вовсе отказывались давать классификацию.

ИИ заглянул в унитаз: стартапы предлагают анализировать стул по подписке

Трекеры уже считают шаги, оценивают сон и следят за пульсом, теперь технологические компании решили проанализировать и то, что пользователь оставляет в унитазе. Kohler Health и стартап Throne продают устройства с камерами, которые изучают мочу и стул, а затем выставляют владельцу очередную оценку здоровья.

Гаджеты крепятся к унитазу и направляют камеру строго вниз (производители отдельно подчёркивают, что развернуть её вверх нельзя).

Датчик фиксирует поход в туалет, после чего алгоритм анализирует цвет и консистенцию выделений, оценивает уровень гидратации и ищет отклонения от индивидуальной нормы. Отчёт появляется в мобильном приложении через несколько минут.

Удовольствие недешёвое. Устройство Kohler Health стоит $449 (почти 40 тыс. руб.), семейная подписка — ещё $130 (11 250 руб.) в год. Throne просит $399 за гаджет и $70 (чуть более 6000 руб.) ежегодно за доступ к сервису. Иными словами, даже собственные биологические данные теперь доступны по подписке.


Производители обещают выявлять закономерности и помогать людям с заболеваниями кишечника вести автоматический дневник. Kohler Health уже заявляет о функции обнаружения крови, а Throne разрабатывает модель с мультиспектральной камерой, которая теоретически сможет замечать признаки кровотечения раньше человеческого глаза.

В перспективе технологию хотят использовать для раннего выявления колоректального рака, но клиническая эффективность такого подхода пока не доказана.


Гастроэнтерологи встречают такой подход без восторга. Здоровому человеку, по их мнению, проще самому посмотреть на результат, а ИИ пока не добавляет к этому много новой науки.

Есть вопросы и к конфиденциальности. Компании собирают сведения о здоровье, питании и лекарствах, а также обычные персональные данные. Информация может передаваться подрядчикам, новому владельцу бизнеса или правоохранительным органам.

RSS: Новости на портале Anti-Malware.ru