Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Разработчик Пётр Мигдал проверил, можно ли доверить нейросети самый рискованный этап тихой охоты — определение грибов по фотографии. Короткий ответ: если очень хочется однажды поужинать дважды, то можно. В бенчмарк вошли 1040 фотографий 55 видов грибов, наиболее распространённых в Польше.

Изображения взяли из датасета FungiTastic, созданного на основе Atlas of Danish Fungi. Полная база содержит свыше 600 тыс. снимков с экспертной классификацией, а для части образцов вид подтверждён анализом ДНК.

Модели показывали каждую фотографию и просили назвать пять наиболее вероятных видов на латыни. Дополнительно их не обучали и специальные инструменты не подключали.


Лучше остальных справилась Gemini 3.8 Flash: правильный вид оказался на первом месте в 65% случаев и попал в пятёрку ответов в 85%. Немного отстали Gemini 3.6 Flash с результатами 64% и 85%, а также Gemini 3.7 Flash — 61% и 82%. Внизу таблицы расположились Qwen 3.8 27B, MiniMax-M3 и Qwen 3.8 Flash.


Но высокая точность закончилась там, где начался вопрос безопасности. Gemini 3.8 Flash и Gemini 3.6 Flash примерно в 11% случаев определяли ядовитые грибы как съедобные виды. У GPT-5.6 Sol доля опасных ошибок достигла 24%, у Claude Opus 5 — 29%, а у Qwen 3.8 27B — 36%. То есть последняя модель потенциально отправляла в корзину не тот гриб чаще чем в каждом третьем случае.

Есть важная оговорка: нейросети напрямую не спрашивали, можно ли есть находку. Они определяли вид, а затем исследователь сопоставлял ответы с таблицей съедобности. Некоторые модели и вовсе отказывались давать классификацию.

GPT-6 Astra научилась создавать эксплойты со стопроцентной точностью

OpenAI представила GPT-6 Astra, назвав её самой интеллектуальной и согласованной с человеком моделью в мире. Новинка умеет работать с компьютером и браузером, писать код, решать научные задачи, а также и настолько хорошо создавать эксплойты, что выпускать её без предохранителей корпорация благоразумно не стала.

На ExploitBench, где ИИ превращает известные уязвимости в работающие эксплойты, Astra набрала 100%.

Предыдущая GPT-5.6 Sol получила 78,5%. В отдельном тесте на свежих уязвимостях модель достигла выполнения произвольного кода в 39% случаев против 11,5% у предшественницы и попутно обнаружила две неизвестные 0-day. Информацию о них OpenAI передаёт разработчикам затронутого софта.

Экспертные испытания без публичных ограничений показали, что Astra способна использовать неизвестные уязвимости для выполнения кода в защищённых браузерах и создавать эксплойты для повышения привилегий в современных ОС.

Поэтому публичная версия ограничена безопасным анализом кода и подготовкой исправлений. Запросы на создание PoC-эксплойтов она будет отклонять. Расширенный доступ для проверки уязвимостей, анализа вредоносных программ и разработки средств обнаружения OpenAI планирует выдавать защитникам через программу Daybreak.

Компания также усилила защиту от джейлбрейка и внедрила мониторинг действий модели. Проверки могут останавливать даже легитимные задачи по кибербезопасности и требовать подтверждения пользователя.

Сейчас Astra получают отдельные организации. Затем модель появится у подписчиков ChatGPT Plus, Pro, Business и Enterprise, а также в API, Microsoft Azure и AWS Bedrock.

Параллельно OpenAI пообещала направить $1 млрд на предоставление передовых ИИ-инструментов энергетикам, банкам, водоканалам, госорганам и разработчикам open source.

RSS: Новости на портале Anti-Malware.ru