Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Лучшие LLM ошибаются с ядовитыми грибами в каждом девятом случае

Разработчик Пётр Мигдал проверил, можно ли доверить нейросети самый рискованный этап тихой охоты — определение грибов по фотографии. Короткий ответ: если очень хочется однажды поужинать дважды, то можно. В бенчмарк вошли 1040 фотографий 55 видов грибов, наиболее распространённых в Польше.

Изображения взяли из датасета FungiTastic, созданного на основе Atlas of Danish Fungi. Полная база содержит свыше 600 тыс. снимков с экспертной классификацией, а для части образцов вид подтверждён анализом ДНК.

Модели показывали каждую фотографию и просили назвать пять наиболее вероятных видов на латыни. Дополнительно их не обучали и специальные инструменты не подключали.


Лучше остальных справилась Gemini 3.8 Flash: правильный вид оказался на первом месте в 65% случаев и попал в пятёрку ответов в 85%. Немного отстали Gemini 3.6 Flash с результатами 64% и 85%, а также Gemini 3.7 Flash — 61% и 82%. Внизу таблицы расположились Qwen 3.8 27B, MiniMax-M3 и Qwen 3.8 Flash.


Но высокая точность закончилась там, где начался вопрос безопасности. Gemini 3.8 Flash и Gemini 3.6 Flash примерно в 11% случаев определяли ядовитые грибы как съедобные виды. У GPT-5.6 Sol доля опасных ошибок достигла 24%, у Claude Opus 5 — 29%, а у Qwen 3.8 27B — 36%. То есть последняя модель потенциально отправляла в корзину не тот гриб чаще чем в каждом третьем случае.

Есть важная оговорка: нейросети напрямую не спрашивали, можно ли есть находку. Они определяли вид, а затем исследователь сопоставлял ответы с таблицей съедобности. Некоторые модели и вовсе отказывались давать классификацию.

Подпишитесь на новости

Главной целью стратегии ИБ стало снижение рисков — 78% против 55% год назад

Компании всё чаще берутся за стратегию ИБ, но писать её мешает нехватка данных и поддержки руководства. Об этом говорят опросы зрителей эфира AM Live «Стратегия информационной безопасности: зачем нужна и как её защитить».

В ходе дискуссии эксперты разбирали, зачем бизнесу стратегия ИБ, как связать её с бизнес-целями, что такое риск-аппетит и недопустимые события, как отличить стратегию от списка закупок и как доказать её ценность руководству.

Ярослав Напалков (МТС Банк) поделился кейсом, как презентация стратегии топ-менеджеру вызвала агрессию, и посоветовал сначала доносить контекст. Николай Казанцев (Securitm) предложил новичкам «три чашки кофе» — пообщаться с CEO, ИТ и стейкхолдерами.

Эксперты также обсудили горизонт планирования (2-3 года с ежегодным пересмотром), роль резервного копирования и киберучений, кейсы с шифровальщиками, BYOD, DLP и построением SOC.

За год доля компаний, у которых стратегия в разработке, выросла с 9% до 28%. А тех, у кого её нет и не предвидится, стало меньше — 21% против 26%. При этом меньше компаний довели документ до рабочего состояния с метриками и кибериспытаниями: 16% против 20%.

Барьеры тоже сместились. Нехватка исходных данных выросла с 46% до 64%, отсутствие buy-in топ-менеджмента — с 25% до 43%. Кадровый дефицит остаётся главным ограничением, хотя и снизился до 59%. Николай Казанцев из Securitm объясняет это зрелостью рынка:

«По нашей статистике, лишь 15-20% служб ИБ имеют хоть как-то формализованный реестр рисков. Я даже не говорю про количественный, хотя бы качественную оценку».

Главной целью на 2027 год снижение рисков и финансового ущерба назвали 78% — рост на 23 п.п. На втором месте устойчивость и сокращение простоев критичных сервисов — 57%. Наталья Глинина из Megafon Pro Business считает это логичным:

«Нормальная цель, потому что она прямо влияет на бизнес. Финансовый ущерб считается недопустимым событием, потому что иначе ваш бизнес может перестать работать».

Соответствие регуляторам держится на уровне 59%, а оптимизация TCO и консолидация стека теряют популярность — 8% против 14%.

Оптимизм по поводу роста интереса к стратегии разделяют не все. Евгений Акимов из «Рубитеха» предположил:

«Просто те, кто были на эфире в 2025 году, разработали стратегию и на наш эфир уже не пришли. Просто новые люди, которые как-то голодны до стратегии».

А ведущий Виктор Бобыльков напомнил, что часть компаний сознательно живёт без документа:

«Одно дело, когда бюджета нет, тогда хотя бы есть исходные данные. Но мы просто не делаем стратегию, потому что смысл её делать, нам денег больше не дадут. Это стратегия стабильной оперейшн».

Участники эфира сошлись на том, что стратегия ИБ — это не список закупок, а инструмент связи с бизнес-целями, который нужно строить на риск-ориентированном подходе. Планировать стоит на 2-3 года с ежегодным пересмотром, фокусироваться на критичных процессах и восстановлении, а ответственность распределять между ИБ, ИТ и бизнесом.

RSS: Новости на портале Anti-Malware.ru