Перейти к содержанию
EugenSV1

FN и FP - как правильно считать ?

Recommended Posts

EugenSV1

Подскажите, как правильно считать FN и FP. И какие значения считаются приемлимыми?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

существует такая терминология, применительно к обучению :)

true positivs - это классификация письма как spam без последующего переопределения.

true negative - это ham, тоже без переопределения.

false positive - это ошибочное зачисление хорошего письма в spam.

false negative - сооответственно ошибочное зачисление spam в ham.

spam - письма спамного характера для обучения

ham-письма не спамного характера для обучения

false positive должно стремится к нулю, так как это реальные ложные срабатывания системы, на деле составляет от 0.001%

false negative-по идее тоже должно стремится 0.. так как говоря по русски это уровень пропуска СПАМА.. на деле измеряется в % от разницы с общего кол-ва и обнаруженных и находится в пределах от 1 до 30%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EugenSV1

OK - это общие понятия, и они мне известны

Попробую объяснить суть моего вопроса на примере.

Допустим, я получаю всего 15 000 сообщений в сутки

Из них система фильтрования помечает как мусор 14 000

Из этих 14 000

помечено правильно - 13 990

помечено ошибочно - 10

Доходит до пользователей - 1000 сообщений

800 - полезных

200 - мусора

Как считается FP - как 10/15000 или как 10/(10+800)

(0.0007 или 0.01)

Как считается FN - как 200/15000 или как 200/(200+13990)

Добавлено спустя 53 минуты 3 секунды:

Уже сам нашёл:

http://wiki.apache.org/spamassassin/MeasuringAccuracy

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alk
Как считается FP

Очевидно, что как:

10/(10+800)

Потому что считается процент от ham'а.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EugenSV1

Спасибо. Будем настраивать дальше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • santy
      согласен, не пользуюсь этим, (удалить только файл, из контекста на полном имени файла) потому наверное и забыл уже. использую только удаление файлов или объектов в контексте Инфо. те, что никак не вписываются в автоскрипт. тогда придется все контекстное меню переносить. например, кто-то захочет проверку на VT/VScan выполнить из Инфо, запретить запуск файла, добавить сигнатуру... и т.д. потому что если удалить сразу файл, то потом уже никак это не сделать.  
    • alamor
      Наугад потыкал на разных файлах, строка в Инфо удалить только сам файл была на всех начиная от системных файлов и заканчивая рассширением браузеров. Так что ваш вывод похоже ошибочен. А прочитать о чём изначально речь не пробовали? Речь как раз про то что это неудобно. Если ещё на одном файле посмотреть ладно, а если хотя бы пять или больше, то уже начинает надоедать туда сюда скакать и ещё после того как вернёшься из Инфо надо смотреть, чтобы случайно на другой строке не кликнуть. Так что наверно оптимальный вариант был бы: 1) Добавить туда по ПКМ список этих команд для тех, кто привык вставлять команды мышкой (вместо того чтобы вернуться в основной список и там ПКМ отдать команду сразу можно будет отдать её из этого окна). 2) Добавить в этом окне поддержку стандартных горячих клавиш удаления и карантина, для тех кто привык вставлять команды горячими клавишами.
    • santy
    • santy
      можно, но только через контекстное меню.  а это все то же дополнительное нажатие ПКМ + еще и стрелку вниз/вверх для выбора элемента меню+ click, так что не факт что это будет проще и быстрее. вообщем рационализация спорная, имхо. можно после просмотра Инфо вернуться в список и использовать уже настроенное меню всевозможных удалений.  
    • PR55.RP55
      Дело то не в этом. Дело в наличие команды:  " Удалить только сам файл" в меню Инфо. значит отдавать команды через меню Инфо. можно. ( Для системных файлов так ,или иначе уже реализована защита ссылок от удаления. ) Вернёмся к теме: " alamor пишет: неудобно, что посмотришь подробную инфу о файле по дабл-клику - примешь решение удалять его. И нельзя сразу из того же окна удалить его (или ссылки на него). Надо выходить из того окна и так. "  
×