EugenSV1

FN и FP - как правильно считать ?

В этой теме 5 сообщений

Подскажите, как правильно считать FN и FP. И какие значения считаются приемлимыми?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

существует такая терминология, применительно к обучению :)

true positivs - это классификация письма как spam без последующего переопределения.

true negative - это ham, тоже без переопределения.

false positive - это ошибочное зачисление хорошего письма в spam.

false negative - сооответственно ошибочное зачисление spam в ham.

spam - письма спамного характера для обучения

ham-письма не спамного характера для обучения

false positive должно стремится к нулю, так как это реальные ложные срабатывания системы, на деле составляет от 0.001%

false negative-по идее тоже должно стремится 0.. так как говоря по русски это уровень пропуска СПАМА.. на деле измеряется в % от разницы с общего кол-ва и обнаруженных и находится в пределах от 1 до 30%

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

OK - это общие понятия, и они мне известны

Попробую объяснить суть моего вопроса на примере.

Допустим, я получаю всего 15 000 сообщений в сутки

Из них система фильтрования помечает как мусор 14 000

Из этих 14 000

помечено правильно - 13 990

помечено ошибочно - 10

Доходит до пользователей - 1000 сообщений

800 - полезных

200 - мусора

Как считается FP - как 10/15000 или как 10/(10+800)

(0.0007 или 0.01)

Как считается FN - как 200/15000 или как 200/(200+13990)

Добавлено спустя 53 минуты 3 секунды:

Уже сам нашёл:

http://wiki.apache.org/spamassassin/MeasuringAccuracy

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как считается FP

Очевидно, что как:

10/(10+800)

Потому что считается процент от ham'а.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти

Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS