Результаты теста проактивной антивирусной защиты II

[Umnik 997]

Ммм... Толково, весомо...

У Авиры отличаются алерты обнаружения eicar и gen/packed?

[Сергей Ильин 1538]

Честно говоря я не пока не вижу каких-то реальных предложений по будущей системе подведения итогов теста.

Так что, делаем 2 разных теста с подведением итогов по обоим сразу?

[ak_ 395]

Объясните про внутренние проблемы многим пользователям той же Авиры. Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Совершенно верно. Для меня важнее недопущение заражения. Если антивирус выдаёт алерт (как правило при работе в сети), то я не буду разбираться, фолс это или нет, а просто заблокирую доступ. (Если уж особо интересно, что там такое, то можно посмотреть под Shadow Defender.) А для неопытных пользователей это наиболее оптимальный вариант защиты: антивирус предупредил - значит нефиг туда лезть, чище комп будет. Тем более, что с критическими фолсами за всё время использования Авиры сталкиваться не приходилось.

Поэтому считаю, что отнимать баллы за ложные срабатывания - некорректно, ведь основную свою функцию (недопущение заражения) антивирус выполняет. А тест на фолсы должен идти дополнением к основному тесту, с комментариями, на какие файлы, принадлежащие легитимным программам, произошло срабатывание с указанием возможной причины.

[Deja_Vu 366]

Лучше потратить 10 минут на лишний фолс с выяснениями, чем потом возюкаться с пробравшейся заразой.

[Umnik 997]

Deja_Vu

А по существу? Что лучше, что хуже - каждый выбирает сам.

Сергей Ильин

А раз каждый выбирает сам, то, думаю, можно результаты фолсов опубликовать в этом же тесте, как довесок.

Антивирус АБЦ заблокировал 100% угроз*

---

* Ложные срабатывания - 56%

Как-то так. Но не соображу, как тогда считать "штрафы". Фолсы ведь тоже разные бывают, иногда спорные.

[Deja_Vu 366]

Deja_Vu

А по существу? Что лучше, что хуже - каждый выбирает сам.

не видел еще ни 1 человека, который отазался от антивируса из-за фолсов, а вот из-за пропуска вирья.... -))

[Сергей Ильин 1538]

Хорошо, пусль фалсы идут как довесок к тесту (каждый сам разберется), то влиять на награды они не будут.

[dan 10]

Хорошо, пусль фалсы идут как довесок к тесту (каждый сам разберется), то влиять на награды они не будут.

Вот из-за таких решений вендоры и гонятся исключительно за детекшн рейтом.

И в результате мы имеем ситуацию, когда хорошие результаты в тестах паразитируют и заставляют различные антивирусные компании принимать непопулярные решения, которые увеличат уровень фолсов, но и уровень детекта поднимут поближе к лидерам.

Почти любая прога написанная на ассемблере сейчас детектируется НОДом или Авирой. Любая прога хоть с каким то намёком на защиту - тоже.

И файлы начинают попадать в коллекции тестеров, распространяться в другие антивирусные компании, которым тоже приходится это детектить и т.д.

Я недавно видел демку с последнего ассембли, которую детектировал 31 вендор на вирустотале.

Наказывать надо вендоров за фолсы в тестах, только так мы сможем хоть как то улучшить качество работы в индустрии в целом.

[Сергей Ильин 1538]

Наказывать надо вендоров за фолсы в тестах, только так мы сможем хоть как то улучшить качество работы в индустрии в целом.

Как показывает флейм выше, пользователям как раз и пофиг на фалсы. Есть какие-то там и ладно, значит не судьба этот прогой воспользоваться ...

Кстати, у кого-то есть принципиальные возражения против методика аля Клименти? Когда большое количество фалсов при хорошем детекте ведет к лишению высокой награды? В частности Авира не получает Advanced+ поэтому.

[dr_dizel 385]

Я недавно видел демку с последнего ассембли, которую детектировал 31 вендор на вирустотале.

О! Вспомнил старый потрясный концепт игрухи .kkrieger размером в 96k.

На вирустотале всё ещё обругивают некоторые.

[dan 10]

О! Вспомнил старый потрясный концепт игрухи .kkrieger размером в 96k.

На вирустотале всё ещё обругивают некоторые.

Virut.AI !

И _это_ ещё называют антивирусом?

[dr_dizel 385]

Virut.AI !

И _это_ ещё называют антивирусом?

Добавил немного нулевых байт в конце, чтобы изменить md5. Как вам теперь диагнозы?

[ak_ 395]

Virut.AI !

И _это_ ещё называют антивирусом?

Ну так _это_ даже не учавствует в тестах Клименти.

А для меня несколько обескураживающе выглядит результат ADVANCED+ у ESET NOD32 в Ноябрьском тесте проактивной защиты AV-Comparatives, при том, что количество пропущенных вирусов у него больше, чем у антивирусов, получивших оценку ADVANCED (AVIRA , G DATA, Kaspersky AV).

А дальше всё зависит от умения преподать результат в выгодном для себя свете. Например сравним:

http://www.avirus.ru/content/view/95/116/

http://www.kaspersky.ru/independent_tests?id=207732706

"Скромность" пиарщиков ЛК, "не заметивших" некоторые продукты с более высоким рейтингом, просто поражает.

[Deja_Vu 366]

Нет .. думаю все же пороговое значение фолсов для получение платины ввести нужно.

А то действительно. Детекти ВСЕ - вот тебе и платина -))

Да и для золота можно ввести.

Т.е. если детектит более чем 25% из коллекции чистых семплов то увы - максимум серебро -))

[Skeptic 235]

Кстати, у кого-то есть принципиальные возражения против методика аля Клименти? Когда большое количество фалсов при хорошем детекте ведет к лишению высокой награды? В частности Авира не получает Advanced+ поэтому.

У меня лично нет. Только это должно быть реально большое число, а не несколько фолсов, как у Клементи, и тем более не один, как у VB. Т.е. какой-то процент от общего числа чистых сэмплов.

И определен он должен быть ДО НАЧАЛА ИССЛЕДОВАНИЯ, а не постфактум, глядя на таблицу.

[Сергей Ильин 1538]

Нет .. думаю все же пороговое значение фолсов для получение платины ввести нужно.

А то действительно. Детекти ВСЕ - вот тебе и платина -))

Да и для золота можно ввести.

Т.е. если детектит более чем 25% из коллекции чистых семплов то увы - максимум серебро -))

Кстати, очень классная идея! Поставим пороги ложных срабатываний для каждой награды. Таким образом, я сейчас весьма условно пишу, Gold будет 60% и более детекта при не более чем 0.1% (1 на 1000) ложных срабатываний.

[Umnik 997]

Поддерживаю идею порогов!

[Groft 65]

Что-то заглох топик... Когда будет публикация теста?

[Сергей Ильин 1538]

Коллеги, с небольшим отклонением от запланированных сроков выкладываю долгожданные результаты теста эвристики антивирусов II, снабженные данными по ложным срабатываниям.

Сразу отмечу, что в соответствие с принятыми в ходе обсуждения поправками мы учитывали при награждении не только высокий детект, но и уровень ложный срабатываний.

Основные результаты тестирования (детектирование - ложные срабатывания)

Gold Proactive Protection Award

Kaspersky Anti-Virus 2009 (61% - 0.01%)

Eset Nod32 Anti-Virus 3.0 (61% - 0.02%)

BitDefender Antivirus 2009 (60% - 0.04%)

Silver Proactive Protection Award

Avira AntiVir Premium 8.2 (71% - 0.13%)

Dr.Web 5.0 (61% - 0.2%)

AVG Anti-Virus 8.0 (58% - 0.02%)

Avast! Professional Edition 4.8 (53% - 0.03%)

Norton Anti-Virus 2009 (52% - 0%)

VBA32 Antivirus 3.12 (45% - 0.07%)

F-Secure Anti-Virus 2009 (44% - 0.03%)

Bronze Proactive Protection Award

Panda Antivirus 2009 (38% - 0.02%)

Trend Micro Internet Security 2009 (37% - 0.04%)

Agnitum Outpost Anti-Virus Pro 2009 (33% - 0.07%)

Тест провален

Sophos Anti-Virus 7.0 (61% - 2.24%)

Полный отчет о тестировании опубликован здесь

http://www.anti-malware.ru/proactive_test_2009

Там же приведены данные по динамике результатов этого класс тестов

Новая методогия теста и описание схемы награждения опубликованы здесь

http://www.anti-malware.ru/node/1109

http://www.anti-malware.ru/node/1108

[notenuf 10]

простой вопрос: а McAfee где ? )) или вы считаете что совхоз и панда.. наиболее популярные ? ))))

[K_Mikhail 807]

Коллеги, с небольшим отклонением от запланированных сроков выкладываю долгожданные результаты теста эвристики антивирусов II.

В итоговых таблицах указан Dr.Web 4.44, а в списке принятых к тестированию -- Dr.Web 5.0.

[p2u 824]

простой вопрос: а McAfee где ? )) или вы считаете что совхоз и панда.. наиболее популярные ? ))))

Методология теста проактивной антивирусной защиты (март 2009)

* Тестирование McAfee VirusScan Plus 2009 не завершено из-за технического сбоя.

Paul

[Виталий Я. 859]

Gold Self-Protection Award

Сергей, ну что за чушь, право слово? Итоги Self-Protection вы уже публиковали, а теперь поползут по блогам в таком виде как пересмотренные.

Не публикуйте итогов без редактуры.

[Lex 25]

Уже поползли... И картинки тоже из старого теста.

[Олег777 85]

Результаты оказались вполне ожидаемыми.

Удивил Нортон показавший 0% ложных срабатываний - оказывается, такого результата можно добиться. Кирилл - мои поздравления!

Осталось только теперь показать 100% детект, но это, видимо, все же не досягаемый результат.