Перейти к содержанию
Danilka

AV-Comparatives.org: On-demand Comparative February 2010

Recommended Posts

GReY
G DATA - 5 ложняков. Хотя отдельно Bitdefender -3 ложки, у Avast - 11 ложек.

с другими продуктами на движке BD ещё интереснее: eScan дал меньше фолсов при том же детекте, а F-Secure меньше при большем детекте

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
с другими продуктами на движке BD ещё интереснее: eScan дал меньше фолсов при том же детекте, а F-Secure меньше при большем детекте

что показывает, что F-Secure работают, а не тупо копируют базы BD :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk

C DrWeb все понятно, а почему вендор VirusBuster не дал своего разрешения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
C DrWeb все понятно, а почему вендор VirusBuster не дал своего разрешения?

разрешения - мне казалось, что тест проплачивают вендоры...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GISED
Аваст то бесплатный тестировали и ничего переплюнул Касперского!

Имхо Аваст слабее чем Касперский... Юзал Аваст 4.8, 5 даже вирусы с флэшек типа авторун не показывал, с "a-connect" ничего не смог поделать... Тогда посоветовали скачать бесплатную утилиту Касперского, скачал тот удалил, я от восторга купил KIS 2010. Многим интерфейс Аваста нравиться, но ведь в антивирусе главное защита. Да и вообще в тесте были использованы антивирусники, а я давно уже использую Internet Security потому что защита эффективнее и удобнее, спам и т.п. тоже сильно досаждает.

Интересно было бы увидеть тестик продуктов именно IS, а не просто антивирей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А вот Trend Micro не порадовал - ни по детекту, ни по фолсам. Что с ним? Ведь не плохой продукт.

Какой-то странный результат. Надо смотреть методологию,интернет не отключен был случайно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
разрешения - мне казалось, что тест проплачивают вендоры...

Ага, вендоры платят за участие в тестах AV-Comparatives.org - не платишь, не участвуешь.

Кстати, PC Tools очень неплох по результатам этого теста.

А вообще рассуждения по этому тесту кто на каком месте и кто кому уступил бессмысленные. Уже как-то писал, но повторю еще раз свою мысль. Вы посмотрите на абсолютные цифры. Первые 14 позиций укладываются в дельту 3%! Другими словами их показатели примерно одинаковы. Вся коллекция составляет 1 млн. 200 тыс. самплов, 3% от этого количества - 36 тыс, это мизер.

Я бы трактовал результаты так. Все, что выше 95% - это хорошие и примерно одинаковые антивирусы. Внутри этой группы говорить о каком-либо превосходстве одного решения не имеет смысла.

В нашей системе награждения они бы все 14 получили Gold ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вся коллекция составляет 1 млн. 200 тыс. самплов,

Меня у него в тестах всегда это число смущало :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Как говорится см. предыдущую дискуссию по поводу того, что тесты надо проводить на небольших, зато актуальных и 100-работающих наборах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Кстати, PC Tools очень неплох по результатам этого теста.

Вполне ожидаемо. Дело в том, что под словами PC Tools часто понимаются совершенно разные вещи, и основаня путаница у них из-за строгой дискретизации решений: антивирус понимает только вирусы (то, что заражает другие файлы и требует полноценного лечения), SpywareDoctor - только malware (то, что прописывается в систему и требует банального удаления), ThreatFire защищает от проникновения в систему через интернет и ищет руткиты, Firewall Plus также играет роль hips и антикейлоггера. Каждый из их продуктов эффективен в своей области и в сумме (Internet Security, например) даёт превосходные результаты. Но если взять только антивирус и тестить его каким-нибудь rogue, то результат будет провальным.

Правда производитель уже учел провалы в некоторых тестах и начал предлагать комбайны в виде SD+AV и SD+AV+FW (ThreatFire был включен в состав SD гораздо ранее).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как говорится см. предыдущую дискуссию по поводу того, что тесты надо проводить на небольших, зато актуальных и 100-работающих наборах.

Да тут дело даже не в коллекции, а в подходе в принципе, которые ИМХО себя исчерпал. Есть динамика от AV-Comparatives.org, зачем продолжать делать эти тесты не о чем, я лично не понимаю. Исчерпал себя подход.

Ну показывает он, что сигнатурная защита 14 антивирусов примерно одинаковая. Еще у 4 на этой коллекции чуть хуже показатели, но не критично.

Думаю, Андреас все понимает, проводил эти тесты просто по инерции потому, что есть обязательства перед партнерами, которые заплатили деньги.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.

Всем привет, вы тут обсуждаете эти тесты на таком полном серьёзе - что я аж не удержался и влезаю в дискуссию...

Данные тесты on-demand от обоих Андреасов... - мягко говоря, "несколько далеки от совершенства". А грубо говоря - туфта и лажа. Среди "миллиона-с-хвостом" файлов в тестируемой коллекции (именно этой февральской коллекции) мы обнаружили несколько десятков тысяч чистых файлов. Более 60% от наших пропусков - это были кейгены, кряки, китайские тулбары, просто чистый софт. То бишь - чисто фальсы, которые детектят прочие "99%-е антивирусы". (в предыдущих тестах количество чистых файлов в коллекциях тоже было очень велико).

Зачем они это делают.

Очевидно - чтобы хоть как-то оправдывать своё существование, поскольку ничего больше рынку предъявить не могут...

expo0455.jpg

Каким образом они достигают результата 99.х% -

точно не знаю, глаз и ушей в чужих вирлабах у меня нет. Но что-то мне подсказывает, что выглядеть это может примерно следующим образом. Источник пополнения коллекций Маркса и Клементи известен - это обмен коллекциями с антивирусными компаниями и ВирусТотал (и его аналоги). Таким образом, чтобы добиться близкого к 100% результату нужно просто детектить всё, что падает из этих источников. А чтобы было не слишком много фалсов - детектить только те файлы, которые уже детектит кто-либо еще. Т.е. громкое слово "Вирус-Лаб" сводится к роботу, который по результатам скана на ВирусТотале шлёпает на файл некую маску (или MD5) - или откладывает файл в карантин, а вдруг его кто потом задетектит? Всё.

Обратите внимание еще раз, что выше описан способ достижения 99%-го результата в подобных тестах, но ни разу ничего не сказано про защиту пользователя! Поскольку именно так и есть - пометочка Advanced+ к реальному качеству защиты не имеет никакого отношения -

именно по этой причине мы НЕ используем технологии "тупого детекта по чужим вердиктам".

Понимают ли Андреасы всю ущербность данной методологии? Да - понимают. И неспеша (уж слишком неспеша...) улучшают, вычищая мусор из своих коллекций. Почему тем не менее продолжают проводить такие тесты? Да [немецкие] журналы (КомпБилд, Чип) им за это деньги платят! Почему "левые тесты" нужны журналам? - да не понимают они ущербности этих тестов, а вот миллионные цифры и много-много процентов им очень нравятся. Да и "пипл хавает".

Почему же мы участвуем в этих тестах?

Считаем, что участие в данных тестах - это вред меньший, чем неучастие // кстати, вспомните тесты ВирусБюллетень - если кто еще помнит о таких... Так вот, свою актуальность они потеряли еще в середине 200х, когда счёт нового малвара пошел на сотни тысяч и миллионы самплов. Мы тоже показывали там результаты "так-себе", но продолжали участие, при этом всем разъясняя технологическую несостоятельность результатов этих тестов. // кстати-2, и таки победили :) Где сейчас тесты ВирусБюллетень?... Увы, тем, кто не следит за изменением окружаещего мира и продолжает "лепить по старинке" - их ждёт забытье и неизвестность... Песню про них никто не сложит... Это так, просто комментарий в пространство.

Что собираемся делать.

Ведём активную дискуссию с тестерами, помогаем им улучшить методики, помогаем с разными тулзамы для отсева малварей от крепа (когда очень просят) и тп. Поскольку нас крайне интересуют объективные результаты - и не столько для того, чтобы "впаривать" зелёные коробки, а больше для того, чтобы понимать где у нас слабые места. А сейчас эти тесты ничего (вообще ничего!) не показывают - ни сильных мест, ни слабых. А показывают только то, что у кого-то роботы наглее. И всё.

Всем пока, сорри за столь развесистый рассказ.

post-2365-1269435490_thumb.jpg

  • Upvote 20

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Почему тем не менее продолжают проводить такие тесты?

Ещё и потому, что динамические тесты достаточно ресурсоёмки. Это не "просто сканер запустил"- тут нужно больше тестировщиков, автоматический фреймворк для ускорения вынесения окончательного вердикта, специальное оснащение тестовой лаборатории. Ну и количество семплов будет явно даже не миллион, и, наверное, не сотни тысяч. Так что объяснения в стиле "пипл хавает" есть серьёзное упрощение реальности.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька

E.K. популярно все объяснил.

Тогда получается что Avira отловила не 99,х% а все 100% вредоносов :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Тогда получается что Avira отловила не 99,х% а все 100% вредоносов :rolleyes:

Как же все рады, что Авира в очередной раз отловила 100% трэша. Как жаль, что не +100500%. Ей сколько ни дай, она все поймает, Авира, у нас такая, ага... :lol:

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
Как же все рады, что Авира в очередной раз отловила 100% трэша. Как жаль, что не +100500%.

Вы наверное не поняли. Avira отловила 100% вредоносов, а треш пропустила это же видно в таблице :P

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Вы наверное не поняли. Avira отловила 100% вредоносов, а треш пропустила это же видно в таблице :P

Вы сами то поняли, что написали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
Вы сами то поняли, что написали?

Ну я то понял. А Вы что нет? :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.
Тогда получается что Avira отловила не 99,х% а все 100% вредоносов

... а также 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта. Сомнительное достижение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator

E.K.

Вы можете назвать тесты, на которые можно ориентироваться? (Если такие есть).

Т.е. тесты, отражающие, на ваш взгляд, реальные возможности продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
... а также 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта. Сомнительное достижение...

Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта ;)

Внимательно читайте.

Более 60% от наших пропусков - это были кейгены, кряки, китайские тулбары, просто чистый софт. То бишь - чисто фальсы, которые детектят прочие "99%-е антивирусы".

Тем более, совпадения количества ни о чем не говорит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.
Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта

Экие вы дотошные... Ну, хорошо. Там всё гораздо развесистее было. После первого прогона тестов мы получили файлы [или MD5 файлов? точно прям сейчас не скажу - по MD5 мы всегда их найдём], которые участвуют в тестах. Результат тестирования нас не устроил (мы не получали Advanced+ по первому прогону), посему мы начали шерстить коллекцию. В результате было выявлено 40K+ чистых и "спорных" файлов ("спорное" означает - можно детектить, а можно и нет. Сколько абсолютно чистых - сколько спорных тоже не скажу, не знаю). Так вот, у нас есть свои роботы, которые проверяют детекты конкурирующих продуктов. Из этих 40K+ чистых и сомнительных файлов Авира задетектила 26K+. То бишь, к количеству "ложных срабатываний" у Авиры в итоговой таблице можно смело добавить 20тыс. Ага? Вопросы есть?...

Если быть совсем честным, то на коллекции "лишних файлов" мы задетектили 2.5K. Т.е. в 10 раз меньше, чем Авира. Так что погрешность "разборок" составляет как минимум 10%. Так что "взвесить в граммах" - и не просите! Чистить чужие "конюшни" - это очень тяжелая и очень неблагодарная работа.

А если уж быть совсем цинично честным - мы бросили очень большие силы на чистку этих "конюшен", добились результата 97%+ (чтобы получить Advanced+) и на этом успокоились. Поскольку: 1. Чистить чужие помойки - это не наша работа. 2. Процент детекта в этих тестах вообще ни о чем не говорит, кроме "плюса" за "Advanced", который прочитают потенциальные покупатели. Так что - сколько там еще мусора осталось в коллекции - нам неизвестно. Наверное, примерно 2-2.5% (именно то, что нас отделяет от 99.x%). Поскольку нам это пофиг (свой A+ мы получили) - мы и не стали копать дальше, а "дятлы" пошли спать домой.

Я всё доступно изложил?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Наверное, чтобы не было лишних вопросов, стоит упомянуть что тестировщики часто присылают пропуски продуктов всем протестированным вендорам, чтобы вендоры сами посмотрели, не защитали ли им в качестве пропуска какой то чистый файл. Эта методология неплохо работала лет 10 или даже 5 назад, когда тестовые коллекции были из пары тысяч файлов, а пропусков не более десятка, но она уже давно себя изжила и на миллионных коллекциях неприменима.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

×