Перейти к содержанию
Danilka

AV-Comparatives.org: On-demand Comparative February 2010

Recommended Posts

GReY
G DATA - 5 ложняков. Хотя отдельно Bitdefender -3 ложки, у Avast - 11 ложек.

с другими продуктами на движке BD ещё интереснее: eScan дал меньше фолсов при том же детекте, а F-Secure меньше при большем детекте

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
с другими продуктами на движке BD ещё интереснее: eScan дал меньше фолсов при том же детекте, а F-Secure меньше при большем детекте

что показывает, что F-Secure работают, а не тупо копируют базы BD :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk

C DrWeb все понятно, а почему вендор VirusBuster не дал своего разрешения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
C DrWeb все понятно, а почему вендор VirusBuster не дал своего разрешения?

разрешения - мне казалось, что тест проплачивают вендоры...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GISED
Аваст то бесплатный тестировали и ничего переплюнул Касперского!

Имхо Аваст слабее чем Касперский... Юзал Аваст 4.8, 5 даже вирусы с флэшек типа авторун не показывал, с "a-connect" ничего не смог поделать... Тогда посоветовали скачать бесплатную утилиту Касперского, скачал тот удалил, я от восторга купил KIS 2010. Многим интерфейс Аваста нравиться, но ведь в антивирусе главное защита. Да и вообще в тесте были использованы антивирусники, а я давно уже использую Internet Security потому что защита эффективнее и удобнее, спам и т.п. тоже сильно досаждает.

Интересно было бы увидеть тестик продуктов именно IS, а не просто антивирей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А вот Trend Micro не порадовал - ни по детекту, ни по фолсам. Что с ним? Ведь не плохой продукт.

Какой-то странный результат. Надо смотреть методологию,интернет не отключен был случайно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
разрешения - мне казалось, что тест проплачивают вендоры...

Ага, вендоры платят за участие в тестах AV-Comparatives.org - не платишь, не участвуешь.

Кстати, PC Tools очень неплох по результатам этого теста.

А вообще рассуждения по этому тесту кто на каком месте и кто кому уступил бессмысленные. Уже как-то писал, но повторю еще раз свою мысль. Вы посмотрите на абсолютные цифры. Первые 14 позиций укладываются в дельту 3%! Другими словами их показатели примерно одинаковы. Вся коллекция составляет 1 млн. 200 тыс. самплов, 3% от этого количества - 36 тыс, это мизер.

Я бы трактовал результаты так. Все, что выше 95% - это хорошие и примерно одинаковые антивирусы. Внутри этой группы говорить о каком-либо превосходстве одного решения не имеет смысла.

В нашей системе награждения они бы все 14 получили Gold ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вся коллекция составляет 1 млн. 200 тыс. самплов,

Меня у него в тестах всегда это число смущало :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Как говорится см. предыдущую дискуссию по поводу того, что тесты надо проводить на небольших, зато актуальных и 100-работающих наборах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Кстати, PC Tools очень неплох по результатам этого теста.

Вполне ожидаемо. Дело в том, что под словами PC Tools часто понимаются совершенно разные вещи, и основаня путаница у них из-за строгой дискретизации решений: антивирус понимает только вирусы (то, что заражает другие файлы и требует полноценного лечения), SpywareDoctor - только malware (то, что прописывается в систему и требует банального удаления), ThreatFire защищает от проникновения в систему через интернет и ищет руткиты, Firewall Plus также играет роль hips и антикейлоггера. Каждый из их продуктов эффективен в своей области и в сумме (Internet Security, например) даёт превосходные результаты. Но если взять только антивирус и тестить его каким-нибудь rogue, то результат будет провальным.

Правда производитель уже учел провалы в некоторых тестах и начал предлагать комбайны в виде SD+AV и SD+AV+FW (ThreatFire был включен в состав SD гораздо ранее).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как говорится см. предыдущую дискуссию по поводу того, что тесты надо проводить на небольших, зато актуальных и 100-работающих наборах.

Да тут дело даже не в коллекции, а в подходе в принципе, которые ИМХО себя исчерпал. Есть динамика от AV-Comparatives.org, зачем продолжать делать эти тесты не о чем, я лично не понимаю. Исчерпал себя подход.

Ну показывает он, что сигнатурная защита 14 антивирусов примерно одинаковая. Еще у 4 на этой коллекции чуть хуже показатели, но не критично.

Думаю, Андреас все понимает, проводил эти тесты просто по инерции потому, что есть обязательства перед партнерами, которые заплатили деньги.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.

Всем привет, вы тут обсуждаете эти тесты на таком полном серьёзе - что я аж не удержался и влезаю в дискуссию...

Данные тесты on-demand от обоих Андреасов... - мягко говоря, "несколько далеки от совершенства". А грубо говоря - туфта и лажа. Среди "миллиона-с-хвостом" файлов в тестируемой коллекции (именно этой февральской коллекции) мы обнаружили несколько десятков тысяч чистых файлов. Более 60% от наших пропусков - это были кейгены, кряки, китайские тулбары, просто чистый софт. То бишь - чисто фальсы, которые детектят прочие "99%-е антивирусы". (в предыдущих тестах количество чистых файлов в коллекциях тоже было очень велико).

Зачем они это делают.

Очевидно - чтобы хоть как-то оправдывать своё существование, поскольку ничего больше рынку предъявить не могут...

expo0455.jpg

Каким образом они достигают результата 99.х% -

точно не знаю, глаз и ушей в чужих вирлабах у меня нет. Но что-то мне подсказывает, что выглядеть это может примерно следующим образом. Источник пополнения коллекций Маркса и Клементи известен - это обмен коллекциями с антивирусными компаниями и ВирусТотал (и его аналоги). Таким образом, чтобы добиться близкого к 100% результату нужно просто детектить всё, что падает из этих источников. А чтобы было не слишком много фалсов - детектить только те файлы, которые уже детектит кто-либо еще. Т.е. громкое слово "Вирус-Лаб" сводится к роботу, который по результатам скана на ВирусТотале шлёпает на файл некую маску (или MD5) - или откладывает файл в карантин, а вдруг его кто потом задетектит? Всё.

Обратите внимание еще раз, что выше описан способ достижения 99%-го результата в подобных тестах, но ни разу ничего не сказано про защиту пользователя! Поскольку именно так и есть - пометочка Advanced+ к реальному качеству защиты не имеет никакого отношения -

именно по этой причине мы НЕ используем технологии "тупого детекта по чужим вердиктам".

Понимают ли Андреасы всю ущербность данной методологии? Да - понимают. И неспеша (уж слишком неспеша...) улучшают, вычищая мусор из своих коллекций. Почему тем не менее продолжают проводить такие тесты? Да [немецкие] журналы (КомпБилд, Чип) им за это деньги платят! Почему "левые тесты" нужны журналам? - да не понимают они ущербности этих тестов, а вот миллионные цифры и много-много процентов им очень нравятся. Да и "пипл хавает".

Почему же мы участвуем в этих тестах?

Считаем, что участие в данных тестах - это вред меньший, чем неучастие // кстати, вспомните тесты ВирусБюллетень - если кто еще помнит о таких... Так вот, свою актуальность они потеряли еще в середине 200х, когда счёт нового малвара пошел на сотни тысяч и миллионы самплов. Мы тоже показывали там результаты "так-себе", но продолжали участие, при этом всем разъясняя технологическую несостоятельность результатов этих тестов. // кстати-2, и таки победили :) Где сейчас тесты ВирусБюллетень?... Увы, тем, кто не следит за изменением окружаещего мира и продолжает "лепить по старинке" - их ждёт забытье и неизвестность... Песню про них никто не сложит... Это так, просто комментарий в пространство.

Что собираемся делать.

Ведём активную дискуссию с тестерами, помогаем им улучшить методики, помогаем с разными тулзамы для отсева малварей от крепа (когда очень просят) и тп. Поскольку нас крайне интересуют объективные результаты - и не столько для того, чтобы "впаривать" зелёные коробки, а больше для того, чтобы понимать где у нас слабые места. А сейчас эти тесты ничего (вообще ничего!) не показывают - ни сильных мест, ни слабых. А показывают только то, что у кого-то роботы наглее. И всё.

Всем пока, сорри за столь развесистый рассказ.

post-2365-1269435490_thumb.jpg

  • Upvote 20

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Спасибо. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Почему тем не менее продолжают проводить такие тесты?

Ещё и потому, что динамические тесты достаточно ресурсоёмки. Это не "просто сканер запустил"- тут нужно больше тестировщиков, автоматический фреймворк для ускорения вынесения окончательного вердикта, специальное оснащение тестовой лаборатории. Ну и количество семплов будет явно даже не миллион, и, наверное, не сотни тысяч. Так что объяснения в стиле "пипл хавает" есть серьёзное упрощение реальности.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька

E.K. популярно все объяснил.

Тогда получается что Avira отловила не 99,х% а все 100% вредоносов :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Тогда получается что Avira отловила не 99,х% а все 100% вредоносов :rolleyes:

Как же все рады, что Авира в очередной раз отловила 100% трэша. Как жаль, что не +100500%. Ей сколько ни дай, она все поймает, Авира, у нас такая, ага... :lol:

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
Как же все рады, что Авира в очередной раз отловила 100% трэша. Как жаль, что не +100500%.

Вы наверное не поняли. Avira отловила 100% вредоносов, а треш пропустила это же видно в таблице :P

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Вы наверное не поняли. Avira отловила 100% вредоносов, а треш пропустила это же видно в таблице :P

Вы сами то поняли, что написали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
Вы сами то поняли, что написали?

Ну я то понял. А Вы что нет? :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.
Тогда получается что Avira отловила не 99,х% а все 100% вредоносов

... а также 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта. Сомнительное достижение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator

E.K.

Вы можете назвать тесты, на которые можно ориентироваться? (Если такие есть).

Т.е. тесты, отражающие, на ваш взгляд, реальные возможности продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
... а также 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта. Сомнительное достижение...

Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта ;)

Внимательно читайте.

Более 60% от наших пропусков - это были кейгены, кряки, китайские тулбары, просто чистый софт. То бишь - чисто фальсы, которые детектят прочие "99%-е антивирусы".

Тем более, совпадения количества ни о чем не говорит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
E.K.
Исходя из продоставленной Вами арифметики все эти "кейгены, кряки, китайские тулбары, просто чистый софт" состовляют примерно 1% от всего количества файлов. Avira как-раз этот 1% и пропустила... так с чего же Вы утверждаете что они задетектили 99-100% кейгенов, кряков, китайских тулбаров и прочего незловредного чистого софта

Экие вы дотошные... Ну, хорошо. Там всё гораздо развесистее было. После первого прогона тестов мы получили файлы [или MD5 файлов? точно прям сейчас не скажу - по MD5 мы всегда их найдём], которые участвуют в тестах. Результат тестирования нас не устроил (мы не получали Advanced+ по первому прогону), посему мы начали шерстить коллекцию. В результате было выявлено 40K+ чистых и "спорных" файлов ("спорное" означает - можно детектить, а можно и нет. Сколько абсолютно чистых - сколько спорных тоже не скажу, не знаю). Так вот, у нас есть свои роботы, которые проверяют детекты конкурирующих продуктов. Из этих 40K+ чистых и сомнительных файлов Авира задетектила 26K+. То бишь, к количеству "ложных срабатываний" у Авиры в итоговой таблице можно смело добавить 20тыс. Ага? Вопросы есть?...

Если быть совсем честным, то на коллекции "лишних файлов" мы задетектили 2.5K. Т.е. в 10 раз меньше, чем Авира. Так что погрешность "разборок" составляет как минимум 10%. Так что "взвесить в граммах" - и не просите! Чистить чужие "конюшни" - это очень тяжелая и очень неблагодарная работа.

А если уж быть совсем цинично честным - мы бросили очень большие силы на чистку этих "конюшен", добились результата 97%+ (чтобы получить Advanced+) и на этом успокоились. Поскольку: 1. Чистить чужие помойки - это не наша работа. 2. Процент детекта в этих тестах вообще ни о чем не говорит, кроме "плюса" за "Advanced", который прочитают потенциальные покупатели. Так что - сколько там еще мусора осталось в коллекции - нам неизвестно. Наверное, примерно 2-2.5% (именно то, что нас отделяет от 99.x%). Поскольку нам это пофиг (свой A+ мы получили) - мы и не стали копать дальше, а "дятлы" пошли спать домой.

Я всё доступно изложил?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Наверное, чтобы не было лишних вопросов, стоит упомянуть что тестировщики часто присылают пропуски продуктов всем протестированным вендорам, чтобы вендоры сами посмотрели, не защитали ли им в качестве пропуска какой то чистый файл. Эта методология неплохо работала лет 10 или даже 5 назад, когда тестовые коллекции были из пары тысяч файлов, а пропусков не более десятка, но она уже давно себя изжила и на миллионных коллекциях неприменима.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
    • Dmitrius
      Канализация из септиков под ключ На предприятии каждый сможет заказать установку септиков, созданных из ЖБ конец - они не только практичны, но и отличаются безукоризненным качеством. Ищите где заказать монтаж септика астра - получите всю необходимую информацию на сайте. Важным моментом является то, что услуги оказываются на должном, профессиональном уровне. Это достигается за счет того, что в бригаде трудятся специалисты, которые знают все особенности своей работы. При этом стоимость работ остается на доступном уровне. Огромный стаж работы позволил приобрести большое количество клиентов – они советуют предприятие знакомым. Бетонные септики пользуются популярностью не только за счет своей небольшой стоимости, но и благодаря прочности, а также невосприимчивы к негативным условиях среды, они не нуждаются в сервисном обслуживании. И самое важное, что установка проводится на грунте любого типа. Такой вид септика считается самым быстрым способом организовать очистное сооружение на дачном участке. Сотрудники предприятия специально для вас подготовят предложение, произведут расчеты, грамотно расположат септик, а заодно и закупят все необходимые материалы по доступным ценам, выполнят доставку и монтажные работы. На все, включая материалы, предоставляются гарантии. Услуги оказываются не только по столице, но и области, на любом грунте: песке, глине и др. Монтаж септиков различной сложности, а также с подключением бани или дачи, переливом, любых соединений. Есть возможность вызвать целую бригаду специалистов на малый участок либо дачу, на которой вы проживаете время от времени или постоянно. Монтажные работы в ограниченные сроки. Во время монтажных работ учитывается то, сколько человек проживает в доме, особенности – о них поведает консультант. Теперь и вы сможете заказать высококлассные работы.
×