Перейти к содержанию
Сергей Ильин

Тест антивирусов на лечение активного заражения I (результаты)

Recommended Posts

Сергей Ильин

Уважаемые друзья и коллеги!

Сегодня мы наконец то выложили долгожданные результаты теста антивирусов на лечение активного заражения, подготовка которого так долго обсуждалась тут.

Краткие итоговые результаты тестирования:

1-е место Norton AntiVirus 2007 (80%)

2-е место Kaspersky Anti-Virus 6.0 (70%)

3-е место Eset NOD32 Antivirus 2.7 (50%)

Sophos Anti-Virus 6.0 (50%)

BitDefender Antivirus 10 (50%)

Остальные результаты:

Avast! Professional Edition 4.7 (40%)

AVZ 4.21 (40%)

McAfee VirusScan 2007 (40%)

Panda Antivirus 2007 (40%)

AVG Anti-Virus PE 7.5 (30%)

Avira AntiVir СE 7.0 (30%)

Dr.Web Anti-Virus 4.33 (30%)

F-Secure Anti-Virus 2007 (30%)

Trend Micro PC-Cillin 2007 (30%)

VBA32 Antivirus 3.11 (30%)

С подробными результатами теста можно ознакомиться здесь

http://www.anti-malware.ru/index.phtml?par...ctive_infection

или скачав файл в формате Excel

http://www.anti-malware.ru/doc/active_infection_test.xls

Ждем ваших отзывов и комментариев! :)

*******************************

Хочется отдельно поблагодарить vaber за огромную помощь в подготовке и проведении теста, а также Олега Зайцева за помощь в подборе вредоносных программ. :thanks:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Немного удивительно - неужели Нортон действительно самый крутой? :) По нему не скажешь... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

хм какая-то нестыковочка в сводной таблице написано что касперский при установке на заражёную машину с Backdoor.Win32.Haxdoor в чёрный экран бросает, а при просмотре описания лечения данного зловреда, написано что удачно всё вылечил..

Norton AntiVirus 2007 очень сильно удивил, неужели он что-то ещё лечит..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну на мой взгляд слишком пафосно считать в процентах.

зловредов всего 10, разница между 50% и 80% кажется огромной, а на самом деле это три зловреда. И при увеличении коллекции вряд ли процентное соотношение сохранится.

лично я бы писал скромнее 8 из 10, 5 из 10 и т.д.

у Симантек похоже компенсирует слабую реакцию на новые угрозы так. Типа зражение прошло, но зато когда сигнатура приехала - все аккуратно вычистил. Тоже подход, но вызывает вопросы...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Немного удивительно - неужели Нортон действительно самый крутой?

Да, это действительно так. Причем лично на меня произвела сильное впечатление сама процедура лечения в Нортоне. Если им детектируется активные вредонос (а почти во всех случаях это была автоматически, даже без необходимости скана), то он вычищался как правило полностью, т.е. все файлы и ключи реестра. В отчете по событиям соответственно тоже идет одной строкой, например, устранена угроза Trojan.Goldun, можно кликнуть на "подробнее" и псмотреть какие именно файлы и ключи он удалил.

хм какая-то нестыковочка в сводной таблице написано что касперский при установке на заражёную машину с Backdoor.Win32.Haxdoor в чёрный экран бросает, а при просмотре описания лечения данного зловреда, написано что удачно всё вылечил..

Ошибочка в сводной таблице, спасибо, что заметил. В отдельной закладке по Backdoor.Win32.Haxdoor все было верно написано.

Norton AntiVirus 2007 очень сильно удивил, неужели он что-то ещё лечит..

Оказывается, что очень даже лечит. Более того, Haxdoor он бы тоже взял, но не повезло - система стала падать после перезагрузки (синий экран смерти).

ну на мой взгляд слишком пафосно считать в процентах.

зловредов всего 10, разница между 50% и 80% кажется огромной, а на самом деле это три зловреда. И при увеличении коллекции вряд ли процентное соотношение сохранится.

лично я бы писал скромнее 8 из 10, 5 из 10 и т.д.

Первоначально все было именно в штуках, но это как-то некрасиво смотриться :-) Тем более учитывая общее чисто используемых вредоносов (10) очень просто переводить проценты в штуки и обратно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

пока смущает только выборка - 10 вредоносов. Для полноты картины явно маловато. А для заявления -"тестирование" так и вовсе не идет. Тестирование, сиречь - испытание - естьпроверка некоего набора на попадание в определенную зону факторного пространства. Существует метология расчета минимально необходимого количества испытательных проверок для получения достоверной выборки. !0 и даже 100 - отличается на порядки от этой цифры. Сами результаты любопытны, но не более. Можно подобрать из того же списка (ITW) 10 других вредоносов, которые покажут обратные результаты. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

alexgr, я не согласен, вероятно вы плохо читали методологию выбора вредоносных программ

http://www.anti-malware.ru/index.phtml?par...=viruses_choice

Семплы выбирались не просто так, это реально сложные случаи (кроме Pinch и Bagle пожалуй). Критиерии выбора, обсуждались здесь на форуме.

Цель теста не была показать репрезентативно, кто больше вирусов умеет лечит. Мы проверили лишь, какой из антивирусов лучше успевает за вирописателями и умеет детектировать и справляться со сложнейшими случаями (cutting edge).

Вообще количественная оценка не была главной изначально, тест качественный, по нему можно сделать множество выводов, например:

1. В некоторых случаях антивирусы детектирует только родительские файлы вредосных программ. Если она уже установлена, то антивирус часто будет просто молчать, у пользователя будет состояние защищенности, хотя система заражена. Этим грешили многие: Nod32, Trend Micro, McAfee, Avast! и т.д.

2. Некоторые антивирусы, как, например, F-Secure, Antivir или Trend Micro, не в состоянии штатными средствами вылечить серьезное заражение. Демонстрируют просто бессилие.

3. У некоторых антивирусов вылезают технические проблемы. Вирус детектируется в системе, но успешного лечения по тем или иным причинам не получается. На этом, например, много потерял Доктор Веб, реально их результат должен был быть намного выше.

Выводов можно делать еще много, всему свое время :-)

А теперь попробуйте мыслить шире и наложить хотя бы эти выкладки на данные скорости реакции, эффективности работы проактивки или качества детектирования. Иван в своем посте уже начал сводить эти данные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
alexgr, я не согласен, вероятно вы плохо читали методологию выбора вредоносных программ

http://www.anti-malware.ru/index.phtml?par...=viruses_choice

Семплы выбирались не просто так, это реально сложные случаи (кроме Pinch и Bagle пожалуй). Критиерии выбора, обсуждались здесь на форуме.

Цель теста не была показать репрезентативно, кто больше вирусов умеет лечит. Мы проверили лишь, какой из антивирусов лучше успевает за вирописателями и умеет детектировать и справляться со сложнейшими случаями (cutting edge).

Вообще количественная оценка не была главной изначально, тест качественный, по нему можно сделать множество выводов, например:

1. В некоторых случаях антивирусы детектирует только родительские файлы вредосных программ. Если она уже установлена, то антивирус часто будет просто молчать, у пользователя будет состояние защищенности, хотя система заражена. Этим грешили многие: Nod32, Trend Micro, McAfee, Avast! и т.д.

2. У некоторые антивирусы, как, например, F-Secure, Antivir или Trend Micro, не в состоянии штатными средствами вылечить серьезное заражение. Демонстрируют просто бессилие.

3. У некоторый антивирусов вылезают технические проблемы. Вирус детектируется в системе, но успешного лечения по тем или иным причинам не получается. На этом, например, много потерял Доктор Веб, реально их результат должен был быть намного выше.

Выводов можно делать еще много, всему свое время :-)

А теперь попробуйте мыслить шире и наложить хотя бы эти выкладки на данные скорости реакции, эффективности работы проактивки или качества детектирования. Иван в своем посте уже начал сводить эти данные.

сложность такого тестирования - репрезентативность выборки, а соответственно - толкование результатов. При нерепрезентативной выборке все рассуждения вокруг полученных данных - не более как личное мнение.. Я нисколько не возражаю против вышесказанного, однако для тестирования (любого) - из математики просто -

1. выборка "Зверей" должна репрезентативной

2. число проверок на одном типе (не сэмпле! сэмплов как раз должно быть много) должно быть несколько

3. методика не должна вызывать вопросв. То есть методика кроме всего должна отвечать принципу воспроизведения. Вы свою сможете воспроизвести? Где описание тестового стенда - кроме операционки там ничего не описано. Сколько ресурсов отдано под виртуалку? Какая платформа? как клонировали среду (тоже, кстати, вопросик :) )

и отбор зверья - 10 из скольки? почему эти. а не другие? Какие сэмплы? сколько? Как производили заражение?

Поэтому - еще раз повторюсь - результаты любопытны. но не более,

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
и отбор зверья - 10 из скольки? почему эти. а не другие?

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество. Допустим, ребята взяли бы 100 зловредов. И, допустим, KAV и NAV поменялись местами. Но я не думаю, что NAV занял бы последнее место, как того требуют модераторы Virusinfo.

P.S. Мне понравился результат AVZ. А ведь никто не ожидал такого от утилиты. Олег Зайцев, так держать!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество. Допустим, ребята взяли бы 100 зловредов. И, допустим, KAV и NAV поменялись местами. Но я не думаю, что NAV занял бы последнее место, как того требуют модераторы Virusinfo.

P.S. Мне понравился результат AVZ. А ведь никто не ожидал такого от утилиты. Олег Зайцев, так держать!

Оъем работы представляю - когда - то сам занимался такими тестами. Я уже написал. что и 100 будет маловато. При непрозрачной методике тестирования (а на самом деле должно звучать - "проверка заявленного функционала на ограниченной выборке", никак не более! Математика все же точная наука. А тестирование - есть применение оной для получения некоей метрики соответствия заявленному качеству. Поскольку качество само по себе есть величина безразмерная)есть масса вопросов. В спешке такое не делается.

Что утилита AVZ хороша - не вопрос, сам держу у себя на компе :) Рад за ее результаты.

Я согласен, что проделана некая достаточно сложная работа. Но все же в таком виде толкование полученных результатов приводит нас в "нетуда". И не потому что неправильные (в данном случае отбросим математику и теорию сложных систем, куда, собственно, нас и приводит термин "тестирование"), а потому что не воспроизводимые полностью как минимум

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Пит

Да. По Нортону я не удивился. У него с 2005 версий справляются с лечением не плохо.

И если бы его вирлаб немного активнее шевелился и добавлял новых зловредов быстрей, было бы всё гуд. А так. Лично мне результаты этого теста не очень важны. Я всегда считаю что нужно не допустить заряжения, чем потом с ним бороться.

То есть получается, я купил антивирус. Он стервец этакий на пропускал всякой заразы мне на комп. Зловред почувствовал уже себя хозяином у меня на компе, стал уже даже предугадывать какую я следущюю клавишу нажму на клаве, уже все мои пороли стал знать лучше меня, даже подсказывать стал мне, уже эти забытые мною пороли. И тут бац, после совместной месячной со мной с ним дружбы, я получаю от антивируса красный алерт. Того кого я считал своим другом и помощником, оказывается мне враг. Вопрос в следующем, на кой мне такой антивирус. И его результат очистки компа после зловреда мне тут не важен. Где гарантия того что у меня на компе нет ещё десять зловредов, которые будут дожидаться своей очереди на качественное лечения.

Касперский немного удивил. У них порой скорость опережает качество. Рад что этот тест изменил моё мнение по этому в лучшую сторону.

И если считать по этому поводу в Касперском совокупность Лечения активного заряжения, Проактивную защиту, Скорость добавления в базы новых зловредов. То Касперский лучший.

Еще меня поразило то, что тот же аваст у которого есть бесплатная версия, которая не намного отличается от платной справился лучше платных мэтров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

alexgr, да не может быть репрезентативности в таком тесте по-любому. Еще раз говорю, мы не ставили целью получение количественных результатов, которые можно было бы экстраполировать на всю генеральную совокупность. Цели совсем другие были изначально.

То есть методика кроме всего должна отвечать принципу воспроизведения. Вы свою сможете воспроизвести? Где описание тестового стенда - кроме операционки там ничего не описано. Сколько ресурсов отдано под виртуалку? Какая платформа? как клонировали среду (тоже, кстати, вопросик )

Да без проблем могу это написать, какие тут секреты :-)

Хотя было бы интересно, если бы вы объяснили какое это может иметь влиятие на результаты платформа и ресурсы. Это только проблемы тестера, то есть мои.

как клонировали среду (тоже, кстати, вопросик )

Вы знаете вообще как работает WMWare? Клонируются машины простым копирование файлов исходной конфигурации. В начале создается 1 чистая машина, с нуля форматируется, ставится Windows XP и все патчи. Далее эта машина просто клонируется под каждый семпл вредоносной программы. После активации вредоноса и многочисленной перезагрузки делается snapshot, к которому происходит возврат после каждой установки антвируса. Таким образом все вирусы и антивирусы устанавлияваются по сути на одну и ту же машину.

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество.

Полностью согласен. Лично я и потратит на эти 10 семплом огромное количество времени. Что тут говорить, только антивирусы пришлось ставить более 150 раз, а их еще нужно обновить, активировать и т.д. Это большая рутинная работа. На каждый семпл уходит в среднем несколько дней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

еще раз повторюсь - есть некий тест, который дает некие данные. Этот тест начинает толкать людей к истолкованию результатов. Слово "количество" в данном случае не более, чем лукавство. У качества нет метрики - это неизмеримое... Значит, надо такую метрику создать, что и сделал тест.

Потому важно! - репрезентативность выборки, пояснение отбора сэмплов, их описание, точное указание версий ядра, соотношение числа сэмплов к всему набору ITW, точное описание платформы etc. Могу продолжить...но не буду загружать...Тут на статью материала хватит! Работа по тестированию кропотлива, является рутинной,и цель ее - представление метрики качества.

Если непонятно - какое качество мы оценивали? куда мне с полученной метрикой к примеру NOD "пройти"? То есть 80% метрики - это в данном случае много? или мало?

Понятен замысел проверки - еще раз оговорюсь - проверки! Только делать нужно хорошо или вовсе не делать! А хорошо подразумевает все выше сказанное и обработку результатов с точки зрения усреднения результатов (проверок должна быть даже на одном семпле не одна) и построения точки факиторного пространства... Ежели этого нет - вариантов толкования много. Скажем - отбор "зверей" - заказное тестирование :)

непрозрачность методики - проверить нельзя :) отпотолочные результаты

нерепрезентативность выборки сэмплов - подбирали под конкретный результат (см. п. выше) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Я думаю alexgr вполне в курсе как клонируются виртуалки...

если это конечно Алексей Гребенюк

что касается показательности теста, радует то, что вири отбирали люди "не от вендоров", люди которые нифига не знали как с этим вирьем будут справляться тестируемые. При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице.

А вот с местами с 1е по третье мне кажется возхможны всякие перемещения.

Неплохим вариантом было бы собирать коллекции от вендоров-участников теста путем объединения. Но я так понимаю в нашем случае это невозможно - коллекциями поделятся только Веб и Касперский.

Мое мнение такое: тест не заказной, но в следствии малого количества самплов позволяет дать только качественную оценку, причем основываясь больше даже не на цифрах, а на описаниях из таблицы.

Хорошо бы еще скриншотов поглядеть, иллюстрирующих те или иные факты.

PS отмечая справедливость аргументов alexgr, не могу не заметить, что если бы Доктор выглядел бы в тесте лучше, то реакция у Вас была бы иной:)

Кстати у меня пользовательский вопрос: вы запросили у Ильина самплы, чтобы проверить тест и если нужно докрутить свой продукт?Мне кажется это было бы правильно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице

Именно так, если какой-то антивирус не умеет справляться с руткит-защитой, то можно хоть 100 семплов тестировать, ничего не изменится. Тоже самое относится и к процедурам проверки и удаления залоченных файлов.

Я могу согласиться с рассуждениями alexgr в части, например, NewDotNet или Scano, так как в этих случаях все действительно сильно зависит наличия индивидуальной процедуры удаления. Но это громкие имена, нашумевшие по инету, поэтому они и отобраны. Напрашивается вывод, если уж у антивируса нет процедуры лечения для них, то стоит ли ожидать от него адекватного лечения в менее громких случаях?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Я думаю alexgr вполне в курсе как клонируются виртуалки...

если это конечно Алексей Гребенюк

что касается показательности теста, радует то, что вири отбирали люди "не от вендоров", люди которые нифига не знали как с этим вирьем будут справляться тестируемые. При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице.

А вот с местами с 1е по третье мне кажется возхможны всякие перемещения.

Неплохим вариантом было бы собирать коллекции от вендоров-участников теста путем объединения. Но я так понимаю в нашем случае это невозможно - коллекциями поделятся только Веб и Касперский.

Мое мнение такое: тест не заказной, но в следствии малого количества самплов позволяет дать только качественную оценку, причем основываясь больше даже не на цифрах, а на описаниях из таблицы.

да, я знаю, как клонируются виртуалки. На самом деле на виртуалках и тест не чист по сути, хотя для данных сэмплов зверей это и не важно. Однако все же качественный анализ =вещь тонкая, таблицы выглядят в этом смысле намного информаитивнее, нежели общие результаты. Здесь я полностью согласен с Иваном.

И согласен с тем, что тест не заказной - я об этом не говорил. я говорил, что неполнота данных может порождать химер! а этого не должно быть!

результаты тестирования должны толковаться примерно одинаково всеми "чтецами" и не создавать непонимания. Трактовка данного теста таковой не является, а с точки зрения методологии находится не на уровне -это к сожалению.

Работа проделана большая, кропотливая... а результат получился иллюстративный :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
, а с точки зрения методологии находится не на уровне -это к сожалению.

Методология к сожалению не достаточно детально написана, согласен, это моя недоработка, постараюсь поправить.

Надеюсь, вы понимаете, что места и проценты указаны в результатах лишь в качестве выжимки для особо ленивых, да и просто удобнее смотреть, что взял больше зловредов, не все читатели настолько продвинутые :-) Те, кому нужно больше октроют таблицу или еще лучше файл Excel.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

alexgr, скажите есть ли у вас предложение, как сделать этот тест более правильным, но при этом выполнимым?

поскольку совершенно понятно, что провести аналогичную работу даже на 100 самплах - это фактически нереально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
, а с точки зрения методологии находится не на уровне -это к сожалению.

Методология к сожалению не достаточно детально написана, согласен, это моя недоработка, постараюсь поправить.

Надеюсь, вы понимаете, что места и проценты указаны в результатах лишь в качестве выжимки для особо ленивых, да и просто удобнее смотреть, что взял больше зловредов, не все читатели настолько продвинутые :-) Те, кому нужно больше октроют таблицу или еще лучше файл Excel.

Вот вроде как появилось понимание позиций! Может показаться, что это все писано ради самих умных слов. На самом деле (я все же настаиваю), что все это проведено на уровне проверки заявленного функционала. Соответственно, метрики здесь лишние. Таблицы интересны по сути своей - это факт, за что авторам проверки огромное спасибо. Работа большая и сложная сделана. Это неоспоримо!

В терминологическом плане и подготовке материалов - слабо, честно! Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

В целом мое мнение - что это материал иллюстративный. То есть показывающий некую сутность. И все.

Добавлено спустя 8 минут 4 секунды:

alexgr, скажите есть ли у вас предложение, как сделать этот тест более правильным, но при этом выполнимым?

поскольку совершенно понятно, что провести аналогичную работу даже на 100 самплах - это фактически нереально.

Самое главное - название работы. Требования к курсовой работе и магистерской неодинаковы как минимум. А с диссертацией и сравнивать нечего (со мной согут поспорить. что часто нынешние диссеры на советский курсовик не тянут, но это так. к слову :D ). Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

На самом деле воспроизводимость 100% возможна, просто я изначально не хочу раскрывать все методологию полностью. Готов сделать это для представителей вендоров в индивидуальном порядке, даже вместе с семплами. Скрывать нечего, тест проводился честно.

Добавлено спустя 5 минут 3 секунды:

Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто

Хорошо, убедили, в описании теста поправлю текст, "проверка заявленного функционала" действительно будет правильнее, но слово тест повсеместно и в названии все же исключать не хочу из соображений продвижения и развития ресурса. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

На самом деле воспроизводимость 100% возможна, просто я изначально не хочу раскрывать все методологию полностью. Готов сделать это для представителей вендоров в индивидуальном порядке, даже вместе с семплами. Скрывать нечего, тест проводился честно.

Добавлено спустя 5 минут 3 секунды:

Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто

Хорошо, убедили, в описании теста поправлю текст, "проверка заявленного функционала" действительно будет правильнее, но слово тест повсеместно и в названии все же исключать не хочу из соображений продвижения и развития ресурса. :)

я же говорю, что нашли понимание позиций! вот еще б оформление добавить названия по классификации участников - было бы супер. А так приходилось искать, тратить время на понимание полученных результатов! Я думаю, что вообще самая легкая часть работы :) но полезная

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
вот еще б оформление добавить названия по классификации участников - было бы супер. А так приходилось искать, тратить время на понимание полученных результатов! Я думаю, что вообще самая легкая часть работы но полезная

Без проблем, все же есть, просто я не был уверен, что это нужно.

На днях опубликую.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

это нужно исходжя из того, что классификация у всех разная. И тот же Zhelatin имеет уже столько буковок в индексах, что огого. такие же фичи есть и у других, а искать в чем различие (функционал илди просто упакоыщик) - не всегда есть время. Да и в этом зверинце есть по этому поводу варианты :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

На мой взгляд, тест сам по себе достаточно уникален и имеет большую ценность.

Согласно методологии теста выбраны наиболее активные и наиболее распространенные malware, верятность "встречи" с которыми была наиболее высока.

Считаю, что репрезентативность "коллекции", в данном случае, не имеет большого значения, поскольку (по моему мнению) механизм противодействия большинства существующих malware можно свести к относительно небольшому количеству примерно одинаковых методов.

Полностью согласен с мнением известного независимого эксперта Олега Зайцева:

http://virusinfo.info/showthread.php?t=7901

Естественно результаты Norton вызывают у многих удивление. У меня лично не возникает сомнений в достоверности данных теста в отношении данного продукта. У каждого продукта могут быть свои недостатки и свои преимущества. По всей видимости одним из преимуществ продуктов от Symantec является спсобность относительно эффективно бороться с активными вредоносными объектами.

P.S. Благодарю Сергея Ильина, vabera за интересный и познавательный тест, Олега Зайцева - за содействие в проведении теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Bryanaqual
      где в интернет магазинах россии можно купить элитную декоративную косметику туш для ресниц Аминьевское шоссе где можно купить косметику la roche-posay в калининграде корейская косметика воронеж иннисфри блест для губ Волгоградский проспект гобелен москва косметичка где купить косметику биокон в москве итальянские сумки gianni conti купить в интернет магазине косметику виши в екатеринбурге в каких магазинах купить косметику collistar в москве консультант косметика москва купить никс косметику купить косметику для девочек набор Клатч Площадь Ильича косметика с украинским переводом москва

      beautier by glova international отзывы http://optdetal.ru/forum/user/14090/ где купить профессиональную косметику в магазинах города кемерово http://www.konniydon.ru/communication/forum/user/313734/ http://ruscigars.ru/forum/?PAGE_NAME=profile_view&UID=13042 корейская косметика sweetness http://journal-gorproekt.ru/forum/user/60632/ http://mag.e-gorod.ru/communication/forum/index.php?PAGE_NAME=profile_view&UID=19003 тони моли корейская косметика оптом купить профессиональную косметику для визажа в рб итальянские сумки с апликациями животных vanessa di gregorio pescara купить профессиональную косметику спб корейскаядекоративная косметика корея опт москва итальянские сумки луи виттон где купить косметику mila d opiz в москве корейская косметика в армении 4088 di gregorio сумочки через плечо женские недорого косметика Рижская купить косметику черный жемчуг в москве Клатч Октябрьское поле купить декоративную косметику российскую

      где купить косметику братц где купить косметику планета органика в марьино итальянские сумки интернет магазин купить интернт магазин косметика лореаль москва купить сумку Красные ворота косметика alessandro официальный дистрибьютер москва стильные женские аксессуары опт тон для губ Алабяна улица где купить косметику dermaquest в москве мужская сумка di gregorio

      туристическая поездка в тайланд видио http://aop.in.ua/communication/forum/index.php?PAGE_NAME=profile_view&UID=50228 где купить косметику пупа в москве в магазине http://magfitpro.ru/communication/forum/user/25120/ http://xn--80axf4a.xn--p1ai/communication/forum/user/44155/ tonymoly pandas dream brightening eye base 9g отзывы http://avtourist77.ru/forum/user/16643/ cromia отзывы http://ananasspb.ru/communication/forum/user/12210/ сумки итальянские unicorn косметика для солярия солео стикини оптом москва косметика Армянский переулок где можно купить оптом косметику мас накед корейская косметика the saem косметику декоративная купить купить детскую косметику монстер хай в екатеринбурге виды женская косметика где в минске можно купить косметику paul mitchell CROMIA Маяковская купить косметику источник жизни где купить косметику тоника косметика galan купить москва купить косметику аурелия в москве косметика белла можно ли эту косметику купить в мари кей

      женские наручные часы fossil es2830 японские часы sinobi мужские наручные часы купить наручные часы omax наручные часы от 50 рублей часы наручные мужские q q ка80j001y
    • Bryanaqual
      купить сумку cromia в украине купить декаративную косметику где купить косметику fflieur в красноярске купить косметику питер new thread купить профессиональную косметику ателье для визажистов косметика ветка сакуры москва купить в москве косметику орлан где купить косметику миранды керр женский кошелек kanier женские сумочки доставка почтой по россии женские сумочки кашпо купить косметику стикс в киеве магазин итальянские сумки редмонд сп корейская косметика gmarket купить косметику енка

      кошелек женский империя сумок каталог http://www.autorenter.ru/forum/index.php?PAGE_NAME=profile_view&UID=69685 где купить косметику волос http://kskdts.ru/page5.php?PAGE_NAME=profile_view&UID=17511 https://zogel.ru/forum/index.php?PAGE_NAME=profile_view&UID=2278 купить профессиональную косметику в интернет магазине недорого http://minfin.admoblkaluga.ru/sub/finan/forum/?PAGE_NAME=profile_view&UID=409846 http://xn--80aaiunencbyldg5b5bzc9c.xn--p1ai/about/forum/user/98699/ корейская косметика картинки купить косметику кора в новосибирске вакансии продавец-консультант косметика москва где купить профессиональную косметику alterna и kydra торговый представитель косметика вакансии москва купить косметику черный жемчуг оптом какую косметику купить в тайланде паттайя gianni di gregorio купить косметику авон в интернете купить косметику artdeco в саратове купить плетеную сумку из соломки москва женский кошелек hermes корейская косметика в подружке магазины в санкт-петербурге, где можно купить косметику yago лак для волос Филевский парк

      тон для лица Акулово посёлок купить заказать косметику туш для ресниц Асеева улица купить на северо-западе москвы косметику кора недорогая брендовая косметика заказать наложенным платежом где купить косметику чаровница где в сочикупить косметику vov obagi nu derm купить косметику итальянские сумки и аксессуары белорусская косметика, купить косметику из беларуси

      туроператор в тайланд из екатеринбурга http://www.dairynews.ru/forum/?PAGE_NAME=profile_view&UID=30115 кошелек женский кожа страуса http://orienthome.ru/forum/user/58600/ http://e-s-c.ru/forum/user/13608/ где можно купить белорусскую косметику оптом https://krasnoyarsk.finestra.biz/forum/user/6748/ tonymoly pureness 100 mask sheet http://schoolpress.ru/communication/forum/index.php?PAGE_NAME=profile_view&UID=85043 tonymoly wonder water moisture craem женский кошелек бренд купить профессиональную косметику в новосибирске где в москве купить косметику из израиля купить косметику жернетик в спб сумки белорусско-итальянские женский маленький кошелек купить корейская косметика каталог 2014 коньково косметика виталайнмосква, метро коньково, ул.островитянова prada женский кошелек купить косметику из мексики купить косметику для волос голдвелл купить японскую косметику в интернет магазине где купить профессиональную косметику ренофаз профессиональная косметика инструменты для коррекции бровей москва

      мужские швейцарские наручные часы сон разбитые наручные часы q q часы наручные цена ролекс наручные часы часы наручные женские золотые купить украина
    • Bryanaqual
      невская косметика москва купить купить косметику кристина в казахстане итальянские сумки гретта каталог купить косметику счастье жизни купить косметику ив сен бернард в интернет магазине где купить косметику кливен в минске купить косметику плазан в украине купить кошелек женский недорого шанель кошелек женский бирюзовый косметика merck exfoliac москва пудра для лица Филевский парк корейская косметика красноярск купить стильные женские аксессуары где в челябинске купить косметику доктор нона купить косметику для мальчиков

      кошелек женский магазины http://kppg-sar.ru/forum/user/6569/ косметика для собак ив сен бернар москва http://parus-perm.ru/communication/forum.php?PAGE_NAME=profile_view&UID=3397 http://xn--j1aadhdbbpr7hb.xn--p1ai/forum/?PAGE_NAME=profile_view&UID=78771 асахи и корейская косметика https://mgbot.ru/forum/user/4351/ http://sp-box.ru/good_cause/?PAGE_NAME=profile_view&UID=56553 hermitage москва косметика кошелек мужской Пионерская корейская косметика бестселлеры итальянские сумки ди григорио в украине купить косметику аравия в интернет магазине тени для век Савеловская Маска-патч для губ Охотныйряд tonymoly dear me petite cotton бб крем отзывы сумка di gregorio 6199-g как купить косметику ив роше женский кошелек даяна avon купить барсетку Александровский сад make купить косметику купить итальянскую сумку кошелек женский киев купить профессиональную косметику в алматы бу

      корейская косметика syn-ake купить оптом люксовую косметику купить косметичку Аннино купить косметику bb купить косметику inglot через интернет корейская косметика каталог интернет магазин без предоплаты купить косметику для собак plush puppy в санкт-петербурге купить косметику красная линия в минске bursitis subacromial treatment корейская косметика vov отзывы о марках

      где лучше в тайланде в октябре http://xn----jtbnobglp7a.xn--p1ai/forum/user/22826/ купить косметику эриксон лаборатория links http://xn--80auehs.xn--p1ai/communication/forum/user/44155/ http://b-buh.ru/communication/forum/user/3718/ купить косметику интернет guestbook http://z-prime.ru/forum/user/3377/ ББ крем Щелковская http://socportal.ru/forum/?PAGE_NAME=profile_view&UID=24869 купить косметику белита витэкс где купить косметику для ламинирования карандаш для бровей Академика Миллионщикова улица женские аксессуары оптом и новогодние подарки мужчинам DI GREGORIO Амбулаторный переулок где купить косметику дермофил где купить косметику летуаль в воронеже купить косметику dior со скидкой помада для губ Автозаводская улица как купить косметику cinecitta купитьженский кожаный кошелек симферополь купить косметику криолан киев DI GREGORIO Ананьевский переулок итальянские женские сумки интернет магазин пудра для лица Антонова-Овсеенко улица

      батарейка на наручные часы часы наручные своими руками мастер класс купить недорого часы наручные женские как правильно открывать наручные часы часы наручные электронные титановый корпус
    • Bryanaqual
      купить профессиональную косметику для лица в минске где купить косметику для волос paul mitchell пользуется ли спросом корейская косметика где купить олей косметику где купить косметику мак в киеве солевая грелка-маска для лица москва Клатч Академика Скрябина улица shoulder arthroscopy with subacromial decompression and acromioplasty тон для губ Авиаконструктора Яковлева улица где купить косметику mediscrin nars косметика москва купить косметику revlon украина лак для ногтей Академика Миллионщикова улица косметика для волос Аргуновская улица купить косметику mixit в сочи

      корейская косметика all in one в тд весна в москве http://www.saltikovka.ru/forum/user/176751/ тон для лица Арбатская (Филевская линия) http://rus-student.ru/forum/user/791450/ http://xn--80aairftmb0a5c.xn--p1ai/forum/?PAGE_NAME=profile_view&UID=24869 тон для лица Белорусская http://www.belduma.ru/contact/forum/?PAGE_NAME=profile_view&UID=13020 http://xn--80aacdcpcxy0b1bzf.xn--p1ai/forum/?PAGE_NAME=profile_view&UID=179507 итальянские сумки с принтом в санкт-петербурге корейская косметика missha спб купить готическую косметику wwwboard cgi киев купить косметику balea купить косметику грин мама в украине купить косметику ручной работы минск корейская косметика итс скин отзывы корейская косметика от темных кругов где дешевле купить косметику мас cromia магазин в москве tonymoly shiny foot super peeling liquid отзывы кошелек женский недорого купить косметику green line tonymoly latte art cappuccino cream in scrub arcradr женские аксессуары для авто украина

      купить косметику artdeco в украине брендовая косметика Царицыно subacromial bursitis images DI GREGORIO Монорельсовой дороги Тимирязевская cromia косметички лак для ногтей Академика Петрова площадь сумки итальянские ди григорио белая Крем для кожи Антонова-Овсеенко улица coracoacromial ligament repair купить косметику мас оптом

      тюмень тайланд туроператоры https://yenashop.ru/forum/index.php?PAGE_NAME=profile_view&UID=8241 тон для лица Академика Сахарова проспект http://golovastik.by/forum/user/17593/ http://www.orion-project.ru/communication/forum/user/36219/ где купить дешевую косметику оптом в бангкоке http://oculist.pro/forum/user/6665/ Крем для кожи Андреево-Забелинская улица http://xn--80aesdpkapeejc.xn--p1ai/forum/user/752225/ итальянские кожаные сумки косметика для волос Спартак купить элитную косметику лореаль где купить косметику глорион Крем для кожи Щелковская карандаш для бровей Фрунзенская купить косметику olivelia парфюмерия и косметика оптом склады москва купить косметику сша гидропептид купить косметику цептер в одессе итальянские сумки купить в украине купить косметику mac в интернет-магазине украина косметика chi продажа москва kiss my face косметика москва купить косметику эриксон лаборатория article

      наручные часы guess dress steel i12553g4 наручные часы мобильный телефон gsm где в киеве можно купить наручные часы наручные часы мужские emporio armani наручные часы с белым корпусом и белым браслетом
    • Bryanaqual
      ключница Академика Волгина улица женские украшения бижутерия аксессуары где купить косметику п кошелек женский deckas paris коричневфй тон для лица Кожуховская Крем для кожи Парк Победы где в питере купить белорусскую косметику где в полтаве можно купить косметику natura siberica купить косметику Планерная купить косметику виши волгоград кошелек мужской Александра Невского переулок vov косметика москва где купить купить косметику meitan купить косметику капус в минске Dolci Capricci Аминьевский мост

      купить в киеве косметику фирмы сано израиль http://leninogorsky.ru/forum/user/43752/ поставщик косметика корейская купить http://intellect-audit.ru/forum/?PAGE_NAME=profile_view&UID=7273 http://test.sozapag.ru/forum/user/6891/ купить профессиональную косметику ericson laboratoire москва http://agroeco.su/communication/forum/user/51676/ http://trezveyu.ru/forum/index.php?PAGE_NAME=profile_view&UID=17278 купить косметику эйвон недорого купить оптом косметику лореаль лицензия набор для ламинирования ресниц beautier купить косметику крупным оптом итальянские сумки blumarine wr-040 женский кошелек из кожи купить косметику бабор в германии москва магазины mac косметика купить косметику la mer в москве туш для ресниц Академика Курчатова площадь where is the subacromial bursa located косметичка umbro москва купить израильскую косметику в интернет магазине украина где можно купить косметику арт визаж в санкт-петербурге купить косметику эссенс в интернет магазине наложенным платежом

      лунифера корейская косметика интернет магазин москва как правильно выбирать женский кошелек купить профессиональную косметику для волос альцина где купить профессиональную декоративную косметику в самаре купить косметику волос bes пудра для лица Арбат улица hermes купить женский кошелек купить косметику эстель оптом во владимирской области женский супер кошелек женские аксессуары по низкой цене

      тайланд горящие туры из москвы с 19 января http://optdetal.ru/forum/user/14090/ блест для губ Академика Павлова улица http://hobbitshop.ru/communication/forum/user/21768/ http://ineufa.ru/communication/forum/user/12697/ где купить косметику academie в н новгороде http://old.lesaffre.ru/communication/forum/index.php?PAGE_NAME=profile_view&UID=19435 где в киеве можно купить косметику essence http://www.aqwella.ru/communication/forum/user/10528/ кошелек женский подарки для всех маска для лица Международная купить женский кошелек givenchy Клатч Бульвар адмирала Ушакова мусс для укладки Печатники купить прикольный мужской кошелек москва купить женский кошелек мано женский кошелек красный лак купить косметику мак в туле косметичка купить москва магазин аксесс корейская косметика it's skin женские рюкзаки сумочки корейская косметика купить в челябинске лакированный женский красный кошелек dior оптовик москва 2006 косметика cliniql

      наручные женские часы мос мужские японские наручные часы casio efa-120d-1a наручные мужские часы мраморные наручные часы romanson adel powered by phpbb дорогие наручные часы брейтлинг
×