Тест антивирусов на лечение активного заражения III (результаты)

[Иван 290]

vaber, а вы какой почтовой программой пользуетесь? Быть может, вам нужны советы по правильной её настройке? (Ну чтобы письма до вирлабов доходили?

не хотите угомониться и признать, что при всех недостатках дрвеб лучше всех лечит активное?

когда знает что лечить

[AlexxSun 150]

что при всех недостатках дрвеб лучше всех лечит активное?

Более того скажу, иногда даже определяет лучше, чем "другие антивирусные продукты"

Я не рассматриваю результаты теста в общем, я оспариваю результаты касательно конкретного факта - предложение было, vaber как очень неплохой политик сделал так, чтобы малвары в тесте не было...

[Viktor 669]

для того, чтобы малварь была в тесте нужен как минимум детект ее всеми участниками регаты

И сколько же таких кандидатов?

Я не спорю, что можно найти образцы, которые никем не будут детектироваться.

Более того, совсем неочевидно, что если случайным образом изменить выборку и взять другие 15 вирей, мы не получим заметной корректировки результатов. Хотя, конечно, если выборка действительно случайна, то маловероятно, что кто-либо из аутсайдеров получит медаль, но победитель вероятно может измениться, так что в определенном смысле разговоры о первом и втором местах, которых разделяют три невылеченных сэмпла, бессмыслены

[Андрей-001 1099]

А может сделать мини-тест по предложенным образцам AlexxSun и другим невошедшим, но трудноизлечимым, и назвать его "Горячая (Ужасная, Зловредная) Х-ка (5-ка, 10-ка).

А в Лечебники взять только продукты-наградоносцы предыдущего теста.

Это, конечно, несрочно, но на будущее, например.

[Valery Ledovskoy 1082]

AlexxSun, Viktor, я понимаю, что влом читать методологию теста. Но там ответы на все ваши вопросы.

Для проведения тестирования антивирусов на лечение активного заражения экспертной группой Anti-Malware.ru были отобраны 15 вредоносных программ по следующим критериям:

1. детектирование компонентов вредоносной программы всеми участвующими в тесте антивирусами (*);

2. отсутствие целенаправленного противодействия работе антивируса;

3. способность противодействовать обнаружению/удалению со стороны антивируса;

4. способность восстанавливаться в случае удаления некоторых компонент;

5. распространенность;

6. вредоносные программы отбирались таким образом, чтобы максимально полно покрыть используемые ими технологии маскировки, защиты от обнаружения/удаления.

Стоит отметить, что критически важным параметром для отбора вредоносных программ для теста было детектирование их компонентов со стороны всех участвовавших в тесте антивирусов.

(с) http://www.anti-malware.ru/node/668

предложение было, vaber как очень неплохой политик сделал так, чтобы малвары в тесте не было...

vaber поступил согласно п.1. В этом тесте не было целью рассылать малвары по вендорам и считать время, за которое они добавятся. Для этого есть другой тест, и в нём будут другие совершенно результаты. Сэмпл не был добавлен потому, что его не детектили все антивирусы в "спокойном" состоянии. Дайте сэмпл - добавим в базы, проверим.

Более того, совсем неочевидно, что если случайным образом изменить выборку и взять другие 15 вирей, мы не получим заметной корректировки результатов.

На это отвечает п.6 из той части методологии, что я привёл. Эти 15 вирей мало того, что всеми детектятся, так ещё и покрывают все (или большинство) используемых технологий маскировки. Кстати, насколько я знаю, другие 15 таких сэмплов дай Бог наберутся к следующему тестированию. Это сложная работа, на которую тратится достаточно сил и нервов. Это Вам не тесты Маркса-Энгельса, где набрали кучу невесть чего и прогнали незнамо как.

vaberу, а также всем причастным спасибо за проведённую работу. Этот тест, наверное, наиболее адекватен из всех, что проводились на АМ. Не потому, что Dr.Web на первом месте, я обсуждал и многие другие тесты здесь. Просто методология уникальная (никто больше подобных тестов не проводит), разработана с нуля, чёткая (прицепиться особо не к чему, хотя жалкие попытки есть), обратную связь с тестерами получить легко (это, к сожалению, сейчас большая редкость), направление исследования тоже одно из самых основополагающих для антивирусов. Молодцы.

Да, в качестве заключения. Это моё личное мнение, и только по поводу теста.

[AlexxSun 150]

Дайте сэмпл - добавим в базы, проверим.

Валерий, а вы возьмите образец у vaber'a он же его уже "посмотрел"

Да и как-то совсем несолидно, такой результат, в аутсайдерах числиться по такому вроде бы даже не очень сложному образцу

[BeAsT 0]

Если вы не можете признать поражение, то зачем делать четыре медали, специально для тех, кто не совсем мега крут, для тех кто уже как год неможет нормально анти-руткит написать, для тех кто падает в бсод, для тех кто тормозит при определённом софте, что бы типа эти самые казались всё равно "типа" голд призёром как год назад! Если вы делали три медали в предыдущих тестах: http://www.anti-malware.ru/node/161 и http://www.anti-malware.ru/node/162, то незачем в новых тестах делать 4! Это подрывает доверие к вашим независимым тестам!

Я просто требую исправить на три медали и поставить Касперам сильвер. За то что они не могут дописать до кривых рук свой klif.sys.

Мы Вам тут не домохозяйки что бы просто так вестись на такие разводы.

p.s. извиняюсь за такую интонацию но это просто бесит! переходит всякие рамки!

{Получает 5 дней на размышления на тему "Что такое "платиновая медаль" и за что ее дают". Нарушение п. 11.1, неявно 11.4, 11.10 Правил.}

Отредактировал Октябрь 23, 2008 Umnik

[vaber 350]

Валерий, а вы возьмите образец у vaber'a он же его уже "посмотрел" tongue.gif

Данный семпл не взят в тест по пунктам 2 и 3.

Еще вопросы есть?

[BeAsT 0]

Да и хотел бы заметить, что это, наверно, не относится к людям, которые реально проводили тесты. Им спасибо.

А вот тем, кто подвёл итоги и сделал медали явно получают зарплату на стороне... Давайте тов.Гудилина сюда.. погудим чуток!

[Valery Ledovskoy 1082]

Да и как-то совсем несолидно, такой результат, в аутсайдерах числиться по такому вроде бы даже не очень сложному образцу

Ещё раз. Причём тут сложность? Сложно добавить детект этого образца в базу и проверить?

Пришлите мне по адресу, который есть в профиле.

Ещё раз. Тестировалось противодействие _методам_ маскировки, а не уровень детекта. Или есть подозрение, что у этого образца используется метод маскировки, которого нет в представленных в тесте 15 образцах?

Т.е. что Вы хотите доказать?

[vaber 350]

2 BeAsT

Всегда было 4 медали. В прошлых тестах до нее просто никто не дотянулся. Включаем моск

Даже специально красным жирным цветом выделили тут: "Итак, лучшим оказался Антивирус Dr.Web, который корректно вылечил систему во всех 15 случаях. Это первый антивирус, который смог получить награду Platinum Malware Treatment Award"

[dot_sent 140]

BeAsT

Если обратите внимание на методологию выставления оценок и присваивания медалей, то увидите, что в предыдущих тестах были те же 4 медали. Просто до уровня Платинум тогда не дотягивал ни один участник тестирования, потому и соответствующей строки в итоговой таблице нет.

Отредактировал Октябрь 23, 2008 Umnik

[BeAsT 0]

2 BeAsT

Всегда было 4 медали. В прошлых тестах до нее просто никто не дотянулся. Включаем моск

Всё равно не справедливо. Сами понимаете, что никто не будет разбираться сколько медлаей...

Например, в первом тесте было 1-ое, 2-ое, 3-ее место. Во втором тетсе НЕ писалось, что платиновую никто не завоевал. Имхо, это отмазы.

[vaber 350]

Например, в первом тесте было 1-ое, 2-ое, 3-ее место. Во втором тетсе не писалось, что платиновую никто не завоевал. Имхо, это отмазы.

Угу, мы еще год назад предусмотрели такой вариант исхода событий, поэтому предумали платиновую медаль =)). Смешно.

[BeAsT 0]

Ладно чёрт с вами убедили. =)

Всё равно попахивает каким то техничным ходом К.

[sceptic 100]

В этом тесте не было целью рассылать малвары по вендорам и считать время, за которое они добавятся.

(никто больше подобных тестов не проводит)

имхо сабж? а Валерий?

как юзер "крепко любящий ТП", предлагаю провести тест на

быстродействие вирлабов всех приведённых выше вендоров.

вот такого теста, наверно, точно никто не проводил.

очень показательно будет

[Valery Ledovskoy 1082]

как юзер "крепко любящий ТП", предлагаю провести тест на

быстродействие вирлабов всех приведённых выше вендоров.

вот такого теста, наверно, точно никто не проводил.

очень показательно будет smile.gif

Проводились, и неоднократно.

[K_Mikhail 807]

Всё равно не справедливо. Сами понимаете, что никто не будет разбираться сколько медлаей...

Например, в первом тесте было 1-ое, 2-ое, 3-ее место. Во втором тетсе НЕ писалось, что платиновую никто не завоевал. Имхо, это отмазы.

Система выставления оценок тестов лечения активного заражения: http://anti-malware.ru/node/152

Существует с 2007. В любом случае, всегда можно привести ссылку на первоисточник при необходимости.

[Kokunov Aleksey 20]

TO vaber:

Интересно, а факультативно использовать встроенный в КИС/КАВ АВЗ не пробовали...?

Я конечно понимаю что это не сосвем будет сответствовать БУКВЕ методологии теста, но ДУХУ соответствовать должно...

По идее это тоже средство удаления...

[Umnik 997]

Kokunov Aleksey

Речь о сигнатурном лечении, а не о дополнительных действиях пользователя, на которые 98% даже не способны. И чем дальше от буквы, тем больше можно придумать условностей.

sceptic

Тезка, ты вправе в разделе обсуждения тестов создать новый топик, где предложишь методологию теста. Только в этом не нужно оффтопить, пожалуйста.

[Viktor 669]

AlexxSun, Viktor, я понимаю, что влом читать методологию теста. Но там ответы на все ваши вопросы.

Для проведения тестирования антивирусов на лечение активного заражения экспертной группой Anti-Malware.ru были отобраны 15 вредоносных программ по следующим критериям:

1. детектирование компонентов вредоносной программы всеми участвующими в тесте антивирусами (*);

2. отсутствие целенаправленного противодействия работе антивируса;

3. способность противодействовать обнаружению/удалению со стороны антивируса;

4. способность восстанавливаться в случае удаления некоторых компонент;

5. распространенность;

6. вредоносные программы отбирались таким образом, чтобы максимально полно покрыть используемые ими технологии маскировки, защиты от обнаружения/удаления.

Валерий, Вы, видимо, невнимательно прочитали мое утверждение. С моей точки зрения результаты теста по модулю размера выборки вполне адекватны. Или Вы настаиваете на том, что для теста возможно было взять только те 15 программ, которые выбрал vaber?!

[dan 10]

2BeAsT: О чём Вы? В этом тесте тоже только 3 медальки .

[Deja_Vu 366]

Ладно чёрт с вами убедили. =)

Всё равно попахивает каким то техничным ходом К.

Вообще не понимаю, зачем тут перед вами распинались.

Все везде написано и описано, нужно было впаять молчанку на месяц, что б вы спокойно почитали для начала -))

[vaber 350]

Или Вы настаиваете на том, что для теста возможно было взять только те 15 программ, которые выбрал vaber?! smile.gif

так и есть

[Сергей Ильин 1538]

Коллеги, мне кажется вы делаете из теста не те выводы. Сколько конкретно самплом и тем более скорость занесения сигнатур в базы не имеет тут значения уж точно. Важно другое. Есть 3 вендора, которые стабильно хорошо лечат и эти вендоры - DrWeb, Касперский и Symantec (порядок не играет особой роли). Плюс мы имеет два сильных новичка, которые, я очень на это надеюсь, разбавят в будущем большую тройку, - Avast и Agnitum.

Все остальные ИМХО для лечения активного заражения малопригодны. Может быть еще только Panda, видно какую-то работу у них в этом направлении.