Сравнение антивирусов по эффективности защиты от новейших вредоносных программ (результаты)

[p2u 824]

А кто же знает как оно на самом деле было, господа присяжные заседатели...

Презумпция невиновности - хорошая штука.

Методология не даёт точный ответ о том как отбирались семплы, как и когда они потом тестировались.

Надо делать скидку на то, что это пробный тест, но действительно - производить тест сам не представляется возможным, и таким образом он не соответствует требованиям в документе 'Фундаментальные принципы тестирования по AMTSO'.

Paul

[Deja_Vu 366]

Надо делать скидку на то, что это пробный тест, но действительно - производить тест сам не представляется возможным, и таким образом он не соответствует требованиям в документе 'Фундаментальные принципы тестирования по AMTO'.

Еще б они что нить кромЯ этих принципов придумали XD

А так они вроде АМТСО называются.

[p2u 824]

Еще б они что нить кромЯ этих принципов придумали XD

ОК. Он - невоспроизводим. Поэтому он не совсем соответствует определённым стандартам (международным и другим).

А так они вроде АМТСО называются.

Поправил.

Paul

[DISEPEAR 0]

ОК. Он - невоспроизводим. Поэтому он не совсем соответствует определённым стандартом (международным и другим).

Поправил.

Paul

ИМХО, все эти тесты не более чем подтасовка фактов, кто заранее тест заказал и проплатил тот и рулит. Как говорится кто девушку ужинает тот её и танцует.

[sceptic 100]

ИМХО, все эти тесты не более чем подтасовка фактов, кто заранее тест заказал и проплатил тот и рулит. Как говорится кто девушку ужинает тот её и танцует.

Эту тему Umnik конечно не закроет, как предыдущую, но минусов ты нахватаешь

И так вплоть до БАНьки

[Иван 290]

ИМХО, все эти тесты не более чем подтасовка фактов, кто заранее тест заказал и проплатил тот и рулит. Как говорится кто девушку ужинает тот её и танцует.

DISEPEAR, спасибо что вы того же мнения, что и я - тесты VB100% куплены есетом

Илья, вы попалам платили с ЛК или вам скидка как ИЧП?

по делу, очень мало самплов для такого типа теста. если это не тест типа теста на активное заражение, где подбираются самплы на основе экспертной оценки, то тут нужно много брать самплов иначе непонятки. тут либо статистика либо эксепртный отбор, третьего не дано, а тут как раз попытка изобразить третье

кроме того имхо в методологии надо очень плотно разбираться, понятно что ее стремились сделать максимально простой...но:

Если заражение не было предотвращено, в том числе и частично, то антивирусу ставилось 0 баллов.

а если пароли были собраны, а передать их наружу не вышло - тоже 0? спорно

[dr_dizel 385]

Ну, если уж вообще не верите...

Расслабьтесь. Тяжело в учении - легко в бою.

Пилите методологию, Шура. Вы же для прокачки всё устроили, ведь так?

[Сергей Ильин 1538]

ИМХО, все эти тесты не более чем подтасовка фактов, кто заранее тест заказал и проплатил тот и рулит.

Я на 100% знал, что обсуждение сведется к тому, что Илья Рабинович проплатил этот тест. Даже разговор такой был.

dr_dizel, пересчитывать ничего не стоит ИМХО, точные цифры тут роли в силу не играют, важен их порядок.

[Deja_Vu 366]

же для прокачки всё устроили, ведь так?

Ага ... Level Up есть -))

[p2u 824]

ИМХО, все эти тесты не более чем подтасовка фактов, кто заранее тест заказал и проплатил тот и рулит. Как говорится кто девушку ужинает тот её и танцует.

Вынужден с вами НЕ согласиться в этот раз; я более, чем уверен, что если я дома провожу такие же тесты, что результат будет точно или приблизительно таким же. Результат соответствует моему опыту в реальной жизни. Поэтому я признаю результат безоговорочно. Это первый раз, что я вижу тест, который так точно отражает действительность. Я, кстати, сам уже давно настаивал на такой тип теста. Можно только придраться к оформлению документации, но это пустяки. Тестерам ещё раз спасибо!

Paul

[ak_ 395]

Я конечно дико извиняюсь, но можно было бы выложить результаты теста и в формате PDF, для тех у кого Офис не установлен?

А результат теста закономерен: из продуктов класса "всё в одном" KIS8 значительно выделяется за счёт наличия HIPS. С этим ЛК можно только поздравить. Но, по моему мнению, некорректно называть продукты этого класса антивирусами.

Можно ведь использовать совместно просто антивирус + отдельный HIPS и результат будет впечатляющим.

[Umnik 997]

ak_

Найди в списке свой антивирус и свой ХИПС и сделай вывод

[ak_ 395]

Да я для себя выводы уже давно сделал, просто сама формулировка

Среди антивирусов лучшими оказались Антивирус Касперского, Avira и AVG

может ввести в заблуждение пользователей KAV, которые невнимательно прочли наименования продуктов, представленных в тесте.

[bse 115]

Илья Рабинович, мои поздравления.

Порталу спасибо, занятное исследование. Когда все настройки в оси и в программе защиты стоят по-умолчанию, рано или поздно жди заражения.

К сожалению, в ходе проведения теста и обработке полученных результатов, некоторые вендоры выпустили обновления своих продуктов

Интересная фраза. Я бы написал по иному.

[Виталий З. 0]

Методология тестирования

А какая часть методологии может помочь объяснить каким образом вот этот сэмпл попал в тест? Какое определение вредоносной программы, malware или adware Вы использовали при тестировании этого образца?

8facfed89394300553e03d4ded06464e

Win32.Adware.CasOnline (VBA32)

Определённо наличие UI, DS и EULA не играет здесь большой роли, т.к. в сэмпле есть и то и другое. Но всё же?

[Сергей Ильин 1538]

Я конечно дико извиняюсь, но можно было бы выложить результаты теста и в формате PDF, для тех у кого Офис не установлен?

Выложим, спасибо за замечание.

Да я для себя выводы уже давно сделал, просто сама формулировка

"Среди антивирусов лучшими оказались Антивирус Касперского, Avira и AVG"

может ввести в заблуждение пользователей KAV

Согласен, это стоит поправить.

Какое определение вредоносной программы, malware или adware Вы использовали при тестировании этого образца?

Виталий, с моей точки зрения это программа относится к adware.

[DWState 30]

Спасибо за тест. Не сомневался в ЛК и ожидал что Авира будет рядом, Нод там где я и предполагал его увидеть. Не вижу смысла в проверке или недоверия к тесту, так как опытные наблюдения лишний раз подтвердилсиь тестом.

Есть одна просьба отпишу ее тут как в наиболее актуально и читаемой теме..На портале очень много порой интереснх и тестов и статей, НО нет функции "Версия для печати". Да результаты тестирования отдельным файлом хорошо, но инфу по всему тесту приходится копипастить в удобное для печати место.

[Viktor 669]

С моей точки зрения были бы интересны чуть более подробные данные о том, как вело себя каждое из решений при открытии ссылок на зараженные сайты. Зачет/незачет - это недостаточно инфомативно.

Скажем, 1 балл получали продукты если "Вредоносная программа обнаружена в явной форме и обезврежена или обнаружено подозрительное действие, и заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (например, обнаружено опасное действие, предотвращена попытка заражения, обнаружена попытка запуска зловреда, заброкирована сетевая активность, обнаружена попытка изменения файлов - вывод диалогового окна и предупреждения о том, что вероятнее всего запускаемое приложение является вредоносной программой)." Было бы интересно посмотреть на вердикты. Ведь обнаружение зловреда в явном виде - это одно, опасное действие - другое, подозрительное - третье. Среднестатистический пользователь при разных вердиктах будет принимать разные решения, поэтому, учитывая человеческий фактор, эффективность защиты может повышаться или понижаться в зависимости от вердиктов, а этот момент в результатах не отражен

P.S. Cпасибо авторам за проделанную работу и интересные результаты.

[Deja_Vu 366]

С моей точки зрения были бы интересны чуть более подробные данные о том, как вело себя каждое из решений при открытии ссылок на зараженные сайты. Зачет/незачет - это недостаточно инфомативно.

возможно Сергей выложит более ранние версии отчета, там было гораздо больше информации.

[bse 115]

возможно Сергей выложит

Присоединяюсь к просьбе. Высказывания по этому поводу уже прозвучали ранее. Интересно разделение результатов, как и какие модули себя проявили, если не для всех, то хотя бы для тех программ, где это разделение возможно.

[Виталий З. 0]

Виталий, с моей точки зрения это программа относится к adware.

Google toolbar также для кого-то подпадает под определение adware, поэтому принято вводить критерии или определение перед тестом что же считается adware. Мне просто интересно из-за каких особенностей этот образец стал считаться adware? Есть как минимум 3 больших вендора, которые официально считают этот продукт чистым, убрав FP сигнатуры на него. Автор продукта по запросу даже делится спецификациями и описанием куда и зачем "зловред" обращается, какие порты использует и что получает от сервера (failure ID, file, etc).

Может это новая версия, где всё по-другому или может они изменили EULA?

[DISEPEAR 0]

Так это тест трёх месячной давности что ли? А я то думал... А ещё НОД хаете, у НОДА после этого модули пообновлялись не менее пять раз, да и если настройки по умолчанию.... то это не тест для НОДА. Там всё настраивать необходимо, и указывать браузеры собственноручно, и потенциально нежелательное ПО отключенно, и расширенная эвристика отключенна, и фаерволл в автомате, и РОР3 не настроен, также почтовые клиенты не указанны.

Тогда бы уже сразу выключили НОД и им же и тестировали. Я то думал там тест... как тест.

[Сергей Ильин 1538]

возможно Сергей выложит более ранние версии отчета, там было гораздо больше информации.

Постараюсь в выходные консолидировать статистику из раннего отчета Deja_Vu, там действительно было больше информации, которой пришлось пожертвовать ради читаемости и большей понятности результатов.

Есть как минимум 3 больших вендора, которые официально считают этот продукт чистым, убрав FP сигнатуры на него. Автор продукта по запросу даже делится спецификациями и описанием куда и зачем "зловред" обращается, какие порты использует и что получает от сервера (failure ID, file, etc).

Можно привести какие-то факты на этот счет? Просто если это так, то с этим самплов произошел косяк с нашей стороны и включать это в тест было неправильным. В будущих подобных тестах стоит ограничиться выбором самплов строго из категории malware.

Так это тест трёх месячной давности что ли? А я то думал... А ещё НОД хаете, у НОДА после этого модули пообновлялись не менее пять раз, да и если настройки по умолчанию.... то это не тест для НОДА.

Красавчег! Другие продукты тоже уже раз по 10 обновились, а некоторые даже выпустили новые версии продуктов с индексом 2009 Тест показывает результаты за определенный временной период - было вот так и точка.

На счет настроек по умолчанию так это вообще бред. Их меняет очень не многие, тем более среди пользователей Нода. Они и любят этот продукт потому, что поставил и забыл, не надо заморачиваться с настройками и всякой другой фигней.

Пойми, даже если бы в Ноде поставили все настройки по максимуму, он все равно не поднялся бы выше 50% - это потолок в данном случае. Ну нет у него никакой проактивки больше кроме эвристики. Тест как раз показывает, что этого сейчас уже недостаточно. Eset технологически остался на уровне 2005 года. Да, тогда работающий эвристик - это было круто, но времена меняются вместе с масштабом угроз.

[Александр Шабанов 120]

Было бы интересно посмотреть на вердикты. Ведь обнаружение зловреда в явном виде - это одно, опасное действие - другое, подозрительное - третье.

Виктор, согласен, что такие вердикты интересны, но только в качестве дополнительной информации, так как если присваивать им определенный вес в виде баллов, то возникает проблема функции свертки (результирующей суммы). Объективный оснований для количественного представления таких вердиктов сложно найти, и если все же их сделать, то это внесет большую долю субъективизма в итоговый результат. В следствии этого было решено принять бинарную систему оценки.

В расширенном отчете кстати отражены различные промежуточные вердикты тестируемых продуктов, но на конечный результат они не влияют.

За цель тестирования было взято - предотвращение заражения, в случае если продукту ставилось 0 баллов, то значит заражение произошло, несмотря на вердикты средств защиты.

[Deja_Vu 366]

Присоединяюсь к просьбе. Высказывания по этому поводу уже прозвучали ранее. Интересно разделение результатов, как и какие модули себя проявили, если не для всех, то хотя бы для тех программ, где это разделение возможно.

В принципе посмотреть какие модули сработали очень тяжело, доступно разве что у касперского, ну еще можнет быть у F-security.

Думаю, если попросить представителей вендоров описать, как посмотреть, какой модуль сработал, тогда можно будет в будущем и это фиксировать.

(хотя сомневаюсь, что у многих продуктов, вообще можно определить, какой модуль сработал)