Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Vofres 20]

А вот и результаты. Да, непосредственно результаты теста! Пять минут назад как закончили

Спасибо за тест. Очень меня заинтриговали его результаты. Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет? Где-то можно можно хотя бы русскую инструкцию по использованию почитать? А то с английским бООльшие проблемы.

[DigitalFox 0]

Очень интересный тест! У меня вопрос. С каким антивирусным движком был Safe'n'Sec?

[Vofres 20]

Порадовался за Avast - среди чистых антивирусов судя по результатам теста он лучший. Думаю, что в связке с фаерволом или тем же DefenseWall HIPS защитиа будет на достойном победителей теста уровне

[mikh 15]

Порадовался за Avast - среди чистых антивирусов судя по результатам теста он лучший. Думаю, что в связке с фаерволом или тем же DefenseWall HIPS защитиа будет на достойном победителей теста уровне

5 версия будет, насколько известно, выпускаться в трех вариантах: просто антивирус (бесплатно для домашнего некоммерческого использования), антивирус, дополненный песочницей и антиспамом, и полноценный комплекс с фаерволом.

[Рашевский Роман 110]

Спасибо за тест. Очень меня заинтриговали его результаты. Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет? Где-то можно можно хотя бы русскую инструкцию по использованию почитать? А то с английским бООльшие проблемы.

Конечно же есть.

На официальном сайте компании SoftSphere Technologies зайдите на страницу Products localization.

[Skeptic 235]

С каким антивирусным движком был Safe'n'Sec? smile.gif

Ни с каким. Как и DW, это чистый хипс.

[dr_dizel 385]

Обмылок MSE лучше Dr.Web?

Поправьте:

Антивирус VBA32 Workstation был дисквалифицирован, так как в процессе его тестирования был возникли технические проблемы, продукт некорректно работал в итоге часть результатов была потеряна.

Кстати, что возникло-то?

И что за ужасы в таблице: "=xlfn.COUNTIFS(B4:AK4;"protected*")", если прекрасно работает "=COUNTIF(B4:AK4;"protected*")"?

P.S.

protected (BSOD)

[Александр Шабанов 120]

А более подробного анализа не будет? Кто что именно пропустил, как на что отреагировал и т.д. Простые цифры скучны..

Есть ссылка в тексте на подробные результаты в формате таблицы - вот. Будьте внимательны.

[dr_dizel 385]

А почему некоторые сэмплы брались несколько раз и результаты по ним разные со странными временными аномалиями?

Отредактировал Ноябрь 3, 2009 dr_dizel

[Deja_Vu 366]

А почему многие сэмплы брались несколько раз и результаты по ним разные со странными временными аномалиями?

Признаюсь - мой косяк.

Ошибочно не тот md5 прописал. сейчас вышлю Сергею правильные

upd.

перепроверю пожалуй все семплы.

[sww 486]

Хочу сказать несколько слов относительно данного теста. Надеюсь, что тестировщики учтут мои замечания:

1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

2) 0day на то и 0day, что во-первых, новый. А во-вторых, 0day обычно живет не долго (иначе он уже не 0day). Как это коррелирует с первым пунктом?

3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).

4) Выборка сэмплов мало того, что непонятная мне (методология? см. п6), так еще и очень маленькая. Возможно необходимо более детально разбирать что же там на сайте все-таки лежит. Одиночный ли сплоит, пак или вообще непонятно что

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Нечестно как-то получается, не находите? Как решалась эта ситуация? Ведь реальные пользователи различных антивирусов в реальной жизни находятся в равных условиях с обновлениями и т.д.

6) Мне кажется, что методология должна быть полнее, чтобы не возникало вот таких вот вопросов.

P.S. И еще мне интересно, откуда в методологии появилась цифра в 20%? От балды?

[Deja_Vu 366]

1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

Нужно больше людей и больше 0day семплов. Если с 1вым проблем нет, то второе приходилось долго ждать

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Сначала обновлялись продукты, где то в пределах 1 часа а затем уже серфились ссылки.

Обновлялись сначала в алфавитном порядке, на следующем семпле в обратном.

Естественно идеально было бы иметь 20 машин, на которых одновременно запускалось бы обновление.

Так же детект сравнивался с результатами virustotal и не было семплов, где он сигнатурно брался, а по тесту феил.

[sww 486]

Сначала обновлялись продукты, где то в пределах 1 часа а затем уже серфились ссылки.

Обновлялись сначала в алфавитном порядке, на следующем семпле в обратном.

Естественно идеально было бы иметь 20 машин, на которых одновременно запускалось бы обновление.

Так же детект сравнивался с результатами virustotal и не было семплов, где он сигнатурно брался, а по тесту феил.

ОК, здорово, но почему это не отражено в методологии? Она для этого и существует, чтобы не возникало вопросов.

Остальные мои вопросы?

[xyz 45]

Естественно идеально было бы иметь 20 машин,

Это не идеально, а единственно возможно для подобного "теста", продукты обязаны быть в равных условиях.

P.S. Говорить о принципиальной невозможности соблюсти важнейшее условие любого теста - воспроизводимость, наверное, не стоит?

Может тогда не стоит и тестом это называть?

[Илья Рабинович 521]

Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет?

Русский фейс есть, берётся всё отсюда:http://www.softsphere.com/rus/

[Vadim Fedorov 255]

К сожалению, из-за отведенных временных рамок, в тестировании не участвовал Norton Internet Security 2010,

что автоматически снижает ценность тестирования для значительной части пользователей, так как по сути дела,

исключает продукты Norton из тестирования.

Очень надеюсь на то, что высказанные выше замечания будут учтены, и в дальнейшем, время проведения столь важного теста

будет определяться таким образом, что бы все представленные компании находились в равных условиях.

--------------------------------------------------------------------------------------------------------------------------------------

Также хотел бы уточнить следующий нюанс - в "таблице 2" присутствует пояснение:

" [protected] - Вредоносная программа обнаружена в явной форме и обезврежена или обнаружено подозрительное действие, и заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (например, обнаружено опасное действие, предотвращена попытка заражения, обнаружена попытка запуска зловреда, заброкирована сетевая активность, обнаружена попытка изменения файлов - вывод диалогового окна и предупреждения о том, что вероятнее всего запускаемое приложение является вредоносной программой. "

Можно было бы получить информацию о количестве диалоговых окон для каждого из продуктов, принимавших участие в тестировании ?

Иными словами, меня интересует следующее - в каком количестве случаев из 36 возникали диалоговые окна у продуктов, принимавших участие в тестировании.

[sww 486]

Да, кстати, тут уже многие заметили, что тест не дождался новых версий продуктов. Так вот, предлагаю ориентироваться на лидеров рынка, а остальных просто не ждать. Ибо если всех ждать, то теста никогда не будет. Предлагаю это учитывать при каждом тестировании.

Правда сначала необходимо собрать информацию когда у кого что выходит

[Vofres 20]

Еще претензия не по существу, а по содержанию - ребят, исправляйте орфографические, синтаксические и стилистические ошибки. В сообщениях на форуме они еще допустимы, а в практически официальном документе - результатах теста, как мне кажется, уже нет.

(всего на этом сервисе подключено 41 различный антивирусный движок)

Как будто писали на английском, а потом промптом перевели

[vaber 350]

1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

угу

2) 0day на то и 0day, что во-первых, новый. А во-вторых, 0day обычно живет не долго (иначе он уже не 0day). Как это коррелирует с первым пунктом?

Никак. Линки на зараженные сайты и эксплоиты поступали в тест динамикой - есть линка, она анализируется, проверяется бинарник и если на него нет более чем 3-4 детекта отправляется тестеру. тестер пытается взять в тест линк как можно быстрее, причем непосредственно перед взятием сверяет md5 и детект по вирустоталу. Если детект увеличился со стороны тестируемых - линка из теста выкидывалась.

3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются smile.gif И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).

В тестирование и шли в основном сплоит-паки. Причем шли в соответствии с распространенностью на момент тестирования: это были Fragus, Eleonore, YES и др. Все они активно развиваются и поддерживаются на текущий момент. Так же обращалось внимание на активно распространяемые rogue, например FakeSmoke.

Касаемо 0-day - были такие на китайских хостах, но мне не удалось отловить выдачу бинарного файла с низким детектом. Особенно учитывая чем пакуют

4) Выборка сэмплов мало того, что непонятная мне (методология? см. п6), так еще и очень маленькая. Возможно необходимо более детально разбирать что же там на сайте все-таки лежит. Одиночный ли сплоит, пак или вообще непонятно что smile.gif

Перед принятием в тест был детальный разбор - самого скрипта, загружаемого бинарника, проверка его на детект и работоспособность. Кол-во линок идущих на тест можно сильно увеличить, если не обращать внимание на детект, а пускать все подряд. Не думаю, что так было бы лучше.

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Все продукты тестировались почти одновременно - последовательно в течение 1-2 часов с каждой линкой.

6) Мне кажется, что методология должна быть полнее, чтобы не возникало вот таких вот вопросов.

Угу

Говорить о принципиальной невозможности соблюсти важнейшее условие любого теста - воспроизводимость, наверное, не стоит?smile.gif

Данный тест не может быть по своей сути воспроизводим. На то он и динамический. Но вендоры сами могут убедиться в результатах сверя дату поступления семпла по md5 и выхода обновления с детектом. Проактвиные технологии так же возможно проверить имея бинарник.

[senyak 330]

Плохо ,что VBA дисквалифицирован был. Может стоило взять персональную версию?

[Danilka 678]

Да, кстати, тут уже многие заметили, что тест не дождался новых версий продуктов. Так вот, предлагаю ориентироваться на лидеров рынка, а остальных просто не ждать. Ибо если всех ждать, то теста никогда не будет. Предлагаю это учитывать при каждом тестировании.

Согласен. Только осталось выяснить - какого рынка...?

[senyak 330]

Насколько я помню, почти все вышли летом/осенью (в начале). Касперский 2010, BitDefender 2010, Norton 2010, AVG 9, Trend Micro 2010, F-Secure 2010, Panda 2010 -

[sww 486]

Согласен. Только осталось выяснить - какого рынка...?

Явно не Российского

[Danilka 678]

Явно не Российского

Такой вариант устраивает.

[Arnee 10]

Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет?

Русский фейс есть, берётся всё отсюда:http://www.softsphere.com/rus/

Илья,если я правильно понял - поддержки Висты и Семерки еще нет?