Перейти к содержанию
Сергей Ильин

Тест антивирусов по эффективности защиты от новейших вредоносных программ I

Recommended Posts

Vofres
А вот и результаты. Да, непосредственно результаты теста! Пять минут назад как закончили

Спасибо за тест. Очень меня заинтриговали его результаты. Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет? Где-то можно можно хотя бы русскую инструкцию по использованию почитать? А то с английским бООльшие проблемы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DigitalFox

Очень интересный тест! У меня вопрос. С каким антивирусным движком был Safe'n'Sec? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vofres

Порадовался за Avast - среди чистых антивирусов судя по результатам теста он лучший. Думаю, что в связке с фаерволом или тем же DefenseWall HIPS защитиа будет на достойном победителей теста уровне

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mikh
Порадовался за Avast - среди чистых антивирусов судя по результатам теста он лучший. Думаю, что в связке с фаерволом или тем же DefenseWall HIPS защитиа будет на достойном победителей теста уровне

5 версия будет, насколько известно, выпускаться в трех вариантах: просто антивирус (бесплатно для домашнего некоммерческого использования), антивирус, дополненный песочницей и антиспамом, и полноценный комплекс с фаерволом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Спасибо за тест. Очень меня заинтриговали его результаты. Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет? Где-то можно можно хотя бы русскую инструкцию по использованию почитать? А то с английским бООльшие проблемы.

Конечно же есть. :)

На официальном сайте компании SoftSphere Technologies зайдите на страницу Products localization.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
С каким антивирусным движком был Safe'n'Sec? smile.gif

Ни с каким. Как и DW, это чистый хипс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Обмылок MSE лучше Dr.Web? :blink:

Поправьте:

Антивирус VBA32 Workstation был дисквалифицирован, так как в процессе его тестирования был возникли технические проблемы, продукт некорректно работал в итоге часть результатов была потеряна.

Кстати, что возникло-то?

И что за ужасы в таблице: "=xlfn.COUNTIFS(B4:AK4;"protected*")", если прекрасно работает "=COUNTIF(B4:AK4;"protected*")"?

P.S.

protected (BSOD)
:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
А более подробного анализа не будет? Кто что именно пропустил, как на что отреагировал и т.д. Простые цифры скучны..

Есть ссылка в тексте на подробные результаты в формате таблицы - вот. Будьте внимательны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

А почему некоторые сэмплы брались несколько раз и результаты по ним разные со странными временными аномалиями?

test.gif

post-4003-1257236955_thumb.png

Отредактировал dr_dizel

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
А почему многие сэмплы брались несколько раз и результаты по ним разные со странными временными аномалиями?

test.gif

Признаюсь - мой косяк.

Ошибочно не тот md5 прописал. сейчас вышлю Сергею правильные

upd.

перепроверю пожалуй все семплы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

Хочу сказать несколько слов относительно данного теста. Надеюсь, что тестировщики учтут мои замечания:

1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

2) 0day на то и 0day, что во-первых, новый. А во-вторых, 0day обычно живет не долго (иначе он уже не 0day). Как это коррелирует с первым пунктом?

3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются :) И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).

4) Выборка сэмплов мало того, что непонятная мне (методология? см. п6), так еще и очень маленькая. Возможно необходимо более детально разбирать что же там на сайте все-таки лежит. Одиночный ли сплоит, пак или вообще непонятно что :)

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Нечестно как-то получается, не находите? Как решалась эта ситуация? Ведь реальные пользователи различных антивирусов в реальной жизни находятся в равных условиях с обновлениями и т.д.

6) Мне кажется, что методология должна быть полнее, чтобы не возникало вот таких вот вопросов.

P.S. И еще мне интересно, откуда в методологии появилась цифра в 20%? От балды? :)

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

Нужно больше людей и больше 0day семплов. Если с 1вым проблем нет, то второе приходилось долго ждать :)

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Сначала обновлялись продукты, где то в пределах 1 часа а затем уже серфились ссылки.

Обновлялись сначала в алфавитном порядке, на следующем семпле в обратном.

Естественно идеально было бы иметь 20 машин, на которых одновременно запускалось бы обновление.

Так же детект сравнивался с результатами virustotal и не было семплов, где он сигнатурно брался, а по тесту феил.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Сначала обновлялись продукты, где то в пределах 1 часа а затем уже серфились ссылки.

Обновлялись сначала в алфавитном порядке, на следующем семпле в обратном.

Естественно идеально было бы иметь 20 машин, на которых одновременно запускалось бы обновление.

Так же детект сравнивался с результатами virustotal и не было семплов, где он сигнатурно брался, а по тесту феил.

ОК, здорово, но почему это не отражено в методологии? Она для этого и существует, чтобы не возникало вопросов.

Остальные мои вопросы? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
Естественно идеально было бы иметь 20 машин,

Это не идеально, а единственно возможно для подобного "теста", продукты обязаны быть в равных условиях.

P.S. Говорить о принципиальной невозможности соблюсти важнейшее условие любого теста - воспроизводимость, наверное, не стоит?:)

Может тогда не стоит и тестом это называть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет?

Русский фейс есть, берётся всё отсюда:http://www.softsphere.com/rus/

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov

К сожалению, из-за отведенных временных рамок, в тестировании не участвовал Norton Internet Security 2010,

что автоматически снижает ценность тестирования для значительной части пользователей, так как по сути дела,

исключает продукты Norton из тестирования.

Очень надеюсь на то, что высказанные выше замечания будут учтены, и в дальнейшем, время проведения столь важного теста

будет определяться таким образом, что бы все представленные компании находились в равных условиях.

--------------------------------------------------------------------------------------------------------------------------------------

Также хотел бы уточнить следующий нюанс - в "таблице 2" присутствует пояснение:

" [protected] - Вредоносная программа обнаружена в явной форме и обезврежена или обнаружено подозрительное действие, и заражение полностью приостановлено при условии правильного выбора пользователя в диалоговом окне (например, обнаружено опасное действие, предотвращена попытка заражения, обнаружена попытка запуска зловреда, заброкирована сетевая активность, обнаружена попытка изменения файлов - вывод диалогового окна и предупреждения о том, что вероятнее всего запускаемое приложение является вредоносной программой. "

Можно было бы получить информацию о количестве диалоговых окон для каждого из продуктов, принимавших участие в тестировании ?

Иными словами, меня интересует следующее - в каком количестве случаев из 36 возникали диалоговые окна у продуктов, принимавших участие в тестировании.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

Да, кстати, тут уже многие заметили, что тест не дождался новых версий продуктов. Так вот, предлагаю ориентироваться на лидеров рынка, а остальных просто не ждать. Ибо если всех ждать, то теста никогда не будет. Предлагаю это учитывать при каждом тестировании.

Правда сначала необходимо собрать информацию когда у кого что выходит :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vofres

Еще претензия не по существу, а по содержанию - ребят, исправляйте орфографические, синтаксические и стилистические ошибки. В сообщениях на форуме они еще допустимы, а в практически официальном документе - результатах теста, как мне кажется, уже нет.

(всего на этом сервисе подключено 41 различный антивирусный движок)

Как будто писали на английском, а потом промптом перевели :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
1) "Тест проводился в период с 7 июля по 22 октября 2009 года". Ну это не серьезно совершенно, нужно больше людей.

угу

2) 0day на то и 0day, что во-первых, новый. А во-вторых, 0day обычно живет не долго (иначе он уже не 0day). Как это коррелирует с первым пунктом?

Никак. Линки на зараженные сайты и эксплоиты поступали в тест динамикой - есть линка, она анализируется, проверяется бинарник и если на него нет более чем 3-4 детекта отправляется тестеру. тестер пытается взять в тест линк как можно быстрее, причем непосредственно перед взятием сверяет md5 и детект по вирустоталу. Если детект увеличился со стороны тестируемых - линка из теста выкидывалась.

3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются smile.gif И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).

В тестирование и шли в основном сплоит-паки. Причем шли в соответствии с распространенностью на момент тестирования: это были Fragus, Eleonore, YES и др. Все они активно развиваются и поддерживаются на текущий момент. Так же обращалось внимание на активно распространяемые rogue, например FakeSmoke.

Касаемо 0-day - были такие на китайских хостах, но мне не удалось отловить выдачу бинарного файла с низким детектом. Особенно учитывая чем пакуют :)

4) Выборка сэмплов мало того, что непонятная мне (методология? см. п6), так еще и очень маленькая. Возможно необходимо более детально разбирать что же там на сайте все-таки лежит. Одиночный ли сплоит, пак или вообще непонятно что smile.gif

Перед принятием в тест был детальный разбор - самого скрипта, загружаемого бинарника, проверка его на детект и работоспособность. Кол-во линок идущих на тест можно сильно увеличить, если не обращать внимание на детект, а пускать все подряд. Не думаю, что так было бы лучше.

5) И еще смотрите какая простая штука. Моделировалась ситуация, когда обыкновенный пользователь серфит в сети. Получает обновления для антивируса. А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Все продукты тестировались почти одновременно - последовательно в течение 1-2 часов с каждой линкой.

6) Мне кажется, что методология должна быть полнее, чтобы не возникало вот таких вот вопросов.

Угу :)

Говорить о принципиальной невозможности соблюсти важнейшее условие любого теста - воспроизводимость, наверное, не стоит?smile.gif

Данный тест не может быть по своей сути воспроизводим. На то он и динамический. Но вендоры сами могут убедиться в результатах сверя дату поступления семпла по md5 и выхода обновления с детектом. Проактвиные технологии так же возможно проверить имея бинарник.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
senyak

Плохо ,что VBA дисквалифицирован был. Может стоило взять персональную версию?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Да, кстати, тут уже многие заметили, что тест не дождался новых версий продуктов. Так вот, предлагаю ориентироваться на лидеров рынка, а остальных просто не ждать. Ибо если всех ждать, то теста никогда не будет. Предлагаю это учитывать при каждом тестировании.

Согласен. Только осталось выяснить - какого рынка...?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
senyak

Насколько я помню, почти все вышли летом/осенью (в начале). Касперский 2010, BitDefender 2010, Norton 2010, AVG 9, Trend Micro 2010, F-Secure 2010, Panda 2010 -

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Согласен. Только осталось выяснить - какого рынка...?

Явно не Российского :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Явно не Российского :lol:

Такой вариант устраивает. :D

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
Вопрос не в тему - скачал победителя - DefenseWall HIPS попробовать. Я так понял, что русского фейса у него нет?

Русский фейс есть, берётся всё отсюда:http://www.softsphere.com/rus/

Илья,если я правильно понял - поддержки Висты и Семерки еще нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×