Перейти к содержанию
Сергей Ильин

Тест антивирусов на качество защиты (ComputerShopper)

Recommended Posts

Сергей Ильин

Нашел очень интересный тест антивирусов, который был совсем недавно опубликован в журнале ComputerShopper. Результаты теста наглядно демонстрируют как обстоят дела у вендоров со скоростью реакции (работа проактивных технологий учитывается)

Суть теста такова:

1. Автор брал свежие семплы (ссылки на них) от компании MassageLabs, огромный трафик которой позволяет обнаруживать вредоносные программы в виде атачмента почте, а также ссылки на них.

2. Полученные семплы (всего 251 образца полученные по email и 184 полученные через web ) проходили проверку.

3. Отдавались каждому тестируемому антивирусу, установленному на вируальную машину под Windows XP. При этом email-вирусы отправлялись на тестовую машину по одному на каждое письмо, а web-вирусы предлагалось открыть, кликнув по ссылке.

В итоге автор моделировал реальные условия распространения угроз, как если бы с ней столкнулся клиент, получив зараженное письмо или ссылку на вредоносную программу.

Естественно эвристики работали тоже, базы были свежие. По сути дела проверялась степень защищенности клиента перед совсем новыми угрозами (как сейчас стали говорить Zero Hour).

Результаты получились поразительные: лучшие продукты едва перешли черту в 70% (суммарно email + web). См. рисунок ниже.

Что думаете по поводу этого теста?

computershopper1.gif

computershopper.gif

post-4-1180382499.gif

post-1-1180382499.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Мне думается это правильный подход к тестированию ребята из MessageLabs предложили.

Вот возьмем тесты AV-Comparatives.org (Клименти) или AV-Test.org (Маркс). Они хороши огромным размером коллекции, что сводит к минимуму вероятность случайного перкоса в сторону одного из антивирусных вендоров. Еще они хороши тем, что в них каждая из категорий зловредов (троянцы, вирусы и прочие) представлены внушительно, что позволяет понять насколько хороши антивирусы в борьбе с каждой из категорий этих зловредов.

Чем плохи эти тесты:

- источники и методы составления коллекций непонятны и неизвестны

- коллекции "устоявшиеся", т.е. по большей части состоят из давно известных старых зловредов, именно поэтому лидеры тестов так близки к друг другу. Старые то вирусы хорошие антивирусы ловят прилично, но никак не учитывается скорость реакции на новые.

- метод проведения теста (простое сканирование диска с коллекцией зловредов) не имеет ничего общего с обычным поведением пользователя

А вот ребята из MessageLabs вместе с журналом Computer Shopper предложили совсем другой тест, методика которого устраняет ряд недостатков, описанных выше. ТОлько вот Сергей Ильин очень как-то невнимательно прочел и епервел описание теста. В результате приплел к делу проактивку (поведенческий блокиратор), которая тут вообще непричем - вирье-то не запускалось, а просто скачивалось и приходило по почте.

И так что же реально присходило:

Компания MessageLabs предоставляет сервисы по фильтрации трафика, трафик клиентов просто перенаправляется на сервера MessageLabs там проверяется на вирусы и прочее, а затем отдается клиенту. Проверяется трафик несколькими антивирусными движками + собственный потоковый эвристик MessageLabs по прозвищу Скептик, который способен массовые рассылки зловредов отслеживать.

В итоге:

1.MessageLabs огромное кол-во клиентов по всему миру, поток проходящий через них тоже неслабый, те зловреды, которые они находят - это реально наиболее распространеные в данный отчетный период - т.е. вопрос откуда дровишки (коллекция зловредов) отчасти снимается. Зловредов хоть и немного, но зато они реально гуляющие по миру.

2.Зловреды взяты относительно новые, как написано пойманные за две недели до проведения теста. Т.е вопрос старости коллекции зловредов тоже отчасти снят.

3. Сам метод проведения теста. Как я уже сказал, тут Ильин немного напутал, но методика все равно ближе к реальному поведению пользователя, чем простое сканирование диска, предлагаемое нам Клименти и Марксом. Итак как прводился тест:

a. Все антиврусы оставались с настройками по умолчанию.

б. Зловреды приаттачивались к письмам по одному к каждому письму, после чего письма скачивались на комп посредством аутлука експреса. Отслеживалось на какие письма среагировал антивирус, а на какие нет. Так проходли Email тест. НИкакого запуска зловредов, о котором писал Ильин не было, по крайней мере в методологии теста об этом ни гу гу.

в.Теперь Web тест. Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп - имитировалось скачивание пользователем (но опять же никакого запуска зловредов на компе не было). Ну и смотрелось сколько удалось отловить антивирусам либо на лету (вебантивирусом у кого он есть), либо при сохранении на диске (файловым антивирусом - монитором попросту)

А дальше был совершен на мой взгляд совсем лишний шаг: скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

C одной стороны это дополнительное сканирование конечно имитирует поведение наиболее осторожных пользователей, которые скаченные файлы перед запуском дополнительно на вирусы проверяют...но так ведь поступают далеко не все. Так что мне кажется, что без этой дополнительной проверки было бы честнее.

Вот такой вот тест. Осталось заметить, что антивирусы в которых нет поведенческих блокираторов (модуль проактивной защиты в терминах касперского) в рамках этого теста все свои возможности исчерпали: если пользователь следующим шагом запустит зловреда - антивирь его уже не спасет, если бы мог спасти - отреагировал бы на этапе скачивания. У тех у кого есть поведенческие блокираторы (Касперский и Панда в частности) еще есть шанс реабилитироваться и заблокировать заразу при запуске, когда и вступает в действие поведенческий блокиратор. Кстати запуск пропущенных зловредов - это логичное продолжение для рассмотренного теста.

А итог теста как уже на писал Ильин показывает, что на самом деле никакими 97-99% детектами даже у лучших антивирусов в реальной жизни и не пахнет, если уж даже в такой модели реальности как этот тест они максимум что выбивают - это 80-90%, а веб тесте и того хуже.

Ну и напоследок скажу, что Steganos - это по сути ребрендинг Касперского, войдете в его интерфейс увидите родной зонтик. ПОчему поймал он чуть меньше? Настройки по умолчанию небось другие, да и версию ребрендили небось не самую последнюю.

Неплохо выглядит НОД32, порадовал Grisift AVG - по крайней мере на относительно новых зловредах они неплохо выглядят. Ну а большая тройка мировых производителей: Symantec, McAfee, Trend Micro в глубокой попе: а все от того, что ни эвристика у них, ни скорости реакции. Остается тока и радоваться тому, что Symantec хорошо активное заражение лечит:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Первый нормальный тест, приближенный к боевой реальности, а то тесты на древних палёных зловредах с эффективностью антивирей порядка 99% уже задолбали. Какие 99%? 60-70 в лучшем случае! Да и то- это сегодня, завтра всё будет ещё хуже, 50% и ниже... HIPS рулят, кто ещё не понял!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
HIPS рулят

Рулят прежде всего прямые руки и ИДА. :wink:

кто ещё не понял!

Смотря какой ХИПС, Вы же сами знаете что их много.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

но и не смотря на это тест достаточно адекватный

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

Готов выступить источником заразы для проведения подобного теста силами Anti-malware.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Рулят прежде всего прямые руки и ИДА.

1. Любым прямым рукам нужны инструменты. ИДА- инструмент универсальный, но а)дорогой (хотя кого в России это останавливало?) б)достаточно сложный (ибо универсальные инструменты простыми не бывают в принципе) в)не в рантайм.

2. Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки :lol:

Смотря какой ХИПС, Вы же сами знаете что их много.

Базовых типов не так уж и много- classical, expert и sandbox. Каждый- на свою аудиторию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
а)дорогой

Не такой уж и дорогой.

б)достаточно сложный

Тот, кто его самостоятельно выбрал - вряд ли посчитает ИДУ сложной :)

Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

Мое дело предложить. Полагаю, что с MessageLabs сложно будет договориться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Не такой уж и дорогой.

Ну это кому как. 288 евро для меня лично- дорого.

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

Песочница- настройки?! :shock: Добавляешь в неё всё, что надо- и живёшь спокойно. Там настройки на стандартных приложениях - ноль целых ноль десятых.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Песочница- настройки?!

Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

ЗЫ А можно это обсуждение выделить в топик "Обсуждение ХИПСОВ"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

Проблем нет- всё решается оперативно в порядке поступления. А гибкость настроек- кому они реально нужны? Домохозяйка сможет воспользоваться этим эффективно воспользоваться? Гибкость нужна людям, которым HIPS на модели песочницы нафиг не нужны- так называемым "экспертам" (так называемым- это не обидеть, просто калька с "security expert user"). Им больше подходит классика в режиме "блокировать".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
...Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп ...скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

Вот она,защита от новых.Больше половины из последних двухнедельных были не в базах.Скорость реакции на малость из них не очень подтягивает процент остального.Насколько бы спасло этот тест запуск этих зловредов немало зависит и от установок по умолчанию.И по тому,что вообще включено.Может,и места бы поменялись очень.Но видно,что против новых (которые ещё не в пределах двух часов,а двух недель) от сигнатуры пользы меньше 50%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

_Stout, спасибо за предложение, подобный тест будет интересно провести в любом случае, на счет источника семплов подумаем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Результаты получились поразительные

На параллельном форуме в течении уже пары лет можно наблюдать детект ниже, чем в данном тесте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
    • Dmitrius
      Канализация из септиков под ключ На предприятии каждый сможет заказать установку септиков, созданных из ЖБ конец - они не только практичны, но и отличаются безукоризненным качеством. Ищите где заказать монтаж септика астра - получите всю необходимую информацию на сайте. Важным моментом является то, что услуги оказываются на должном, профессиональном уровне. Это достигается за счет того, что в бригаде трудятся специалисты, которые знают все особенности своей работы. При этом стоимость работ остается на доступном уровне. Огромный стаж работы позволил приобрести большое количество клиентов – они советуют предприятие знакомым. Бетонные септики пользуются популярностью не только за счет своей небольшой стоимости, но и благодаря прочности, а также невосприимчивы к негативным условиях среды, они не нуждаются в сервисном обслуживании. И самое важное, что установка проводится на грунте любого типа. Такой вид септика считается самым быстрым способом организовать очистное сооружение на дачном участке. Сотрудники предприятия специально для вас подготовят предложение, произведут расчеты, грамотно расположат септик, а заодно и закупят все необходимые материалы по доступным ценам, выполнят доставку и монтажные работы. На все, включая материалы, предоставляются гарантии. Услуги оказываются не только по столице, но и области, на любом грунте: песке, глине и др. Монтаж септиков различной сложности, а также с подключением бани или дачи, переливом, любых соединений. Есть возможность вызвать целую бригаду специалистов на малый участок либо дачу, на которой вы проживаете время от времени или постоянно. Монтажные работы в ограниченные сроки. Во время монтажных работ учитывается то, сколько человек проживает в доме, особенности – о них поведает консультант. Теперь и вы сможете заказать высококлассные работы.
×