Сергей Ильин

Тест антивирусов на качество защиты (ComputerShopper)

В этой теме 17 сообщений

Нашел очень интересный тест антивирусов, который был совсем недавно опубликован в журнале ComputerShopper. Результаты теста наглядно демонстрируют как обстоят дела у вендоров со скоростью реакции (работа проактивных технологий учитывается)

Суть теста такова:

1. Автор брал свежие семплы (ссылки на них) от компании MassageLabs, огромный трафик которой позволяет обнаруживать вредоносные программы в виде атачмента почте, а также ссылки на них.

2. Полученные семплы (всего 251 образца полученные по email и 184 полученные через web ) проходили проверку.

3. Отдавались каждому тестируемому антивирусу, установленному на вируальную машину под Windows XP. При этом email-вирусы отправлялись на тестовую машину по одному на каждое письмо, а web-вирусы предлагалось открыть, кликнув по ссылке.

В итоге автор моделировал реальные условия распространения угроз, как если бы с ней столкнулся клиент, получив зараженное письмо или ссылку на вредоносную программу.

Естественно эвристики работали тоже, базы были свежие. По сути дела проверялась степень защищенности клиента перед совсем новыми угрозами (как сейчас стали говорить Zero Hour).

Результаты получились поразительные: лучшие продукты едва перешли черту в 70% (суммарно email + web). См. рисунок ниже.

Что думаете по поводу этого теста?

computershopper1.gif

computershopper.gif

post-4-1180382499.gif

post-1-1180382499.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Мне думается это правильный подход к тестированию ребята из MessageLabs предложили.

Вот возьмем тесты AV-Comparatives.org (Клименти) или AV-Test.org (Маркс). Они хороши огромным размером коллекции, что сводит к минимуму вероятность случайного перкоса в сторону одного из антивирусных вендоров. Еще они хороши тем, что в них каждая из категорий зловредов (троянцы, вирусы и прочие) представлены внушительно, что позволяет понять насколько хороши антивирусы в борьбе с каждой из категорий этих зловредов.

Чем плохи эти тесты:

- источники и методы составления коллекций непонятны и неизвестны

- коллекции "устоявшиеся", т.е. по большей части состоят из давно известных старых зловредов, именно поэтому лидеры тестов так близки к друг другу. Старые то вирусы хорошие антивирусы ловят прилично, но никак не учитывается скорость реакции на новые.

- метод проведения теста (простое сканирование диска с коллекцией зловредов) не имеет ничего общего с обычным поведением пользователя

А вот ребята из MessageLabs вместе с журналом Computer Shopper предложили совсем другой тест, методика которого устраняет ряд недостатков, описанных выше. ТОлько вот Сергей Ильин очень как-то невнимательно прочел и епервел описание теста. В результате приплел к делу проактивку (поведенческий блокиратор), которая тут вообще непричем - вирье-то не запускалось, а просто скачивалось и приходило по почте.

И так что же реально присходило:

Компания MessageLabs предоставляет сервисы по фильтрации трафика, трафик клиентов просто перенаправляется на сервера MessageLabs там проверяется на вирусы и прочее, а затем отдается клиенту. Проверяется трафик несколькими антивирусными движками + собственный потоковый эвристик MessageLabs по прозвищу Скептик, который способен массовые рассылки зловредов отслеживать.

В итоге:

1.MessageLabs огромное кол-во клиентов по всему миру, поток проходящий через них тоже неслабый, те зловреды, которые они находят - это реально наиболее распространеные в данный отчетный период - т.е. вопрос откуда дровишки (коллекция зловредов) отчасти снимается. Зловредов хоть и немного, но зато они реально гуляющие по миру.

2.Зловреды взяты относительно новые, как написано пойманные за две недели до проведения теста. Т.е вопрос старости коллекции зловредов тоже отчасти снят.

3. Сам метод проведения теста. Как я уже сказал, тут Ильин немного напутал, но методика все равно ближе к реальному поведению пользователя, чем простое сканирование диска, предлагаемое нам Клименти и Марксом. Итак как прводился тест:

a. Все антиврусы оставались с настройками по умолчанию.

б. Зловреды приаттачивались к письмам по одному к каждому письму, после чего письма скачивались на комп посредством аутлука експреса. Отслеживалось на какие письма среагировал антивирус, а на какие нет. Так проходли Email тест. НИкакого запуска зловредов, о котором писал Ильин не было, по крайней мере в методологии теста об этом ни гу гу.

в.Теперь Web тест. Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп - имитировалось скачивание пользователем (но опять же никакого запуска зловредов на компе не было). Ну и смотрелось сколько удалось отловить антивирусам либо на лету (вебантивирусом у кого он есть), либо при сохранении на диске (файловым антивирусом - монитором попросту)

А дальше был совершен на мой взгляд совсем лишний шаг: скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

C одной стороны это дополнительное сканирование конечно имитирует поведение наиболее осторожных пользователей, которые скаченные файлы перед запуском дополнительно на вирусы проверяют...но так ведь поступают далеко не все. Так что мне кажется, что без этой дополнительной проверки было бы честнее.

Вот такой вот тест. Осталось заметить, что антивирусы в которых нет поведенческих блокираторов (модуль проактивной защиты в терминах касперского) в рамках этого теста все свои возможности исчерпали: если пользователь следующим шагом запустит зловреда - антивирь его уже не спасет, если бы мог спасти - отреагировал бы на этапе скачивания. У тех у кого есть поведенческие блокираторы (Касперский и Панда в частности) еще есть шанс реабилитироваться и заблокировать заразу при запуске, когда и вступает в действие поведенческий блокиратор. Кстати запуск пропущенных зловредов - это логичное продолжение для рассмотренного теста.

А итог теста как уже на писал Ильин показывает, что на самом деле никакими 97-99% детектами даже у лучших антивирусов в реальной жизни и не пахнет, если уж даже в такой модели реальности как этот тест они максимум что выбивают - это 80-90%, а веб тесте и того хуже.

Ну и напоследок скажу, что Steganos - это по сути ребрендинг Касперского, войдете в его интерфейс увидите родной зонтик. ПОчему поймал он чуть меньше? Настройки по умолчанию небось другие, да и версию ребрендили небось не самую последнюю.

Неплохо выглядит НОД32, порадовал Grisift AVG - по крайней мере на относительно новых зловредах они неплохо выглядят. Ну а большая тройка мировых производителей: Symantec, McAfee, Trend Micro в глубокой попе: а все от того, что ни эвристика у них, ни скорости реакции. Остается тока и радоваться тому, что Symantec хорошо активное заражение лечит:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Первый нормальный тест, приближенный к боевой реальности, а то тесты на древних палёных зловредах с эффективностью антивирей порядка 99% уже задолбали. Какие 99%? 60-70 в лучшем случае! Да и то- это сегодня, завтра всё будет ещё хуже, 50% и ниже... HIPS рулят, кто ещё не понял!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
HIPS рулят

Рулят прежде всего прямые руки и ИДА. :wink:

кто ещё не понял!

Смотря какой ХИПС, Вы же сами знаете что их много.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

но и не смотря на это тест достаточно адекватный

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван, прав, я выше выдал желаемое за действительное. Файлы не запускались к большему сожалению, а зря ... ценность теста этим снизилась, так как проактивные технологии (кроме эвристика) были не задействованы.

Готов выступить источником заразы для проведения подобного теста силами Anti-malware.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рулят прежде всего прямые руки и ИДА.

1. Любым прямым рукам нужны инструменты. ИДА- инструмент универсальный, но а)дорогой (хотя кого в России это останавливало?) б)достаточно сложный (ибо универсальные инструменты простыми не бывают в принципе) в)не в рантайм.

2. Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки :lol:

Смотря какой ХИПС, Вы же сами знаете что их много.

Базовых типов не так уж и много- classical, expert и sandbox. Каждый- на свою аудиторию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а)дорогой

Не такой уж и дорогой.

б)достаточно сложный

Тот, кто его самостоятельно выбрал - вряд ли посчитает ИДУ сложной :)

Вот бы интересно посмотреть на домохозяйку, которая умеет обращаться с ИДА и имеет прямые руки

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а вот это не очень идейка, зачем же тестировать на самплах, которые стали известны ЛКраньше других благодаря сервису хостедсекьюрити?

Лучше с месседжлабзами договориться, чтобы они дали самплы отловленные их скептиком до того, как были задетекчены кем-либо еще - это будет по- честному.

Мое дело предложить. Полагаю, что с MessageLabs сложно будет договориться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Не такой уж и дорогой.

Ну это кому как. 288 евро для меня лично- дорого.

ХИПСы в любом случае ИМХО не рулят, что классические, что песочницы.

Одни требуют вмешательства юзера, другие грамотной настройки.

Песочница- настройки?! :shock: Добавляешь в неё всё, что надо- и живёшь спокойно. Там настройки на стандартных приложениях - ноль целых ноль десятых.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Песочница- настройки?!

Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

ЗЫ А можно это обсуждение выделить в топик "Обсуждение ХИПСОВ"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это у Вас в программе настроек нет, а мне например нет смысла запрещать firefox работать с файловой системой. Гибкости в настройках нет, отсюда и проблемы.

Проблем нет- всё решается оперативно в порядке поступления. А гибкость настроек- кому они реально нужны? Домохозяйка сможет воспользоваться этим эффективно воспользоваться? Гибкость нужна людям, которым HIPS на модели песочницы нафиг не нужны- так называемым "экспертам" (так называемым- это не обидеть, просто калька с "security expert user"). Им больше подходит классика в режиме "блокировать".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
...Здовреды помещались на веб-серваке, после чего скачивались автоматической системой на тестовый комп ...скаченные зловреды, которые не были отловлены в процессе скачивания, были дополнительно поверены сканером по требованию, и итоговые результаты по Web учитывают эту проверку.

Вот она,защита от новых.Больше половины из последних двухнедельных были не в базах.Скорость реакции на малость из них не очень подтягивает процент остального.Насколько бы спасло этот тест запуск этих зловредов немало зависит и от установок по умолчанию.И по тому,что вообще включено.Может,и места бы поменялись очень.Но видно,что против новых (которые ещё не в пределах двух часов,а двух недель) от сигнатуры пользы меньше 50%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

_Stout, спасибо за предложение, подобный тест будет интересно провести в любом случае, на счет источника семплов подумаем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Результаты получились поразительные

На параллельном форуме в течении уже пары лет можно наблюдать детект ниже, чем в данном тесте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Ego Dekker
      Год назад программа-вымогатель WannaCryptor.D (также известная как WannaCry и WCrypt) вызвала одни из самых разрушительных последствий в цифровом мире. И хотя сама угроза уже не представляет большой опасности, эксплойт EternalBlue, который вызвал волну распространения, по-прежнему угрожает системам без надлежащей защиты и примененных исправлений. По данным телеметрии ESET, его распространенность в течение последних нескольких месяцев растет, а недавно уровень выявления угрозы превзошел самые высокие показатели 2017 года. EternalBlue использует уязвимость (в Microsoft Security Bulletin MS17-010) реализации протокола Server Message Block (SMB) в устаревшей версии Microsoft. В результате атаки киберпреступники сканируют Интернет на наличие открытых портов SMB, а обнаружив их, запускают код эксплойта. При наличии уязвимости злоумышленники запускают выбранный под жертву компонент. Именно с помощью этого механизма год назад через сеть распространялась угроза WannaCryptor.D. Согласно данным телеметрии ESET, в течение следующих месяцев после пика распространения WannaCryptor количество попыток использовать эксплойт EternalBlue уменьшилась до сотни в день. Однако с сентября прошлого года использование угрозы начало медленно расти, достигнув новых высоких показателей в середине апреля 2018 года. Выявления EternalBlue в течение 2017-2018 годов в соответствии с ESET Live Grid® Стоит отметить, что метод проникновения EternalBlue на компьютеры пользователей не является успешным на устройствах с защитой ESET. Один из нескольких уровней защиты — Модуль защиты сети от атак — блокирует эту угрозу на начальном этапе. Это подтвердилось во время распространения WannaCryptor 12 мая 2017, а также всех предыдущих и последующих атаках киберпреступников. Напомним, эксплойт EternalBlue использовался во многих высокопрофильных кибератаках. Кроме WannaCryptor, эксплойт также применялся во время атаки Diskcoder.C (также известная как Petya, NotPetya и ExPetya) в июне 2017 года, а также программы-вымогателя BadRabbit в 4-м квартале 2017 года. EternalBlue также использовался группой киберпреступников Sednit (также известная как APT28, Fancy Bear и Sofacy) для атак сетей Wi-Fi в европейских отелях. Кроме этого, эксплойт стал одним из механизмов распространения вредоносных программ для майнинга криптовалюты. А совсем недавно EternalBlue был использован для распространения программы-вымогателя Satan. Напомним, эксплойт EternalBlue якобы был похищен из Агентства национальной безопасности (NSA), вероятно, в 2016 году. В Интернет угроза попала 14 апреля 2017 благодаря группе Shadow Brokers. Компания Microsoft опубликовала обновление, которое фиксируют уязвимость SMB 14 марта 2017, но до сих пор в реальной среде есть множество машин без примененных исправлений. Этот эксплойт и все атаки с его использованием показывают важность своевременного применения исправлений, а также потребность в надежном и многоуровневом решении для защиты, которое может заблокировать этот и другие вредоносные инструменты. Пресс-выпуск.
    • Ego Dekker
    • myrl48
      Создать и Оптимизировать сайт лучшей конверсии С чем половиной покупателей, допускающих к покупке продуктов в интернете либо еженедельно и ежемесячно, сайт электронной коммерции должен иметь огромное влияние на вашей нижней строке. Однако недостаточно создать магазин. Важно сделать все возможное, максимизировать конверсии и потенциал онлайн-продаж. Много идет в создание сайта электронной коммерции и получить максимальную отдачу от него. Прежде всего, убедиться он построен на оптимизированной платформе продаж с системой управления контентом, которая упрощает обновление и помогает быстро загружать сайт помимо технических деталей есть много способов, которыми убедиться конвертируете больше посещений сайта в продажи. Имейте красивый, отзывчивый дизайн Дизайн и макет сайта управляют пользовательским опытом, первое впечатление, которое потенциальные клиенты получают от бизнеса. Сайт - современный дизайн с четкими, высококачественными фотографиями, наилучшим образом продемонстрировать продукты и включить прожекторы продукта и призывы к действиям увеличения участия. Адаптивный дизайн больше не является опцией. Это абсолютная необходимость. Сайт должен адаптироваться просмотра на мобильных устройствах, планшетах и настольных компьютерах, обеспечивая плавный, связный опыт ваших посетителей на каждом этапе. Сделать сайт http://sozdat-sait.my1.ru/ продукты легко найти. Независимо от приходят пользователи в магазин просмотра и поиска определенного элемента, не расстраивайте их, заставляя работать на него. Добавление функции поиска поможет клиентам быстро найти именно то ищут, а организация ваших продуктов в логические, вложенные категории сделает просмотр легким. Продукт помещается в несколько категорий, и расширенные фильтры на странице добавлены, помочь вашим посетителям сузить поиск больше. Положите страницы детали продукта работы Максимально высокие качества, одинаковых размеров фото продукта, предлагая функциональность зум, позволить покупателям изучить продукты подробно. Добавьте параметры общего доступа, побудить посетителей распространять информацию о ваших продуктах на сайтах социальных сетей любят покупатели. Потратьте время, написать хорошие описания продуктов. Они четкими и лаконичными. Попробуйте включить маркированные точки, выделить ключевые особенности, не будучи многословным. Страницы сведений о продукте включать призыв к действию, например кнопку "Добавить в корзину", которую легко обнаружить, и ссылку на политику доставки и возврата. Оптимизировать сайт поисковых систем потратив время на поисковой оптимизации (SEO). Для начала, сделать некоторые исследования ключевых слов и планировать стратегию SEO вокруг ключевых слов. Создайте блог, публиковать полезные статьи, связанные с вашими продуктами, и делиться своими сообщениями в социальных сетях, управлять входящим трафиком. Вы узнать больше эффективной стратегии SEO, проверив наш предыдущий пост: Маркетинговая Стратегия онлайн: создайте бизнес, создайте бренд. Видео урок - http://sozdat-sait.my1.ru/blog/kak_povysit_konversii_i_juzabiliti_sajta/2017-11-09-1894
    • fafa
      Знаете в этом деле лучше отталкиваться от правила если есть средства, то лучше заплатить и все! Поэтому незачем что либо выдумывать или зря тратить свое время. Намного проще оплатить и чтобы конкретно сделали сайт под Ваши условия.
    • Ego Dekker
      ESET Cyber Security/ESET Cyber Security Pro были обновлены до версии 6.6.300.