Aman

NOD32 против остальных...

В этой теме 3 сообщения

Я сталкивался с такой историей: После НОДа сканировали несколькими антивирусами и находили несколько ДЕСЯТКОВ вирусов, правда каких-то неизвестных... В принципе на работе системы это не отражалось, но факт есть факт! Просвятите кто чем может.

Сравнительный анализ антивирусного ПО

Автор: Стогов,Иван

Опубликовано 11 января 2008 года

Для доказательства преимуществ своих продуктов разработчики антивирусов часто используют результаты независимых тестов. При этом пользователи зачастую не понимают, что конкретно и каким образом проверялось в данном тесте. Цель данной статьи - "разоблачить" тесты различных исследовательских лабораторий, сравнить, как выглядят антивирусные продукты в этих тестах, и попробовать, основываясь на результатах разнообразных тестов, выработать некую общую интегрированную оценку антивирусов.

Об авторе: Иван Стогов - эксперт портала Anti-Malware.ru Сразу оговорюсь, что в статье будут сравниваться только те антивирусные решения, которые распространены в России, а именно Антивирус Касперского, Symantec/Norton, Доктор Веб, Eset Nod32, Trend Micro, McAfee, Panda, Sophos, BitDefender, F-Secure, Avira, Avast!, AVG, Microsoft. Такая экзотика, как G-DATA AVK, F-Prot Anti-Virus и AEC TrustPort, рассматриваться не будет. Итак, приступим к препарированию тестов.

Патриархи тестирования

Одним из первых тестировать антивирусные продукты начал британский журнал Virus Bulletin, первые тесты, опубликованные на их сайте, относятся к далекому 1998 году. Основу теста составляет коллекция вредоносных программ WildList. Для успешного прохождения теста необходимо выявить все вирусы этой коллекции и продемонстрировать нулевой уровень ложных срабатываний на коллекции "чистых" файлов журнала. Тестирование проводится несколько раз в год на различных операционных системах; успешно прошедшие тест продукты получают награду VB100%. Ниже вы можете увидеть, сколько наград VB100% было получено в 2006-2007 годах продуктами различных антивирусных компаний.

Безусловно, журнал Virus Bulletin можно назвать старейшим антивирусным тестером, но статус патриарха не избавляет его от критики антивирусного сообщества. Так, на сентябрьской конференции Virus Bulletin в Вене известный эксперт Андреас Маркс (Andreas Marx) из исследовательской лаборатории AV-Test при Магдебургском университете выступил с докладом The WildList is Dead, Long Live the WildList! В своем докладе Маркс подчеркнул, что все тесты, которые проводятся на коллекции вирусов WildList (в том числе и VB100%), имеют целый ряд недостатков, связанных с составом этой коллекции. Во-первых, WildList включает в себя только вирусы и черви и только для платформы Windows, а вредоносные программы других типов (трояны, бэкдоры) и вредоносные программы для других платформ остаются за бортом. Во-вторых, коллекция WildList содержит небольшое число вредоносных программ и очень медленно пополняется: за месяц в коллекции появляется всего несколько десятков новых вирусов, тогда как, например, коллекция AV-Test за это время пополняется несколькими десятками или даже сотнями тысяч экземпляров вредоносного ПО.

Все это говорит о том, что в настоящем своем виде коллекция WildList морально устарела и не отражает реальной ситуации с вирусами в сети интернет. В результате, по мнению Андреаса Маркса, тесты, основанные на коллекции WildList, становятся все более бессмысленными. Они хороши для рекламы продуктов, которые их прошли, но реально качество антивирусной защиты они не отражают.

От WildList к тестам на больших коллекциях

Независимые исследовательские лаборатории, такие как AV-Comparatives, AV-Tests, не ограничиваются только критикой методов тестирования. Дважды в год они сами проводят тестирование антивирусных продуктов на уровень обнаружения вредоносных программ по требованию. При этом коллекции, на которых проводится тестирование, содержат до миллиона вредоносных программ и регулярно обновляются. Результаты тестов публикуются на сайтах этих организаций (www.AV-Comparatives.org, www.AV-Test.org) и в известных компьютерных журналах PC World, PC Welt и др. Итоги августовских тестов представлены ниже:

Если говорить о наиболее распространенных на российском рынке продуктах, то, как мы видим, по результатам этих тестов в тройку лидеров входят только решения "Лаборатории Касперского" и Symantec. Отдельного внимания заслуживает лидирующая в тестах Avira, но мы вернемся к этой теме дальше в разделе о ложных срабатываниях.

Моделируем пользователя

Тесты исследовательских лабораторий AV-Comparatives и AV-Test, так же как и любые тесты, имеют свои плюсы и свои минусы. Плюсы заключаются в том, что тестирование проводится на больших коллекциях вредоносного ПО, и в том, что в этих коллекциях представлены самые разнообразные типы вредоносных программ. Минусы же в том, что в этих коллекциях содержатся не только "свежие" образцы вредоносных программ, но и относительно старые. Как правило, используются образцы, собранные за последние полгода. Кроме того, в ходе этих тестов анализируются результаты проверки жесткого диска по требованию, тогда как в реальной жизни пользователь скачивает заражённые файлы из интернета или получает их в виде вложений по электронной почте. Важно обнаруживать такие файлы именно в момент появления их на компьютере пользователя.

Попытку выработать методику тестирования, не страдающую от этой проблемы, предпринял один из старейших британских компьютерных журналов - PC Pro. В их тесте использовалась коллекция вредоносных программ, обнаруженных за две недели до проведения теста в трафике, проходящем через серверы компании MessageLabs. MessageLabs предлагает своим клиентам сервисы по фильтрации различных видов трафика, и ее коллекция вредоносных программ реально отражает ситуацию с распространением компьютерной заразы в Сети.

Команда журнала PC Pro не просто сканировала зараженные файлы, а моделировала действия пользователя: зараженные файлы прикреплялись к письмам в виде вложений и эти письма скачивались на компьютер с установленным антивирусом. Кроме того, при помощи специально написанных скриптов зараженные файлы скачивались с веб-сервера, т.е. моделировался серфинг пользователя в интернете. Условия, в которых проводятся подобные тесты, максимально приближены к реальным, что не могло не отразится на результатах: уровень обнаружения у большинства антивирусов оказался существенно ниже, чем при простой проверке по требованию в тестах AV-Comparatives и AV-Test. В таких тестах немаловажную роль играет то, насколько быстро разработчики антивируса реагируют на появление новых вредоносных программ, а также какие проактивные механизмы используются при обнаружении вредоносных программ.

Группа быстрого реагирования

Скорость выпуска обновлений антивируса с сигнатурами новых вредоносных программ - это одна из самых важных составляющих эффективной антивирусной защиты. Чем быстрее будет выпущено обновление баз сигнатур, тем меньшее время пользователь останется незащищенным. В апреле 2007 года команда лаборатории AV-Test провела для американского журнала PC World исследование скорости реакции на новые угрозы, и вот что у них получилось:

Известное неизвестное

В последнее время новые вредоносные программы появляются так часто, что антивирусные лаборатории едва успевают реагировать на появление новых образцов. В подобной ситуации встает вопрос о том, как антивирус может противостоять не только уже известным вирусам, но и новым угрозам, для обнаружения которых еще не выпущена сигнатура.

Для обнаружения неизвестных угроз используются так называемые проактивные технологии. Грубо можно разделить эти технологии на два вида: эвристики (обнаруживают вредоносные программы на основе анализа их кода) и поведенческие блокираторы (блокируют действия вредоносов при их запуске на компьютере, основываясь на их поведении).

Если говорить об эвристиках, то их эффективность уже давно изучает AV-Comparatives - исследовательская лаборатория под руководством Андреаса Клименти (Andreas Clementi). Команда AV-Comparatives применяет особую методику: антивирусы проверяются на актуальной вирусной коллекции, но при этом используется антивирус с сигнатурами трехмесячной давности. Таким образом, антивирусу приходится противостоять вредоносам, о которых он ничего не знает. Антивирусы проверяются путем сканирования коллекции вредоносного ПО на жестком диске, поэтому проверяется только эффективность эвристика, другая проактивная технология - поведенческий блокиратор - в этих тестах не задействуется. Как мы видим, даже самые лучшие эвристики на данный момент показывают уровень обнаружения только около 70%, а многие из них еще и болеют ложными срабатываниями на чистых файлах. Все это, к сожалению, говорит о том, что пока этот проактивный метод обнаружения может использоваться только одновременно с сигнатурным методом.

Что же касается другой проактивной технологии - поведенческого блокиратора, то тут пока серьезных сравнительных тестов не проводилось. Во-первых, во многих антивирусных продуктах ("Доктор Веб", NOD32, Avira и др.) в принципе отсутствует поведенческий блокиратор. Во-вторых, проведение таких тестов сопряжено с некоторыми трудностями. Дело в том, что для проверки эффективности поведенческого блокиратора необходимо не сканировать диск с коллекцией вредоносных программ, а запускать эти вредоносы на компьютере и наблюдать, насколько успешно антивирус блокирует их действия. Этот процесс очень трудоемкий, и лишь немногие исследователи способны взяться за проведение таких тестов. Все, что пока доступно широкой общественности, это результаты тестирования отдельных продуктов, проведенного командой AV-Comparatives. Если в ходе тестирования антивирусы успешно блокировали действия неизвестных им вредоносных программ во время их запуска на компьютере, то продукт получал награду Proactive Protection Award. В настоящий момент такие награды получили F-Secure c поведенческой технологией DeepGuard и "Антивирус Касперского" со своим модулем "Проактивная защита".

Технологии предупреждения заражения, основанные на анализе поведения вредоносных программ, получают все большее распространение, и отсутствие комплексных сравнительных тестов в этой области не может не тревожить. Недавно появилась надежда на появление таких тестов: специалисты исследовательской лаборатории AV-Test провели на конференции Virus Bulletin 2007 широкое обсуждение этого вопроса, в котором участвовали и разработчики антивирусных продуктов. Итогом этого обсуждения явилась новая методика тестирования способности антивирусных продуктов противостоять неизвестным угрозам. В деталях эта методика будет представлена в конце ноября, на конференции Азиатской ассоциации антивирусных исследователей в Сеуле.

Ложные срабатывания страшнее вирусов

Высокий уровень обнаружения вредоносных программ при помощи различных технологий является одной из важнейших характеристик антивируса. Но, пожалуй, не менее важной характеристикой является отсутствие ложных срабатываний. Ложные срабатывания могут нанести не меньший вред пользователю, чем вирусное заражение: заблокировать работу нужных программ, перекрыть доступ к сайтам и т.д. К сожалению, ложные срабатывания происходят довольно часто. После очередного обновления в сентябре 2007 года антивирус AVG стал принимать Adobe Acrobat Reader 7.0.9 за троянскую программу SHueur-JXW, а антивирус NOD32 в июле 2007 года сообщал пользователям об обнаружении трояна Tivso.14a.gen, столкнувшись с баннерами от serving-sys.com на популярных сайтах вроде Yahoo, MySpace и других порталах преимущественно новостной направленности.

В ходе своих исследований AV-Comparatives, наряду с изучением возможностей антивирусов по обнаружению вредоносного ПО, проводит и тесты на ложные срабатывания на коллекциях чистых файлов (результаты см. на диаграмме ниже). Согласно тесту хуже всего с ложными срабатываниями дела обстоят у антивирусов "Доктор Веб" и Avira.

Лечим то, что не поймали

Как это ни прискорбно сознавать, но стопроцентной защиты от вирусов не существует. Пользователи время от времени сталкиваются с ситуацией, когда вредоносная программа проникла на компьютер и компьютер оказался заражен.. Это проиcходит либо потому, что на компьютере вообще не было антивируса, либо потому, что антивирус не обнаружил вредоносную программу ни сигнатурными, ни проактивными методами. В такой ситуации важно, чтобы когда антивирус со свежими базами сигнатур будет установлен на компьютере, антивирус смог не только обнаружить вредоносную программу, но и успешно ликвидировать все последствия ее деятельности, вылечить активное заражение. При этом важно понимать, что вирусописатели постоянно совершенствуют свое "мастерство", и некоторые их творения достаточно трудно удалить с компьютера - вредоносные программы могут разными способами маскировать свое присутствие в системе (в том числе при помощи руткитов) и даже противодействовать работе антивирусных программ. Кроме того не достаточно просто удалить или вылечить зараженный файл, нужно ликвидировать все изменения, произведенные вредоносным процессом в системе (например, изменения в реестре), и полностью восстановить работоспособность системы. Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru. Последний такой тест они провели в сентябре прошлого года, его результаты представлены на следующей диаграмме:

Интегрируем оценки

Выше мы рассмотрели самые разные подходы к тестированию антивирусов, показали, какие параметры работы антивирусов рассматриваются при тестировании. Ясно, что у одних антивирусов выигрышным оказывается один показатель, у других - другой. При этом естественно, что в своих рекламных материалах разработчики антивирусов делают упор только на те тесты, где их продукты занимают лидирующие позиции. Так, например, "Лаборатория Касперского" делает акцент на скорости реакции на появление новых угроз, Еset - на силе своих эвристических технологий, "Доктор Веб" описывает свои преимущества в лечении активного заражения. Но что же делать пользователю, как сделать правильный выбор?

Мы надеемся, что эта статья поможет пользователям в выборе антивируса. Для этого были приведены результаты самых разных тестов, чтобы пользователь получил представление о сильных и слабых сторонах антивирусного ПО. Понятно, что решение, которое выберет пользователь, должно быть сбалансированным и по большинству параметров должно входить в число лидеров по результатам тестов. Для полноты картины ниже в единую таблицу сведены позиции, которые антивирусы заняли в рассмотренных тестах, а также выведена интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт. В итоге в тройке призеров: "Касперский", Avira, Symantec.

Кто что по этому поводу думает???

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Разрешите, я закрою тему.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гость
Эта тема закрыта для публикации ответов.
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...