Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[UIT 103]

Valery Ledovskoy

Извините если что пропустил. На Ваш взгляд, проведенный тест (с текущей методологией и спорными элементами показывает /примерно/ действительную эффективность именно среди тестируемых продуктов. Или нет.

[dr_dizel 385]

Так не научились ещё определять время жизни сэмпла.

А нам не нужно время жизни. Нужно разделение на то - чем детектилось или не детектилось вообще т.е. вердикт всех АВ на сэмпл/ссылку: дата + имя.

[Valery Ledovskoy 1082]

А можно, общепринятое понимание термина?

Попробовать можно. Надеюсь, что это приведёт к серьёзной конструктивной дискуссии. Поэтому прошу внимательно следить за мыслью.

Например, вот как определяются такие угрозы в Википедии:

http://en.wikipedia.org/wiki/Zero_day_virus

A Zero day virus is a previously-unknown computer virus or other malware for which specific antivirus software signatures are not yet available.[1]

Traditionally, antivirus software relies upon signatures to identify malware. This can be very effective, but cannot defend against malware unless samples have already been obtained, signatures generated and updates distributed to users. Because of this, signature-based approaches are not effective against zero-day viruses.

Most modern antivirus software still use signatures, but also carries out other types of analysis.[2]

Это одно из классических определений zero-day-угроз.

Речь идёт о том, что под zero-day-угрозами понимается вирус, под которого у антивируса ещё нет сигнатуры. Т.е. формально (при современных реалиях) это образец, который ещё не попадал к вендору на обработку, не проходил через вирусную лабораторию.

Но здесь есть засада. Ни один антивирус сегодня, который может таковым называться, не использует только сигнатуры в их классическом понимании. Именно для противодействия zero-day-угрозам стали придумываться различные проактивные технологии (среди которых и HIPS-технологии, и эвристические технологии, и другие технологии).

И авторы последнего тестирования столкнулись с тем, что практически невозможно найти образцы, которые не детектируются ни одним антивирусом. Из этого был сделан вывод, что можно в качестве zero-day-угроз использовать вирусы, которые детектируются-таки некоторыми антивирусами на Virustotal. По какому праву, кстати? Тем более, что для некоторых антивирусов (например, КАВ) детект на Virustotal ни о чём может не говорить, и я это показывал.

Я же из современной ситуации сделал вывод, что классическое определение zero-day-угроз устарело, и нужно искать другие привязки для определения этой сущности.

Наиболее верным направлением считаю определять время начала распространения нового сэмпла, т.к. практически все вирусописатели сегодня стараются перед началом распространения сэмпла минимизировать детект различными антивирусами. В том числе ведётся работа и по противодействию HIPS-технологиям (см. описание TDL3 того же). Но никому не приходит в голову убирать из теста сэмплы, которые ловят HIPS-технологии. Иначе зачем тогда тестирование вообще?

Далее. Невозможно сегодня практически создать вредоносный сэмпл, который бы не был пойман ни эвристическими технологиями, ни HIPS-технологиями. Но ведь классическое определение zero-day-угроз предполагает именно такое понимание - антивирусы в их актуальном состоянии не могут противодействовать такой угрозе в принципе, т.е. пользователь остаётся незащищённым.

Поэтому предлагаю считать zero-day-угрозами сэмплы, которые начали распространяться только что. Возможно, откатывать базы антивирусов на то время, когда (как было определено) было начато распространение этого образца.

Именно такое тестирование, как мне кажется, может показать степень качества противодействия тестируемых антивирусов "новым" угрозам в современных реалиях. Особенно для неискушённых пользователей, которые являются широкой читательской аудиторией.

По просьбе одного из участников уточняю. Прошу упоминание здесь Virustotal не воспринимать как главное доказательство неверности методики проведённого теста. Это сообщение - для более правильного понимания того, что было сделано, и к чему можно стремиться.

[dr_dizel 385]

[Сергей Ильин 1538]

А нам не нужно время жизни. Нужно разделение на то - чем детектилось или не детектилось вообще т.е. вердикт всех АВ на сэмпл/ссылку: дата + имя.

Согласен, так будет более прозрачно все.

Речь идёт о том, что под zero-day-угрозами понимается вирус, под которого у антивируса ещё нет сигнатуры. Т.е. формально (при современных реалиях) это образец, который ещё не попадал к вендору на обработку, не проходил через вирусную лабораторию.

Ну так значит название правильное? Мы как раз брали те самплы, которые сигнатурами не детектились, если вердикты и были у того же вирустотала, то на пакеры/крипторы, в крайнем случае срабатывали дженерики. Это все описано тесте в методологии.

Потом если 10 вендоров вирус не знаю, а один какой-то из далекой далекой страны его спалил (может он все подряд палит?). Это Zero-day или нет? Я считаю, что да. Мы просто в методологии дали свое количественное определение этого понятия, как сами считаем правильным.

Сигнатурного детекта не было - не было. Самплы неизвестные - да. Zero-day-угроза - да.

И авторы последнего тестирования столкнулись с тем, что практически невозможно найти образцы, которые не детектируются ни одним антивирусом.

Оно было не последнее, будет еще много

[Valery Ledovskoy 1082]

Ну так значит название правильное? smile.gif Мы как раз брали те самплы, которые сигнатурами не детектились,

Нет, не правильное.

Сигнатурного детекта не было - не было.

Эвристика - это не сигнатуры. С детектом эвристики сэмплы не брались. Это не соответствует классическому определению zero-day-угроз. Очень часто на сэмплы, которые появились только что, срабатывают эвристики у многих антивирусов, до 50%. Как видим, в классическом определении zero-day-угроз речь идёт только лишь о чётких сигнатурах. А тестеры не могут определить часто, эвристик сработал у антивируса или сигнатура. Потому что вендоры не делятся такой информацией, а сами определить этого не могут.

И раз уж вы сделали отступление от классического определения zero-day-угроз и не принимаете детект эвристиками и другими технологиями, которые находятся на другом уровне относительно сигнатурных, то почему взяли детект с помощью HIPS-технологий? Чтобы их выделить? Ну и пишите в названии, что тестировали HIPS-технологии.

Т.е. возвращаемся к изначальной логике.

dr_dizel, если Вам что-то непонятно, задавайте вопросы или не пишите ничего. По правилам форума нельзя размещать сообщения, не несущие смысловой нагрузки, п. 11.12.

[dr_dizel 385]

dr_dizel, если Вам что-то непонятно, задавайте вопросы или не пишите ничего. По правилам форума нельзя размещать сообщения, не несущие смысловой нагрузки, п. 11.12.

Ути-пути... Этот мнемоничный смайлик используется на многих форумах инета для точного и краткого выражения отношения форумчан на потоки бреда со стороны одного из участников форума. Причём он настолько лаконичен, что позволяет избежать словесного поноса и флуда.

Это похоже на иконку , которая выражает озабоченность администрации в профессионализме автора статьи на википедии, ссылку на которую вы дали. Там даже разжевано (т.к. смайлик достаточно абстрактен в отличие от моего): "This article is in need of attention from an expert on the subject".

Одно радует, что в конце статьи есть ссылка на более вменяемую статью, которую следовало бы читать вместо приведённой вами.

P.S. Довольно странно, что всё это нужно объяснять взрослому образованному человеку на не последнем в инете портале по ИБ.

[Valery Ledovskoy 1082]

dr_dizel, спасибо за то, что всё же высказали своё мнение. Теперь хоть понятно, что Вы имеете в виду.

Я сейчас общаюсь по теме данного теста с одним из авторов теста. Сюда выкладываю мысли по результатам дискуссии. Если Вы с чем-то не согласны, то прошу писать, с чем и аргументировать.

Это похоже на иконку , которая выражает озабоченность администрации в профессионализме автора статьи на википедии, ссылку на которую вы дали.

Не без этого, но авторы теста выбрали именно это определение zero-day-угроз для проведения теста. Возможно, администрация Википедии тоже понимает, что такое (классическое) определение термина несколько устарело.

Одно радует, что в конце статьи есть ссылка на более вменяемую статью, которую следовало бы читать вместо приведённой вами.

Странно, что Вы не видите, что здесь дано определение Zero day attack:

A zero-day (or zero-hour) attack or threat is a computer threat that tries to exploit computer application vulnerabilities that are unknown to others, undisclosed to the software vendor, or for which no security fix is available. Zero-day exploits (actual code that can use a security hole to carry out an attack) are used or shared by attackers before the software vendor knows about the vulnerability.

И определяется здесь понятие zero-day-эксплойта уязвимости в каком-либо ПО. Про уязвимости, которые производители ПО ещё не закрыли к моменту их использования злоумышленниками. Это определение ничего не говорит нам о том, какие сэмплы нужно отбирать для тестирования антивирусов.

[dr_dizel 385]

И определяется здесь понятие zero-day-эксплойта уязвимости в каком-либо ПО. Про уязвимости, которые производители ПО ещё не закрыли к моменту их использования злоумышленниками. Это определение ничего не говорит нам о том, какие сэмплы нужно отбирать для тестирования антивирусов.

А как, например, собирают шелкоды на загрузку и установку малдрайвера? Просветите-ка.

[Umnik 997]

[offtop]

dr_dizel, если Вам что-то непонятно, задавайте вопросы или не пишите ничего. По правилам форума нельзя размещать сообщения, не несущие смысловой нагрузки, п. 11.12.

Валерий, это facepalm.

Пост написан исключительно для расширения Вашего кругозора.

[/offtop]

[Сергей Ильин 1538]

Эвристика - это не сигнатуры. С детектом эвристики сэмплы не брались. Это не соответствует классическому определению zero-day-угроз.

Ответьте тогда, что в современном понимании является сигнатурами?

Облегчу задачу. Несколько лет назад некоторые вендоры начали громко говорить о чудо технологии, обстрактно названной эвритиской, способной детектировать неизвестные образцы известный угроз. Тут я подчеркиваю, что технология изначально детектирует новые образцы семейства, а не принципиально новые виды.

Многие сразу же стали говорить, что это те же самые сигнатуры, только вид сбоку. Можно называть их проактивными, нечеткими, да как угодно, смысл не меняется. Для иллюстрации вспоминаем эпидемию Warezov, который обновлялся так таким образом, что вендорам приходилось клепать на него сигнатуры, дженерики и новые записи эвристики постоянно. Именно тогда наглядно захлебнулась хваленая эвристика Nod32 (кому интересно, может найти на нашем форуме темы на этот счет). К чему я это? Да к тому, что все это защита от небольших модификаций известных угроз.

Очень часто на сэмплы, которые появились только что, срабатывают эвристики у многих антивирусов, до 50%.

И вы предлагаете относить их к zero-day? Это будет смешно.

А тестеры не могут определить часто, эвристик сработал у антивируса или сигнатура. Потому что вендоры не делятся такой информацией, а сами определить этого не могут.

Вот именно, потому что по сути это одно и тоже. Много раз обсуждалось, что делить эти вещи сейчас нет никакого смысла. В тесте проактивной защиты мы как раз проверяем уровень детекта новых угроз сигнатурными методами. Если DrWeb так крут, как вы говорите, то он покажет после нового года в этом тесте 50-60% или больше, и можно будет считать, что против новых модификаций он надежно защищает. Сможете взять на это на вооружение.

[sww 486]

А как, например, собирают шелкоды на загрузку и установку малдрайвера? Просветите-ка.

Это уж точно п.11.12

За бессвязность речи я бы выдал по-полной программе, но я не модератор...

P.S. 2Umnik: Вот это уже "..... стыд", а не фейспалм

[Valery Ledovskoy 1082]

Да к тому, что все это защита от небольших модификаций известных угроз.

Я с лёгкостью могу эту мысль распространить и на HIPS. Они тоже защищают только от известных типов установки в систему. Но сейчас существуют вредоносные программы, которые обходят HIPS'ы и устанавливаются в систему. Таким образом, приходится докручивать HIPS'ы. Кстати, докрутить HIPS - это обычно куда дольше, чем заточить эвристик.

Но да, ни один из существующих ныне тестов не подтвердит и не опровергнет это.

Многие сразу же стали говорить, что это те же самые сигнатуры, только вид сбоку. Можно называть их проактивными, нечеткими, да как угодно, смысл не меняется.

Да, такое мнение вполне нормально. Но это лишь говорит о том, что сейчас нет чёткой терминологии. А нет её, потому что все антивирусные продукты очень разные. Если мы придерживаемся терминологии, которая на руку одному из вендоров, другие страдают. Т.е. объективность ускользает. Привязаться к чему-то общему для технологий всех вендоров со временем становится всё сложнее.

[Valery Ledovskoy 1082]

Тоже немного позволю себе поофтопить.

Валерий, это facepalm.

Пост написан исключительно для расширения Вашего кругозора.

«Услышав это, Роланд поморщился, покачал головой и прикрыл глаза изуродованной правой рукой.»

— Стивен Кинг — Тёмная Башня

Пожалуй, любимая моя книжка. Всем советую осилить

У меня кругозор немного шире точки, которую некоторые называют своей точкой зрения

[dr_dizel 385]

Это уж точно п.11.12

О, целых 2 эксперта в теме!

Вам что-то не нравится во фразе для Валерия? Вы хотите уберечь его от чего-то по-мамски?

Мы тут зеродеев обыскались уже. Может подбросите парочку md5?

P.S. А все предыдущие N страниц флуда вас значит устраивали? Или вы наш Лев Толстой?

Когда революционеры сотнями убивали царских губернаторов, графов и князей, тогда граф Толстой молчал, как рыба.

Но когда царское правительство по суду повесило нескольких этих революционеров-убийц, тогда великий гуманист Толстой вдруг разразился на весь мир статьей-истерикой "Не могу молчать". Почему? Где логика?

[Valery Ledovskoy 1082]

dr_dizel, сначала разберитесь в определении термина Zero day attack, который действительно адекватный, но не по теме.

Потом флеймите дальше.

P.S. А все предыдущие N страниц флуда вас значит устраивали? Или вы наш Лев Толстой?

Нет, не устраивали. Часть была выделена в отдельную тему. А из Вашего флуда даже не знаю... Разве что в юмор.

[dr_dizel 385]

сначала разберитесь в определении термина Zero day attack, который действительно адекватный, но не по теме.

Потом флеймите дальше.

Уже ведь вроде решили, что термин в названии был для красоты. Или вам ещё раз нужно перечитать статью по моей ссылке, которую я вам дал, в ответ на какую-то муть про зеровирусы? Или вы уже путаетесь кто что писал?

Нет, не устраивали. Часть была выделена в отдельную тему.

И какой результат из всего этого? Можете "подбить баланс"? Уже пора бы.

[Valery Ledovskoy 1082]

Уже ведь вроде решили, что термин в названии был для красоты.

Ах, для красоты? Ну если Вы так решили, тогда конечно можно считать, что Zero day attack - это то же самое, что и Zero day samples (viruses).

Тогда вопросов нет.

И какой результат из всего этого? Можете "подбить баланс"? Уже пора бы.

Баланс подбивают модераторы форума и бухгалтеры.

[Сергей Ильин 1538]

Коллеги, давайте не будем продолжать эскалировать ситуацию. Накал дискуссии уже давно не шуточный, не хватало еще переругаться всем из-за терминологии

[AlexxSun 150]

Если немного вспомнить историю споров на Антималваре, то припоминаются следующие очень интересные моменты :

- Более двух лет тому назад сотрудники DrWeb оспаривали необходимость внедрения в свой продукт более вменяемой самозащиты, все выпады о том, что базы антивируса можно грохнуть и он запустится без них парировались утверждением, что мол автоапдейтер тут же скачает недостающие компоненты. Чем закончился спор всем известно - самозащиту в пятёрке доработали. Следом была точно такая же дискуссия о необходимости сетевого экрана. Результат все тоже знают, пришлось вебовцам браться за разработку собственного СЭ. Сейчас - один в один дискуссия о HIPS. Думаю, что закончится как и в предыдущих случаях, через годик вебовцы объявят о начале тестирования встроенного в их антивирус HIPSa. Валерий, сколько бы вы не упирались и не пытались расписывать здесь уникальность пути, по которому идёт ваша компания, но вам всё равно придётся делать в своём антивирусе то, что другие компании в своих продуктах уже реализовали

[Deja_Vu 366]

Коллеги, давайте не будем продолжать эскалировать ситуацию. Накал дискуссии уже давно не шуточный, не хватало еще переругаться всем из-за терминологии

Увы - но что бы споров не было, нужно сначала с терминологией определиться, а то оперировать ей будет невозможно.

опять же, как относиться к эвристике.

я так понимаю, у некоторых вендеров эвристика работает на базе сигнатур, а у некоторых автономно?

Или продуктов со 2рым типом(по моей типологии (: ) не существует?

[sww 486]

я так понимаю, у некоторых вендеров эвристика работает на базе сигнатур, а у некоторых автономно?

Сначала надо определиться с понятием "эвристика". Она очень даже разная бывает с точки зрения технологий, например:

1) Статический трейсер с правилами

2) Эмулятор с правилами

2.1) п.2 + п.1

3) ...

3.1) ...

и так далее...

[Valery Ledovskoy 1082]

Коллеги, давайте не будем продолжать эскалировать ситуацию. Накал дискуссии уже давно не шуточный, не хватало еще переругаться всем из-за терминологии sad.gif

Вот ещё что. Не хватало мне ещё ругаться из-за терминологии. Хотя бы понять, что есть что.

А dr_dizel для начала бы научиться вести конструктивную дискуссию. Вечно куда-нибудь заносит далеко.

- Более двух лет тому назад сотрудники DrWeb оспаривали необходимость внедрения в свой продукт более вменяемой самозащиты, все выпады о том, что базы антивируса можно грохнуть и он запустится без них парировались утверждением, что мол автоапдейтер тут же скачает недостающие компоненты. Чем закончился спор всем известно - самозащиту в пятёрке доработали.

Подсказка. Антиспам забыли. И ничего странного в том, чтобы защищать собственные продукты, нет. Перечисленная аргументация вполне подходила под те недостатки, которые Вы перечислили. В то время, когда эта аргументация была нужна. Не переносите аргументацию прошлых лет в сегодняшний день.

Так же, как отсутствие нормального антируткита в продуктах Eset объяснялась тем, что если этот антивирус стоит на компьютере, то вирусы не пролезут. Настолько хорошая у него эвристика и проактивка. Да, эвристика неплохая. И понятно, почему так защищаются.

Вот все говорят до сих пор, что продукты ЛК тормозят - отвечают, что 200МБ сканируют за 3 секунды. Тоже всё понятно. Всё ж на поверхности.

А истина, она всегда будет посередине. Поэтому в очередной раз говорю, теперь Вам. Включайте свою голову. Если Вы не доверяете по каким-то причинам одному вендору, посмотрите через эти же очки на антивирусную индустрию в целом. Увидите очень многое. Если призма будет выбрана адекватная.

Следом была точно такая же дискуссия о необходимости сетевого экрана. Результат все тоже знают, пришлось вебовцам браться за разработку собственного СЭ.

Нет, не такая же. Аргументация заключалась в том, что файрволл - это уже не антивирус. Антивирус можно вполне использовать совместно с файрволлами, среди которых достаточно достойных, в т.ч. бесплатных решений. Появилась возможность создать что-то своё - сделали. И это будут комплексные продукты. Только для тех, кто желает.

Думаю, что закончится как и в предыдущих случаях, через годик вебовцы объявят о начале тестирования встроенного в их антивирус HIPSa.

Ничего подобного. Сейчас никто не говорит, что HIPS не будет. Но это не снимает никаких претензий с тестов, которые делают упор на значимости именно HIPS-технологий, хотя в название это не вынесено. Эта точка зрения не изменится никогда.

Валерий, сколько бы вы не упирались и не пытались расписывать здесь уникальность пути, по которому идёт ваша компания, но вам всё равно придётся делать в своём антивирусе то, что другие компании в своих продуктах уже реализовали tongue.gif

Что Вы здесь имеете в виду? Самозащиту, которая сделана совершенно иначе, чем у конкурентов? Антируткит, который работает иначе? Антиспам может быть похож на тот, что реализован в продуктах ЛК?

На самом деле у каждой антивирусной компании свой уникальный путь развития. Чтобы это увидеть, достаточно открыть глаза. Желательно в дневное время суток

я так понимаю, у некоторых вендеров эвристика работает на базе сигнатур, а у некоторых автономно?

А у некоторых, и первое, и второе, и третье, и с компотом

[Deja_Vu 366]

Сначала надо определиться с понятием "эвристика". Она очень даже разная бывает с точки зрения технологий, например:

1) Статический трейсер с правилами

2) Эмулятор с правилами

2.1) п.2 + п.1

3) ...

3.1) ...

и так далее...

А у некоторых, и первое, и второе, и третье, и с компотом

окей ... тогда с чего вдруг это называется у всех эвристикой?

если исходить из общего понимания термина "эвристика", то туда можно и ХИПС засунуть .

[Valery Ledovskoy 1082]

тогда с чего вдруг это называется у всех эвристикой? smile.gif

У кого у всех? Могу за нас сказать. .based - это расширенные вирусные записи. Приблизительно уровень сигнатур. Origins Trasing (.origin) - это нечто между сигнатурами и классическим эвристиком. FLY-CODE мы сейчас считаем частью эвристика, хотя здесь используются другие технологии относительно классического эвристика (который тоже никуда не делся).

если исходить из общего понимания термина "эвристика", то туда можно и ХИПС засунуть smile.gif.

Ну, тогда придётся его детект тоже из теста выкинуть и всё свести к абсурду. Я об этом уже писал выше. Хотя по логике вещей так и получается.

Вот поэтому за попытку оценить возможности продуктов по противодействию новым угрозам - спасибо. А за результат... сложно поддаётся интерпретации. И выносить в заголовок некие "новые угрозы" непонятного типа по непонятно каким правилам выбранные... Не согласен лично я с тем, что так было сделано. Но, возможно, в будущем высказанные замечания будут учтены. Первый блин, как говорится, и должен быть com'ом, а exe'шники будут дальше. Тот тест, что был проведён, можно вполне взять за точку отсчёта и начинать улучшения. Но я бы не стал этот инновационный (т.е. необкатанный по сути) тест, его результаты вообще показывать широкой публике. Не готовы они для этого. Для аналитического портала - да, пойдёт, можно пообсуждать.