Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Valery Ledovskoy 1082]

и никакого отношения к тому как вы "реально" защищаете - он не имеет.

Не имеет. Нужно разделять тестирования на реальных сэмплах и концептах. Тем не менее, если концепт существует (например, тот же самый, что противодействует защите Dr.Web), то это сложно назвать нереальной угрозой. Угроза вполне реальна, но пока что не используется в реальной жизни для злонамеренных действий.

[OlegAndr 236]

P.S. А вот представляете, если бы возможность создания TDL3 была предсказана в прошлом тесте на активное заражение, и вендоры начали бы активно готовиться к возможности существования подобной угрозы уже тогда? Фантастика.... ("А ты предложи, как, а докажи, зачем...").

Что-то мне кажется что концепт будет использван вирусописателями раньше чем антивирусами, ибо у них нет установленного графика выпуска продуктов и обязателств по качеству...

[A. 876]

Угроза вполне реальна, но пока что не используется в реальной жизни для злонамеренных действий.

Откуда вы это знаете, Валера ?

[Александр Шабанов 120]

Что в данном тесте "намеряно" и осознано ли это создателями портала, уже понятно. Не проигрыш волнует, а трактовка - проиграли не технологии, а концепты. Вы, товарищи, как "сумоисты", просто выталкиваете чуждые вам концепты за пределы рыночного татами.

Александр и Илья Шабановы, повторю вопрос: Вы интерфейс установки OSSP видели? Продукт использовали? Так вот: OSSP - сложный продукт. В нем многовато функционала для не самого продвинутого пользователя, и ему нужно облегчить жизнь. Это делается в рамках парадигмы автообучения фаервола и HIPS на работу без вопросов. Доступ к критическим локациям блокируется, самозащита продукта включена. В то время как задетектировавший заражение антивирусный продукт будет "вынесен", OSSP позволит "выковырять" лишний процесс с помощью real-time мониторов антивируса и HIPS. Да, это не для домохозяек.

Вам вряд ли незнакома парадигма "Уровень защиты - на выбор пользователя" - как минимум по продуктам ЛК. Не привыкли к ней? Не верю. Агнитум, в отличие от ЛК, все еще не выпускает продуктов для явных домохозяек (KIS, в отличие от KAV, тоже не для них) - в любом из них требуется покопаться. По умолчанию ставится более легкий режим защиты, но рекомендуется "пристегивать ремни", т.к. "на поворотах заносит". Когда разберетесь в продукте, пишите.

Виталий, оставьте свои маркетинговые формуляры при себе, еще пригодяться для листовок. Почему Вы не устанавливаете по-умолчанию рекомендуюемые Вами настройки? Ответ понятен, за счет такой архитектурной реализации, как показывают результаты не совсем удачной. Вам не кажется, что если тут, как Вы считаете не разобрались с OSSP, то большей части ваших существующих (потенциальных) клиентов это тоже не удасться сделать? И они получат такой же результат как у нас. Я думаю в этом случае сегмент этих пользователей есть кому забрать, судя по результатам.

Для меня логика немного странная, какой антивирусный пакет будет выбран пользователем при покупке, если один из продуктов защищает сразу, а другое еще надо "обучать период существенно меньший чем триальный" для защиты? По мне выбор очевидный, при условии, что эффективность (вы говорили о 80%) и цена приблизительно одинаковая.

Первая претензия: фактические ошибки из уст профессионала, который "полностью разобрался в тесте".

По второй части, какие-то непонятные личные претензии, все же советую делать их фейс-ту-фейс. Хотите стоять в одной шеренге с Eset и ООО "Доктор Веб", то это Ваш выбор.

[grex 40]

Хотите стоять в одной шеренге с Eset и ООО "Доктор Веб", то это Ваш выбор.

На критику со стороны одного из вендоров предпочитаете отвечать в явно провокационной манере, заодно клея ярлыки и другим вендорам? Ну-ну...

[strat 275]

если концепт существует (например, тот же самый, что противодействует защите Dr.Web), то это сложно назвать нереальной угрозой. Угроза вполне реальна, но пока что не используется в реальной жизни для злонамеренных действий.

Мне кажется тестирование именно на концептах мало что даст. Где-то ранее встречал фразу типа "Чтобы защитить систему, администратору надо делать круговую оборону и смотреть во все стороны на все угрозы, а хакеру достаточно всего одной дырки чтобы взлом стал успешен" это не дословно но смысл тот же.

Ну сделают по 10-20-30 концептов и что? Эти конкретные дырки ничего не скажут во время теста и возможно вообще будут неважны т.к. вирусописатели гораздо ранее найдут другие дыры и будут ими пользоваться. Т.е. искусственность такого теста будет слишком велика.

Возможно, ошибаюсь.

[Александр Шабанов 120]

На критику со стороны одного из вендоров предпочитаете отвечать в явно провокационной манере, заодно клея ярлыки и другим вендорам? Ну-ну...

Чего Вы нукаете аноним, прочтите исходное сообщение:

По мнению господина Шабанова, MS MVP, ставящего всякий раз отсутствие конкретных технологий во главу маркетингового угла, а небольшие доходы (или темпы их роста) - во главу фактора технологического развития. Спасибо за уважение, г-н Шабанов. "Лузеры" еще "обязательно сдуются" и без ваших оценочных суждений, которые Вы выносите в каждую ветку форума, а пока им просто не очень нравится с Вами работать, как Eset и Dr. Web.

Я так понимаю, Виталий может говорить только за свою компанию.

[UIT 103]

Затем же, зачем подбирают чужой бумажник в автобусе и отдают его тому, кто его уронил - во-первых, это по-человечески, во-вторых, никто из пассажиров не будет больше наступать на него, нервно поглядывать, пытаться воспользоваться в личных целях... (всем станет спокойнее)

Ого.

Пожалуй схожу завтра к своему работодателю, попрошу существенно поднять ЗП и сократить рабочий день.

[Valery Ledovskoy 1082]

Откуда вы это знаете, Валера ?

Ко мне такая информация не поступала. А Вы уже сделали такую?

Ну сделают по 10-20-30 концептов и что? Эти конкретные дырки ничего не скажут во время теста и возможно вообще будут неважны т.к. вирусописатели гораздо ранее найдут другие дыры и будут ими пользоваться. Т.е. искусственность такого теста будет слишком велика.

Возможно, ошибаюсь.

Я думаю, что уменьшение общего количества дыр (даже тех, что не обнаружили ещё вирусописатели) и их закрытие - в любом случае один из немногих позитивных моментов для вендоров от проведения независимых тестов.

ибо у них нет установленного графика выпуска продуктов и обязателств по качеству...

Что-то мне подсказывает, что такие графики и такие обязательства есть и "у них". Причём довольно жёсткие. Деньги-то не малые заказчики подчас тратят. И не для легальных целей. Ферштейн? Могут ведь и обратно захотеть денюжки за халтуру. Новые типы угроз, их технологический уровень это подтверждают. Я не о вирусном мейнстриме, я о новых вирусных технологиях, которые находятся над общим трафиком, выделяются из него. Если говорить вот о TDL3, то, как оказалось, разошёлся он достаточно хорошо, гораздо серьёзнее, чем предыдущие нашумевшие руткиты. И модифицируется эта вредоносная программа ежедневно и еженощно.

[A. 876]

Ко мне такая информация не поступала. А Вы уже сделали такую?

Тогда может быть стоило сказать так - "Угроза вполне реальна и я, Валерий Ледовской, пока что не знаю используется ли она в реальной жизни для злонамеренных действий или нет" ?

Вы зря занимаетесь самоуспокоением. Подобные вещи регулярно используются для проведения точечных атак. Согласитесь, обладая информацией о такой уязвимости и одновременно зная (из ваших же пресс-релизов) о том, что у какого-то крупного "вкусного" клиента стоит уязвимый антивирус - можно наворотить очень серьезных дел. О которых вы можете так никогда и не узнать.

[xyz 45]

Ключевая идеалогичесткая особенность этого теста состоит как раз в том, что технологии для участия в нем в принципе не важны - делайте что угодно, но чтобы заразы у меня на компе не было!

По сему разговоры в стиле, что нельзя нас сравнивать потому, что у нас нет HIPS тут совсем не в кассу. Все это в пользу бедных. Нужно дать результат, он и оценивался в итоге.

**************

Теперь по поводу процентов. Разговоры про влияния методологии на результат в нашем случае выглядит уж совсем как циганщина. Какая разница 20%, 30% или даже 40%? Все равно высокого результата не добиться, если технологии в продукте 95-98 года.

Сергей Ильин, а Вас не смущает более чем двукратная разница

в результатах вот этого http://www.anti-malware.ru/proactive_test_2009

и вот этого http://www.anti-malware.ru/antivirus_test_...-day_protection

ваших тестов для Bitdefender и Dr.Web?

Или это статистическая погрешность?

Или эти тесты ни малейшим образом идеологически никак не связаны?

[Valery Ledovskoy 1082]

Тогда может быть стоило сказать так - "Угроза вполне реальна и я, Валерий Ледовской, пока что не знаю используется ли она в реальной жизни для злонамеренных действий или нет" ? rolleyes.gif

Да, эта фраза соответствует действительности. Думаю, Вы заметили, что, например, Илья Шабанов, давая комментарии, постоянно пытается себя защитить, формулируя мысли от множества людей (используются слова "мы", "все", "считается"), я же стараюсь писать то, до чего дохожу сам. Да, не всегда прав, но всё ж считаю более правильным выступать от своего имени. Но я хотел сказать не это.

Думаю, что если бы такая "реальная" угроза появилась, о ней бы многие узнали в течение довольно короткого времени. И я бы тоже об этом узнал.

А т.к. исходники не опубликованы, то появление такой угрозы ещё могло бы указывать на авторов концепта, т.е. на них бы внимание было бы обращено в первую очередь. И ссылку на rootkit.com в СМИ перестали бы давать так же охотно. Как-то так.

Кстати, этот концепт я привёл в качестве примера, а мы что-то углубились в него. В продуктах других антивирусов (в т.ч. в продуктах ЛК) тоже есть проблемы, уязвимости, которые не сразу решаются и которые приносятся в жертву. В других продуктах тоже оцениваются приоритеты в области повышения уровня защищённости этих продуктов от влияния извне. Как Вы, Александр, уже говорили, абсолютно защищённых продуктов не бывает. И существование этого концепта для Dr.Web совсем не противоречит тезису о том, что в наших продуктах один из самых лучших модулей самозащиты.

[IN-HOOD 40]

2xyz

Может быть дело в этом -

Тест антивирусов (Zero-day)

"Все антивирусы тестировались со стандартными настройками по умолчанию и со всеми актуальными обновления, полученными в автоматическом режиме"

Тест проактивной защиты

"Сканирование по требования производилось с максимально возможными настройками: включение эвристики (максимальный уровень), проверка всех файлов, обнаружение всех типов вредоносных и потенциально опасных программ"

[xyz 45]

2xyz

Может быть дело в этом -

Не знаю как у битдефендера, но у доктора это одинаковые настройки, т.е. "включение эвристики (максимальный уровень), проверка всех файлов, обнаружение всех типов вредоносных и потенциально опасных программ" это по-умолчанию.

И в сканере и в спайдере.

Если у бита есть настройка уровня эвристики, то да, возможны различия, у доктора - нет.

К тому же оба продукта имеют функцию блокировки вредоносных ссылок, т.е. результаты по идее должны быть выше при правильном эмулировании действий пользователя.

На самом деле у меня есть ответы на мои вопросы.

Мне интересен ответ "владельца" этого конкурса.

[Vofres 20]

На самом деле у меня есть ответы на мои вопросы.

Так не томите, поделитесь со всеми

[Сергей Ильин 1538]

Сергей Ильин, а Вас не смущает более чем двукратная разница

в результатах вот этого http://www.anti-malware.ru/proactive_test_2009

и вот этого http://www.anti-malware.ru/antivirus_test_...-day_protection

ваших тестов для Bitdefender и Dr.Web?

Или это статистическая погрешность?

Или эти тесты ни малейшим образом идеологически никак не связаны?

Не смущает. Тесты уж больно разные, не смотря на кажущуюся их похожесть. В тесте проактивной защиты мы по сути проверяли эффективность работы эвристики, речи о комплексности не было. Мы не запускали самплы, не учитывался возможный вклад других компонентов защиты.

Самое же главное отличие состоит в выборке базы для тестирования. В тесте проактивной защиты мы берем все новые для нас образцы вредоносных программ, которые удается собрать. При этом текущий их детект никак не учитывается (базы заморожены). Тут важно, чтобы: 1) Чтобы эти обзразцы были новые именно для нас. 2) Тут мы оперируем понятием файл (образец вредоносной программы).

В обсуждаемом здесь тесте мы брали новейшие образцы, но оперировали в тесте вредоносными ссылками. Таким образом, на результат могли влиять многие другие компоненты защиты, а не только классический файловый антивирус. В этом принципиальное отличие методики этого теста от всех остальных. Можно вообще не детектить бинарники, но показать очень высокий уровень защиты.

Вот тут выше коллеги Валерий и Виталий возмущаются, пытаются реабилитировать родные антивирусы всеми правдами и не правдами, но понимания сути теста и его цели, к сожалению, я у них не вижу.

Не знаю как у битдефендера, но у доктора это одинаковые настройк

Да не в настройках тут дело, точнее не только в них. В данном тесте отрабатывали все имеющиеся у антивируса технологии и компоненты защиты, а в тесте на проактивную защиту - только файловый антивирус (его технологии).

Чтобы показать высокий результат в этом тесте на Zero-day совсем не нужно было детектировать бинарники загружаемых по ссылкам вредоносных программ. Можно было, например, присечь вредоносные действие уже на стадии работы скрипта на самой страницы или на стадии загрузчика вредоносной программы. Или даже еще раньше, заблокировав сам URL по репутации как вредоносный.

[xyz 45]

Не смущает.

Спасибо за откровенный ответ.

Я всегда завидовал и буду завидовать людям, не знающим сомнений и смущений.

[Сергей Ильин 1538]

Не проигрыш волнует, а трактовка - проиграли не технологии, а концепты. Вы, товарищи, как "сумоисты", просто выталкиваете чуждые вам концепты за пределы рыночного татами.

Их выталкиваю не я, не мы в двоем с Александром, это делает и будет продолжать делать рынок! Мне искренне жаль, что вы этого в своей компании не понимаете. Извините, но по вашим комментариям выше очень хорошо видно, что у вас маркетинг в компании просто отсутствует. Вы сами не понимаете для кого делаете свои продукты, как люди их используют, что им удобно, а что нет.

Ответьте мне на вопрос, с какой стати мы вообще должны каким-то специальным образом рассматривать ваш продукт, если для пользователей это выглядит как извращение? Может еще и попросите меня отстаивать ваши идеи чучхе в блоге?

Вам вряд ли незнакома парадигма "Уровень защиты - на выбор пользователя" - как минимум по продуктам ЛК. Не привыкли к ней? Не верю. Агнитум, в отличие от ЛК, все еще не выпускает продуктов для явных домохозяек (KIS, в отличие от KAV, тоже не для них) - в любом из них требуется покопаться. По умолчанию ставится более легкий режим защиты, но рекомендуется "пристегивать ремни", т.к. "на поворотах заносит". Когда разберетесь в продукте, пишите.

Уровень защиты на выбор есть почти в любом продукте, но только у вас пользователям рекомендуется одно, а по умолчанию включается другое.

Да, OSS, мог бы взять больше, если бы настройки по умолчанию были бы наиболее эффективные, но сейчас это не так, поэтому и тест провален. Исправляйте эту нелогичность, в следующем тесте будет больше шансов. Больше нечего предложить не могу.

Где в Dr. Web, AVG 8.5, Eset Smart Security, Avira и Avast! HIPS? Где в Avast, Eset, AVG (не проваливших тест) "облачные технологии" (кроме LinkScanner для веб-сайтов)? Что тестировали в итоге профессионалы в HIPS и вирусной аналитике. по мнению администраторов?

Перестаньте передергивать! Avast, Eset, AVG получили медали, они не провалили тест. Если бы у них были еще и другие технологи, например, те же облачные, то они были бы гораздо выше.

Интересно как раз другое. Наличие "облака" не помогло Panda Internet Security 2010 показать достойный результат. Хотя продвигаются они на этой технологии очень активно.

Пикантным моментом тут является тот факт, что Panda Security, как и Доктор Веб, негативно настроена к независимым тестам (отказалась от участия в тестах VB и AV-Comparatives). Выводы делайте сами.

Для тех, кто в танке:

"Лузеры" еще "обязательно сдуются" и без ваших оценочных суждений, которые Вы выносите в каждую ветку форума, а пока им просто не очень нравится с Вами работать, как Eset и Dr. Web.

Вы знаете, мне как-то тоже с "лузерами" не по пути. Обратное утверждение было бы очень странным

Только вот Eset Вы зря суда вписали, все такие второе место на российском рынке ...

[Valery Ledovskoy 1082]

Вот тут выше коллеги Валерий и Виталий возмущаются, пытаются реабилитировать родные антивирусы всеми правдами и не правдами, но понимания сути теста и его цели, к сожалению, я у них не вижу.

Неверно. Лично я пытаюсь показать на название теста и несоответствие тому, что делалось. Тестирование проводилось не на всех видах не "новых" угроз. А при выбранной методике результаты получились вполне адекватными. Но в СМИ были поданы неадекватно. Многим это очевидно, но не Вам.

Можно было, например, присечь вредоносные действие уже на стадии работы скрипта на самой страницы или на стадии загрузчика вредоносной программы. Или даже еще раньше, заблокировав сам URL по репутации как вредоносный.

Или использовать эвристик. Или расширенные сигнатуры. Тот факт, что тест этого не учитывает, Вы считаете желанием "правдами и не правдами реабилитировать антивирусы"? Мы можем лишь предполагать сейчас, как могут защищать сейчас от "новых" угроз антивирусы при использовании всего арсенала доступных средств. Весьма приблизительно. Точной оценки Вы нас лишили, введя искусственную фильтрацию zero-day-угроз по... детекту на Virustotal (!). При этом фильтр ничего не говорит нам о том, что семпл является zero-day-угрозой. Да ещё и ответственность перекладывается на владельцев сайта virustotal.com, которые тоже снимают с себя ответственность за возможные ошибки:

Hispasec makes every effort to ensure that the information that appear on its website is true and up-to-date. However, errors or omissions may occur, and for this reason, the User should not consider information to be accurate without first checking the accuracy of the information with Hispasec. None of the information or content on this website should be considered as an indubitable fact. Hispasec cannot control how the User utilizes the information or content offered on this website and will therefore not be held responsible for deeds, acts or damages, whether direct or indirect, suffered by the User or third-parties which could be the consequence or arise from the use of said information or content.

© http://www.virustotal.com/privacy.html

Так что там, в Hispasec уточняли информацию? Как же так?

Соответствуют ли настройки сканирования на Virustotal настройкам, принятым по умолчанию в тестируемых домашних продуктах?

Насколько можно каждый антивирус на Virustotal считать равнозначным, чтобы строить фильтр по проценту детектов?

А то, что разница в детекте на virusotal.com и в жизни имеет место быть, постоянно находит отражение.

Я тут пробовал в виртуалке на KAV 2010 сэмплы запускать. Знаете - на вирустотале все из 6 не затетектилась Касперским. В жизни же KAV 2010 три сэмпла из шести задетектил сигнатурно. Чёткой вирусной записью, не дженериком или каким пакером.

И это были те самые zero-day-угрозы, которые вы отбирали по детекту на Virustotal.

А, вспомнил, тут ещё virustotal.com недавно неправильные контрольные суммы файлов считал. До этого мне было очень удобно проверять - сканировал я уже такой файл там или нет. А тут наткнулся на случай, когда для файлов, которые уже были просканированы, при новом сканировании были посчитаны другие контрольные суммы. Да, бывает и такое...

Так что нам там тест показал? Выводы сделать или сами?

Для тех, кто в танке:

Да-да, для тех, кто в танке, могу повторить в надцатый раз.

1. Название теста не отражает то, что Вы приложили в качестве изображения.

2. То, что написано в изображении, не соответствует тому, что было сделано.

Вы знаете, мне как-то тоже с "лузерами" не по пути. Обратное утверждение было бы очень странным laugh.gif

Ищу снова удобный момент слинять отсюда на подольше. Противно.

Только вот Eset Вы зря суда вписали, все такие второе место на российском рынке ...

Не-не-не, и здесь это влияние идеологии Симантека по определению лидерства. Увольте, увольте.

[Сергей Ильин 1538]

Или использовать эвристик. Или расширенные сигнатуры. Тот факт, что тест этого не учитывает, Вы считаете желанием "правдами и не правдами реабилитировать антивирусы"?

Для этого у нас есть - тест проактивной антивирусной защиты. Там как раз исследуется эффективность именно эвристики, расширенных сигнатур и т.д.

1. Название теста не отражает то, что Вы приложили в качестве изображения.

2. То, что написано в изображении, не соответствует тому, что было сделано.

Вы мне что пытаетесь сейчас доказать? Методология давно была утверждена, результаты опубликованы, награды розданы. Название на мой взгляд наиболее адекватное, какое можно было для этого теста придумать, чтобы он был понятен простым пользователям. Не нужно пытаться меня убедить в обратном, это бесполезно.

Ищу снова удобный момент слинять отсюда на подольше. Противно.

Ну сами напросились, никто никого за язык не тянул.

[Valery Ledovskoy 1082]

Для этого у нас есть - тест проактивной антивирусной защиты.

Ну что за бред. Да, этот тест есть. Но наличие этого теста не означает, что в вашем тесте на противодействие новым вирусным угрозам было исследовано то, что заявлено.

Название на мой взгляд наиболее адекватное, какое можно было для этого теста придумать, чтобы он был понятен простым пользователям.

Так вот пользователи тем самым вводятся в заблуждение.

Ну сами напросились, никто никого за язык не тянул. dry.gif

Где-то тут уже говорилось, что аналогичные ответные действия совершают только люди недалёкие. Вы - лицо тестовой лаборатории, а позволяете себе показывать личное отношение к чему-либо публично, в теме, где идёт обсуждение тестирования - святая святых тестовой лаборатории. Для меня это является показателем степени созревания коллектива, которым Вы руководите, как управляющий партнёр, для проведения и освещения результатов тестирования. И я буду этот аргумент использовать, если у меня будут спрашивать комментарий по поводу тестирований АМ.

Методология давно была утверждена,

Да, Вы как один из учредитель тестовой лаборатории, утвердили некорректную методику тестирования. Или некорректное название теста. Одно из двух. И не нужно здесь пенять на то, что я мог на это повлиять. Я много что и где мог и не сделал, но это не повод игнорировать явные недостатки тестирования.

Сплошной популизм и демагогия.

А я, если честно, хотел услышать конкретный комментарий на критику использования детекта на Virustotal в качестве инструмента для отбора сэмплов для тестирования. Показал, что этого делать было нельзя. Virustotal - очень ненадёжный источник. Да, удобный в работе, но ненадёжный. И владельцы ресурса недвусмысленно говорят, что так делать нельзя, и Вы это тоже игнорируете. Как и многое другое.

[A. 876]

Замечания Ледовского по поводу вирустотала - мне лично кажутся заслуживающими внимания.

[vaber 350]

Замечания Ледовского по поводу вирустотала - мне лично кажутся заслуживающими внимания.

http://www.anti-malware.ru/forum/index.php...ost&p=86460

[A. 876]

http://www.anti-malware.ru/forum/index.php...ost&p=86460

Что конкретно ?

Это - "А причем тут детект на Virustotal? Virustotal лишь использовался для того, чтобы определить годен ли сампл для теста - если детект не большой - то отправлялся тестеру, а тот уже как брал его в тест проверял на стенде сам бинарник на детектируемость файловым антивирусом." ?

Это не отвечает вопрос о потенциальных проблемах с тем, что а) настройки на VT у всех разные б) версии неактуальные.

Валерий говорит о том, что критерий "детект не большой" - мог быть неверным.

[vaber 350]

Это не отвечает вопрос о потенциальных проблемах с тем, что а) настройки на VT у всех разные б) версии неактуальные.

Валерий говорит о том, что критерий "детект не большой" - мог быть неверным.

Если говорить в целом, то да. Но если говорить в контексте данного тестирования - то нет. Virustotal использовали те, кто отбирал семплы чисто с целью уменьшить работу тестеру - не отправляя ему то, что детектируется большинством. В любом случае тестер, когда брал линку в тест проверял бинарь антивирусами на тестовом стенде.

Я к тому, что ставить под сомнение "а действительно ли бинарники не детектировались" отталкиваясь от использования Virustotal-а не верно.