Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Deja_Vu 366]

Как выяснили, не всё подряд, а только определённые кнопки.

соглашусь... не все подряд, а как я понимаю, ему повезло натыкаться только на новые вредоносные ссылки, которые не попали в зону видимости большинству вендеров.

[Илья Рабинович 521]

Я не говорю, что HIPS не нужен. Нужен, конечно, и будет. Но фильтр, который был применён в тесте для отбора вредоносных программ, выпячивает возможности HIPS-технологий, искусственно зажимая возможности других типов проактивных технологий.

Валерий, как-то, после предварительного теста на предотвращение заражения, мы договорились, что максимум, на который способны "другие типы" проактивных технологий на основе чёрных списков- 70%. Ну 80% максимум. Выше могут "выпятиться" только различные типы HIPS. 100% результат могут обеспечить, при этом, только HIPS. О чём спор, собственно, не понимаю...

[Valery Ledovskoy 1082]

О чём спор, собственно, не понимаю...

О разнице между 30% и возможностью получить 70%. О выборе методологии и организации тестирования. О выборе продуктов для тестирования. О выборе названия тестирования. О способах преподнесения результата тестирования СМИ. И, как результат, о воздействии на сознание и подсознание пользователей, т.к., по мнению авторов, тест проводился для того, чтобы облегчить пользователям выбор. О всём цикле, в общем-то, речь идёт.

соглашусь... не все подряд, а как я понимаю, ему повезло натыкаться только на новые вредоносные ссылки, которые не попали в зону видимости большинству вендеров.

Вот именно.

[Deja_Vu 366]

Вот именно.

Я как пользователь хочу найти продукт, который будет максимально защищать мой компьютер от вирусных атак.

Так как чаще всего я работаю с интернетом, то соответственно это первоочередной источник, где я могу подцепить заразу, при чем самую новенькую.

С сигнатурными базами уже все давно понятно ... что вендоры не покладая рук работают, отлавливают разную заразу и естественно можно на каждый продукт найти такие семплы, которых в базе нет.

Я хочу узнать, какой продукт защитит меня с наиболее высокой вероятностью, если я любитель полазить по простором интернета и жму все ссылки подряд.

Данный тест, по тому как я его понимаю, должен ответить на данный вопрос, снизив вероятность сигнатурного детекта, т.к. нам не нужна масса никому не нужных детектов всем известных зловредов. В этот момент, имеет влияние лишь скорость реакции вендора. Т.е. если вирлаб работает очень шустро, то сигнатурное обнаружение у соответствующих продуктов будет.

Почему это новая угроза?

Новая угроза в контексте данного теста - это угроза, которая не известна(сигнатурно не зарегистрирована) абсолютному большинству тестируемых.

Хотя в одном моменте не могу не согласиться... действительно, эвристические механизмы в этом тесте ... хм... были обделены.

Но как пользователь, я знаю, что вирусописатели используют сервисы аля VT и тестируют свои новые поделки. Соответственно меня интересует, на сколько реально меня защитит мой антивирус, если я столкнусь с такой вот "новой" угрозой.

P.S.

Валейрий, предложите новое название, думаю .. никто не будет против переименовать тест, если название будет более корректным.

[Илья Рабинович 521]

О разнице между 30% и возможностью получить 70%.

Если честно, так по мне никакой разницы нет. И то, и другое не обеспечит предотвращение заражения в масштабах среднего предприятия и выше.

[Сергей Ильин 1538]

К вопросу о том, что мы тестировали. Читаем выделенное красным шрифтом в самом начале отчета о тестировании:

В данном тестировании мы изучали комплексную эффективность антивирусов по противодействию новейшим образцам вредоносных программ, передаваемых пользователям наиболее распространенным сейчас способом - через зараженные веб-сайты.

Подавляющему количеству пользователей пофиг какие там внутри хипсы, сендбоксы, эвристики и т.п. на его взгляд "техническая хренотень" (слова не мои, приходилось слышать ). Думаю, что с этим никто спорить не будет. Если было иначе, то наличие той или иной технологии создавало бы реальное конкурентное преимущество, а это не происходит, особенно в сегменте персональных антивирусов.

Пользователям нужен результат - защита от вирусов, как она обеспечивается их не волнует. Кроме того, большинство видят эту угрозу только в том, что "компьютер вдруг начал тормозить" или "выскакивают какие-то окошки и мешают читать одноклассники"

Ключевая идеалогичесткая особенность этого теста состоит как раз в том, что технологии для участия в нем в принципе не важны - делайте что угодно, но чтобы заразы у меня на компе не было!

По сему разговоры в стиле, что нельзя нас сравнивать потому, что у нас нет HIPS тут совсем не в кассу. Все это в пользу бедных. Нужно дать результат, он и оценивался в итоге.

**************

Теперь по поводу процентов. Разговоры про влияния методологии на результат в нашем случае выглядит уж совсем как циганщина. Какая разница 20%, 30% или даже 40%? Все равно высокого результата не добиться, если технологии в продукте 95-98 года.

А теперь конкретика. Ну нет HIPS в Dr.Web и других проваливших тест продуктах. Нет также репутационных облачных технологий, например, для оценки репутации для файлов, веб-сайтов, email сообщений. Проактивкой в ее классической теперь уже реализации (два года назад такая фраза смотрелась бы чудовищно) проигравшие, в том числе и Dr.Web, также похвастаться не могут. А руководство компании ООО "Доктор Веб" проактив уж совсем не жалуют.

[Виталий Я. 859]

Илья, Илья и Deja_Vu ,

вас преследует некое предубеждение, что пользователя защитить можно только по вашей методе. И что пользователь - это универсальное беазпелляционно желающее простоты существо.

Постановка задачи "кривая", если не обучать продукты на вредоносных линках Ведь включенные HIPSы - молодцы. И докажите-ка отсутствие в Outpost HIPS. Не будь продукт включен в режиме автообучения в допущении незараженной системы, он "взял" бы от 80 процентов.

Прямо по тексту не очень изобретательных фантастов: "В данном тестировании мы изучали комплексную эффективность скафандров по противодействию новейшим образцам осколков метеоритов, прилетающих к астронавтам наиболее распространенным сейчас способом - через открытые для стыковки шлюзы."

А какого диаметра ваш сферический пользователь в вакууме?

Сергей-Илья, у вас до сих пор в названиях тестов эвристический анализ по сигнатурам приравнен ко всей проактивке комплексного продукта: http://www.anti-malware.ru/node/148 Так что в "Доктора" кидаться - себя не уважать.

А разговор про технологии 95-98 года умиляет. Публичный self-тест на профпригодность как аналитика?

[Deja_Vu 366]

Постановка задачи "кривая", если не обучать продукты на вредоносных линках Ведь включенные HIPSы - молодцы. И докажите-ка отсутствие в Outpost HIPS. Не будь продукт включен в режиме автообучения в допущении незараженной системы, он "взял" бы от 80 процентов.

Я дурак Василий Прошкин - мне сказали, я поставил - оно должно работать.

Вообще мне нравится продукция Outpost и я сам являюсь лицензионным пользователем

Не смотря на все тесты, лично я считаю, что в продуктах agnitum лучший firewall на свете

[dr_dizel 385]

Боже ж мой сколько флуда.

Всё обсуждение можно свести к вопросу и ответу:

Вопрос: Зачем вы нас опозорили, если у нас нет технологий, которые бы мы могли применить для предотвращения опасностей отбираемых согласно методологии теста?

Ответ: Пользователю антивирусных продуктов нахезать с высокой колокольни на их внутренности и способы реализации защиты - ему нужен результат: защита от новейших вредоносных программ.

Поэтому нельзя исключать какой-то АВ из теста по причине его "лысости", даже если производители не хотят участвовать в тесте.

[Valery Ledovskoy 1082]

Всё обсуждение можно свести к вопросу и ответу:

Нет, неверное понимание сути претензий.

В данном тестировании мы изучали комплексную эффективность антивирусов

Нет, не комплексную.

Большинство zero-day-угроз, которые я вижу каждый день, детектируются на Virustotal от 0 до 50% антивирусов. При этом если процент доходит до 50% - это, как правило, эвристические технологии. Тест этого не учитывает.

Ключевая идеалогичесткая особенность этого теста состоит как раз в том, что технологии для участия в нем в принципе не важны - делайте что угодно, но чтобы заразы у меня на компе не было!

Вот полноценного моделирования поведения пользователя и не получается.

Все равно высокого результата не добиться, если технологии в продукте 95-98 года.

Это по меньшей мере несерьёзное заявление. В 95-98 годах никто и не мог мечтать о таких технологиях как Origins Tracing и FLY-CODE, аналоги которых есть далеко не у каждого вендора даже сегодня. Тогда эти технологии были просто не нужны. Несколько человек вполне успевали каждый сэмпл обрабатывать вручную.

То, что может Dr.Web против zero-day-угроз - это явно больше 30%, полученных по использованной методологии.

Ну нет HIPS в Dr.Web и других проваливших тест продуктах.

Значит, либо не берите такой продукт, либо не стройте такую методологию тестирования, которая даёт особое преимущество HIPS-технологиям, задвигая все остальные. Остальные технологии тоже работают. Более эффективно, чем показывает тест.

А руководство компании ООО "Доктор Веб" проактив уж совсем не жалуют.

Неверные сведения. Как я уже говорил выше, HIPS нужен, и он будет. Насколько знаю, реализация будет отличаться существенно от имеющихся аналогов. Врочем, как и часто это бывает, если речь заходит о Dr.Web. (и из-за чего мне всяческие тесты, укладывающие все антивирусы под одну гребёнку, не нравятся - любая уравниловка различных антивирусных технологий априори противоестественна - более или менее).

И это никак не оправдывает выбранную методологию тестирования для теста на противодействие "новым" угрозам.

Валейрий, предложите новое название, думаю .. никто не будет против переименовать тест, если название будет более корректным.

Тест HIPS-технологий на противодействие новым угрозам.

[Виталий Я. 859]

Тест HIPS-технологий на противодействие новым угрозам.

Валерий, это тоже не так. "Тест на пробой защиты антивирусного комплекса в первый час после инсталляции в настройках по умолчанию" - так вернее.

[Александр Шабанов 120]

Валерий, это тоже не так. "Тест на пробой защиты антивирусного комплекса в первый час после инсталляции в настройках по умолчанию" - так вернее.

Виталий, вы можете ёрничать сколько угодно, из 36 реально вредоносных линков вы защитились только в 11 случаях.

Напишите в документации тогда, что какое-то время Ваш продукт не будет защищать или не берите денег на срок "обучения" своего продукта.

И еще добавьте сноску *Производитель не рекомендует работать с настройками по умолчанию, а как настроить думайте сами.

[Илья Рабинович 521]

Не будь продукт включен в режиме автообучения

Виталий, я очень сожалею, но режим (само)обучения как в HIPS, так и в файерволе- это технология прошлого века.

[kvit 85]

Виталий, я очень сожалею, но режим (само)обучения как в HIPS, так и в файерволе- это технология прошлого века.

а подход в разделении ("DefenseWall HIPS разделяет все приложения на доверенные и недоверенные.") чем то отличается от самообучения? ведь пользователь же сам устанавливает уровень приложения, тем самым косвенно "обучая" DW. Или в чем то я заблуждаюсь?

[Сергей Ильин 1538]

Ведь включенные HIPSы - молодцы.

Да, они молодцы

Не будь продукт включен в режиме автообучения в допущении незараженной системы, он "взял" бы от 80 процентов.

Взял бы, защитил бы, но не взял и не защитил, к сожалению

Можно сколько угодно делать свои продукты основываясь на идеях чучхе и ориентируясь на узкую группу продвинутых пользователей. Только тогда не нужно рассчитывать на то, что эти продукты буду подходить для массового пользователя.

И правда, напиши тогда на сайте и в инструкции, что ваши рекомендованные настройки по умолчанию не защищают от новых угроз.

Цитата(Сергей Ильин @ 13.11.2009, 0:02) *

В данном тестировании мы изучали комплексную эффективность антивирусов

Нет, не комплексную.

Валерий, вы умеете читать фразы до конца? Или только в пределах 10 слов?

В данном тестировании мы изучали комплексную эффективность антивирусов по противодействию новейшим образцам вредоносных программ

[Valery Ledovskoy 1082]

а подход в разделении ("DefenseWall HIPS разделяет все приложения на доверенные и недоверенные.") чем то отличается от самообучения? ведь пользователь же сам устанавливает уровень приложения, тем самым косвенно "обучая" DW. Или в чем то я заблуждаюсь?

Всегда неплохо попробовать продукт перед подобными заявлениями, чтобы потом не обвиняли в некомпетентности. Я попробовал DefenseWall недавно. При минимальном размере дистрибутива возможности действительно приличные.

Thunderbird был автоматически при установке добавлен в недоверенные приложения.

Архив с сэмплом из сообщения был сохранён на Рабочий стол, и тоже автоматически добавился в список недоверенных объектов.

WinRAR, с помощью которого я разархивировал этот архив на Рабочий стол, не был в списке доверенных приложений, но распакованный файл также был добавлен в список недоверенных объектов.

При запуске сэмпла была заблокирована установка вредоносных объектов в систему (в моём случае создавались для этого файлы во временной директории Windows).

Т.е. продукт отработал согласно заявленной функциональности на ура.

И теперь я понимаю, почему Илья Рабинович с такой уверенностью заявляет, что ему без разницы, как будет проходить тестирование его продукта.

Теперь я больше склонен к тому, что существующие тестирования технологий, противодействующих заражению системы, недостаточно полноценны, даже если они ориентированы на тестирование HIPS и о них говорится, что они инновационные.

Я до сих пор не верю в 100%-ную непробиваемость таких продуктов, и они никак не могут помочь в принципе в случаях, если заражение уже произошло (а тот же Dr.Web и некоторые другие антивирусы, обладающие другими технологиями, это могут делать, ибо изначально ориентировались на такие ситуации), но возможности DefenseWall по предотвращению заражений заслуживают внимания.

Здесь должны сделать очередной ход тестовые лаборатории, чтобы показать недостатки технологий, которые существуют и в DefenseWall. Но пока что таких возможностей у тестовых лабораторий нет, они не доросли до того, чтобы показать пользователям эти недостатки. Оно и понятно, не так просто найти бреши в технологиях, которые работают на уровне поведенческого анализа. Здесь нужны элементы создания новых собственных концептов при проведении очередного тестирования, которые вскрывают уязвимости в анализе поведения сэмплов, даже если в настоящее время все zero-day-угрозы идут по пути наименьшего сопротивления, т.е. используют обкатанные методы установки в систему и исполнения вредоносного функционала. У тестовых лабораторий для этого просто не хватает специалистов сейчас. Тестирование идёт на другом уровне.

Валерий, вы умеете читать фразы до конца?

Да, Илья, умею, но я обратил внимание в данном случае на то, что Вы непосредственно выделили жирным текстом. Кроме того, вся фраза целиком не читается в названии теста. Кроме того, она и не соответствует полностью тому, что делалось. Или Вы не хотите понимать (или не можете) мои аргументы, которые я много раз повторял.

[Сергей Ильин 1538]

В 95-98 годах никто и не мог мечтать о таких технологиях как Origins Tracing и FLY-CODE, аналоги которых есть далеко не у каждого вендора даже сегодня. Тогда эти технологии были просто не нужны. Несколько человек вполне успевали каждый сэмпл обрабатывать вручную.

Вы просто чудовищно противоречите основателю компании, в которой работаете. Он многократно говорил о том, что все эти технологии были вами придуманы еще в 95-98. Такая вот бравада, которая сейчас боком выходит компании. Я не случайно привел именно эти годы.

А нужны ли уже кому-то из конкурентов аналоги Origins Tracing и FLY-CODE? Вы об этому думали? Или такие мысли кощунственны по определению?

Неверные сведения. Как я уже говорил выше, HIPS нужен, и он будет. Насколько знаю, реализация будет отличаться существенно от имеющихся аналогов.

Опять противоречите своему руководству или оно (руководство) быстро меняет свою многократно озвученную публично позицию на тему, цитирую "проактива не будет".

То, что может Dr.Web против zero-day-угроз - это явно больше 30%, полученных по использованной методологии.

Это все ваши догадки и личная вера. Никто этого из вне не подтверждает, к сожалению. Некоторые еще верят, что и АвтоВАЗ делает комфортные и надежные машины

Более эффективно, чем показывает тест.

Тоже самое. Ничем не подкрепленное личное мнение.

Признаться, я до начала теста тоже думал, что DrWeb будет ну хотя бы в десятке, ошибался, увы.

[Valery Ledovskoy 1082]

ы просто чудовищно противоречите основателю компании, в которой работаете. Он многократно говорил о том, что все эти технологии были вами придуманы еще в 95-98. Такая вот бравада, которая сейчас боком выходит компании. Я не случайно привел именно эти годы.

Про какие все технологии Вы говорите? Конкретно. Если какие-то технологии задумывались или частично воплощались в 95-ом году, то это не значит, что они остались до сих пор на том же уровне. Могу сказать, что то, что было сделано в те годы, действительно иногда помогает нашим продуктам противодействовать современным вирусным угрозам.

А нужны ли уже кому-то из конкурентов аналоги Origins Tracing и FLY-CODE? smile.gif Вы об этому думали? Или такие мысли кощунственны по определению?

Нужны. Ибо поведенческий анализ тоже не панацея. Если панацея, то приведите доказательства. Серьёзные научные доказательства.

И учтите, что обратная связь с пользователем не всегда возможна. Это может быть корпоративный продукт, который должен работать на полном автомате.

Это может быть и проверка почтового трафика, проходящего через почтовый сервер или интернет-шлюз (привет Илье Рабиновичу).

Опять противоречите своему руководству или оно (руководство) быстро меняет свою многократно озвученную публично позицию на тему, цитирую "проактива не будет".

"Проактива" в терминах ЛК не будет. Будет собственная реализация HIPS. И как говорил основатель компании Игорь Данилов, такие технологии были и раньше. От себя добавлю, что были их элементы, но никогда не рано и не поздно заняться HIPS-технологиями основательно. Приоритеты развития технологий каждый вендор избирает индивидуально. Именно поэтому на рынке такая конкуренция антивирусных продуктов, и она не заканчивается с приходом берущего в последнее время 100% продукта от Ильи Рабиновича.

Это все ваши догадки и личная вера. Никто этого из вне не подтверждает, к сожалению.

Вы исключили возможность проверить это предположение (догадками в последних сообщениях занимаетесь Вы, а моё предположение базируется на практическом опыте), искусственно сузив количество и качество показателей, которые были получены при проведённом комплексном тестировании технологий, противодействующих новым угрозам. Оно не комплексное, оно выборочное.

Признаться, я до начала теста тоже думал, что DrWeb будет ну хотя бы в десятке, ошибался, увы.

Значит, Вы не в состоянии проанализировать результаты, полученные собственной тестовой лабораторией.

[kvit 85]

Всегда неплохо попробовать продукт перед подобными заявлениями, чтобы потом не обвиняли в некомпетентности. Я попробовал DefenseWall недавно. При минимальном размере дистрибутива возможности действительно приличные.

это не было заявлением , более того я полностью некомпетентен в вопросе DW. поэтому и хотел пару уточнений.

Thunderbird был автоматически при установке добавлен в недоверенные приложения.

и тоже автоматически добавился в список недоверенных объектов.

WinRAR не был в списке доверенных приложений,

распакованный файл также был добавлен в список недоверенных объектов.

по сути описанного всё находится в черном списке. я видно не совсем верно себе представлял работу DW.

простой пример, имею Abobe Reader, так как на сайт написанно "Приложения, обновляющее программное обеспечение, должно запускаться только в доверенном режиме!.", а AR обновляет себя то я его естественно переношу (опять же "обучаю") в доверенные. Дальше по накатанной появляется exploit и через доверенное приложение происходит смена стартовой страницы в IE? такое возможно? Если нет, то на каком этапе и по каким правилам?

к AR прошу только не придираться, он для словца...

[Valery Ledovskoy 1082]

AR обновляет себя то я его естественно переношу (опять же "обучаю") в доверенные.

А зачем, собственно, переносить его в доверенные? Вы всецело доверяете продуктам Adobe, несмотря на то, что в них постоянно находят уязвимости?

[Рашевский Роман 110]

Вы просто чудовищно противоречите основателю компании, в которой работаете. Он многократно говорил о том, что все эти технологии были вами придуманы еще в 95-98. Такая вот бравада, которая сейчас боком выходит компании. Я не случайно привел именно эти годы.

Вы бы, Илья, читали по внимательнее, а потом наезжали в фирменном стиле.

Тогда, в интервью, Игорь Данилов говорил совсем о других технологиях, например о эмуляторе процессора.

[Valery Ledovskoy 1082]

простой пример, имею Abobe Reader, так как на сайт написанно "Приложения, обновляющее программное обеспечение, должно запускаться только в доверенном режиме!."

Даже так? Интересно, что Adobe здесь имеет в виду. Доверенный режим бывает очень разный в разных продуктах. О чём они тут ведут речь - непонятно - о правах пользователя, из-под которого запускаются продукты Adobe, о браузерах, об антивирусах, о таких продуктах, как DefenseWall, в которых понятие "недоверенного приложения" совсем не означает, что пользователь считает это приложение чуть ли не вредоносным?

ИМХО, недоработка Adobe - делать подобные общие рекомендации, безотносительно к классам ПО, к которому оно относится.

[Илья Рабинович 521]

а подход в разделении ("DefenseWall HIPS разделяет все приложения на доверенные и недоверенные.") чем то отличается от самообучения?

Да, отличается. Хотя бы тем, что нет некоего периода времени, когда априори считается, что атак нет.

[Сергей Ильин 1538]

И учтите, что обратная связь с пользователем не всегда возможна. Это может быть корпоративный продукт, который должен работать на полном автомате.

Это может быть и проверка почтового трафика, проходящего через почтовый сервер или интернет-шлюз (привет Илье Рабиновичу).

Вот здесь соглашусь, за пределами endpoint правила игры другие.

Значит, Вы не в состоянии проанализировать результаты, полученные собственной тестовой лабораторией.

Я как раз их проанизировал. Мои выводы можно прочитать в отчет или здесь выше. Ваше право с ними соглашаться или нет. Нас рассудит только время.

Вы бы, Илья, читали по внимательнее, а потом наезжали в фирменном стиле.

Тогда, в интервью, Игорь Данилов говорил совсем о других технологиях, например о эмуляторе процессора. wink.gif

Уважаемый Роман! Извините, что затронул времена, когда вас еще на нашем форуме (а может и в Интернет вообще) не было. Представьте, Игорь говорил в интервью/беседе в таком ключе не один раз. Если не верите, то поспрашивайте у Игоря на официальном форуме, когда и что было придумано.

[Рашевский Роман 110]

Уважаемый Роман! Извините, что затронул времена, когда вас еще на нашем форуме (а может и в Интернет вообще) не было. Представьте, Игорь говорил в интервью/беседе в таком ключе не один раз. Если не верите, то поспрашивайте у Игоря на официальном форуме, когда и что было придумано.

В таком ключе, но не то, что сказали Вы, а это разные вещи.