Результаты теста проактивной антивирусной защиты II

[Сергей Ильин 1538]

Коллеги!

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный, но оно того стоит

Сейчас уже есть результаты почти по всем антивирусам, но публикация ожидается на следующей неделе.

Напомню, что предыдущий тест эвристических компонент антивирусов был ровно год назад, поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Следите за анонсами.

[Viktor 669]

Поправьте, плиз, ссылки на результаты и методологию в первом посте темы Результаты теста проактивной антивирусной защиты

[Андрей-001 1099]

поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Аналогично. Особенно интересно! Ждём-с.

[3TE116 45]

Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

[Groft 65]

Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

ога, давайте подождем касперского 10 и веба 6, чтобы все было чесно

[3TE116 45]

Не вижу ничего смешного.Каспер 7,а Вэб 5,как обновлённый вариант.Вот только бы дождаться новую Авиру,чтобы увидеть изменения и сравнить с остальными продуктами.

[Андрей-001 1099]

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный

Я бы подождал.Когда Авира выпустит 9-ку

3TE116

Так ведь поздно. Тест уже завершён, осталось опубликовать результаты.

[Deja_Vu 366]

Ничего ждать не надо.

Ждать-ждать - недождать.

Вендоры конечно будут слюной брызгать, если обновление выдет сразу после обнародования результатов теста, но блин.. если всех ждать, то можно и тесты не проводить.

[3TE116 45]

Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет .Потестить по всем параметрам.

[Deja_Vu 366]

Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет .Потестить по всем параметрам.

так делать нельзя, как вы не понимаете.

она же будет в заведомо выигрышном положении....

[Андрей-001 1099]

Ладно,но когда выйдет 9-ка

она же будет в заведомо выигрышном положении....

Так у неё год уже "Золото на груди".

[Сергей Ильин 1538]

На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута

[dan 10]

На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута

Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

[Иван 290]

Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

нет желания вместо пеара теста обсудить дополнения к его методологии здесь?

[SBond 253]

Ну вот же жесть..., пиво кончилось..., клавиатура сломана, на экране отпечаток следа удара с ноги..., мышка вся в изоленте, на ней работает только одна кнопка (чтобы нажать в браузере обновить текущую страницу)... прошло время...

...шел 2050 год, старый дедушка сидя у своего древнего компьютера.... дальше продолжать ?

а все из-за чего... эх...

--------------------

Я конечно не хочу торопить, но уж очень хочется посмотреть

[Сергей Ильин 1538]

Будет ли тестирование на фолсы?

Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

[dan 10]

Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

Это отлично что тест на фолсы появился. Это огромный шаг вперёд.

Отрывать его от проактивного тестирования вроде не имеет смысла. Тест на фолсы как раз и показывает некий баланс между технологией как бы задетектить побольше и технологией как бы сфолсить поменьше.

Как аккумулировать результаты - думайте сами, это один из самых главных моментов и именно по нему будут судить многие.

Самое главное - не копировать чужие ошибки .

Лично мне из всех вариантов, которые я видел, больше всего понравилась методология PCSL (http://www.pcsecuritylabs.net/) .

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Посмотрите их январьский тест. Они вообще начали с того, что достаточно долго переписывались с вендорами по поводу методологии. Мне штуки 4 версии присылали для комментариев. В результате очень даже приличные тесты получились, к которым всё больше вендоров с удовольствием присоединяются.

Никто больше, насколько я знаю, не запускает все пропущенные он-деманд сканированием файлы на реальных машинах, чтобы дать ещё и динамическим компонентам возможность задетектить.

Удачи.

[dr_dizel 385]

Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Ерунда какая-то. Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

P.S. Вот вам слиток золота (он сильно радиоктивен!!!).

[vaber 350]

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

И что? Это хорошо? =)

Пусть есть антивирус, который обнаружил в сумме по динамике и статике все файлы малвар, и сфалсил на всей их коллекции легитимных файлов (судя по доку всего-то 2705 файлов). И получится общий результат 96,6%. ВОт это антивирус

[Сергей Ильин 1538]

Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

Так все таки это два разных теста или все же один?

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Это очень сложно объяснить. Почему именно такая формула, а не какая-то другая?

Вопрос для всех. Для меня совсем не очевидна цена ложного срабатывания выраженная в % проактивного детекта. Скажем +5% за 1 ложное срабатывание это много или мало?

Сравним риски. Пропуск вредоноса означает заражение со всеми вытекающими. Ложно срабатывание - гибель какой-то программы (ОС не берем тут, это отдельный случай).

[Umnik 997]

Я отношусь к фолсам более-менее терпимо, где-то даже философски. Посему _лично для себя_ буду рассматривать результаты по фолсам как бонус. Ведь фолсы бывают разные, от критичных (закарантинить по подозрительному поведению winlogon, условно) до информационных, которые и не фолсы совсем (объект упакован подозрительным пакером). Отсюда и можно плясать для "штрафных" баллов, например.

Но тогда напоремся на различные подходы у разных вендоров. У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди, а у кого-то детект любого пакера, потому что разработчикам было дорого/долго "научить" движок распаковывать такие объекты.

В общем, на это можно было бы целую тему выделить, и выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

[Сергей Ильин 1538]

выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

Вот этот вариант мне нравится сейчас больше всего. Пусть уж каждый дальше сам решает, что ему важнее, на то и обращает внимание.

[dr_dizel 385]

Но тогда напоремся на различные подходы у разных вендоров.

Так тестируются антиВИРУСЫ, а не антиПАКЕРЫ. Проблемы вендоров с распаковкой - это их внутренние проблемы.

У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди

Если пользуются только кидди, то откуда фолс?

[Umnik 997]

Проблемы вендоров с распаковкой - это их внутренние проблемы.

Объясните про внутренние проблемы многим пользователям той же Авиры. Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Если пользуются только кидди, то откуда фолс?

Я же говорил о подходе. На примере Каспера. Если он натыкается на прогу, которая упакована пакером ххх, и о нем известно, что используется он для малвар исключительно, то без сигнатурного детекта он поднимет алерт Trojan.Packed (или как-то так). Еще будет ругаться на любую прогу, упакованную (или как вернее сказать?) ломанной Themid'ой.

[dr_dizel 385]

Объясните про внутренние проблемы многим пользователям той же Авиры. Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Я бы не говорил о распознавании пакера как о детекте вируса т.к. это варинг, а не детект. А поддержка упаковщиков - это другой тест.

И да, о каком лечении может быть речь, когда неизвестно содержимое контейнера? И не все упакованные файлы неизлечимы. Тестируются же антивирусы, а не вирусодетекторы.

А детект на основе пакера ещё и искажает результат теста на лечение. Авира из-за этого ещё больше сливает там.