Перейти к содержанию
Сергей Ильин

Результаты теста проактивной антивирусной защиты II

Recommended Posts

Сергей Ильин

Коллеги!

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный, но оно того стоит :)

Сейчас уже есть результаты почти по всем антивирусам, но публикация ожидается на следующей неделе.

Напомню, что предыдущий тест эвристических компонент антивирусов был ровно год назад, поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Следите за анонсами. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Viktor

Поправьте, плиз, ссылки на результаты и методологию в первом посте темы Результаты теста проактивной антивирусной защиты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Аналогично. Особенно интересно! Ждём-с. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3TE116

Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

ога, давайте подождем касперского 10 и веба 6, чтобы все было чесно :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3TE116

Не вижу ничего смешного.Каспер 7,а Вэб 5,как обновлённый вариант.Вот только бы дождаться новую Авиру,чтобы увидеть изменения и сравнить с остальными продуктами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный
Я бы подождал.Когда Авира выпустит 9-ку

3TE116

Так ведь поздно. Тест уже завершён, осталось опубликовать результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Ничего ждать не надо.

Ждать-ждать - недождать.

Вендоры конечно будут слюной брызгать, если обновление выдет сразу после обнародования результатов теста, но блин.. если всех ждать, то можно и тесты не проводить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
3TE116

Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет ;) .Потестить по всем параметрам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет ;) .Потестить по всем параметрам.

так делать нельзя, как вы не понимаете. <_<

она же будет в заведомо выигрышном положении....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Ладно,но когда выйдет 9-ка
она же будет в заведомо выигрышном положении....

Так у неё год уже "Золото на груди". proactive_gold_sm.gif;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута ;)

Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? :) Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? :) Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

нет желания вместо пеара теста обсудить дополнения к его методологии здесь?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond

Ну вот же жесть..., пиво кончилось..., клавиатура сломана, на экране отпечаток следа удара с ноги..., мышка вся в изоленте, на ней работает только одна кнопка (чтобы нажать в браузере обновить текущую страницу)... прошло время...

...шел 2050 год, старый дедушка сидя у своего древнего компьютера.... дальше продолжать ? :lol:

а все из-за чего... эх...

--------------------

Я конечно не хочу торопить, но уж очень хочется посмотреть :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Будет ли тестирование на фолсы?

Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

Это отлично что тест на фолсы появился. Это огромный шаг вперёд.

Отрывать его от проактивного тестирования вроде не имеет смысла. Тест на фолсы как раз и показывает некий баланс между технологией как бы задетектить побольше и технологией как бы сфолсить поменьше.

Как аккумулировать результаты - думайте сами, это один из самых главных моментов и именно по нему будут судить многие.

Самое главное - не копировать чужие ошибки ;) .

Лично мне из всех вариантов, которые я видел, больше всего понравилась методология PCSL (http://www.pcsecuritylabs.net/) .

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Посмотрите их январьский тест. Они вообще начали с того, что достаточно долго переписывались с вендорами по поводу методологии. Мне штуки 4 версии присылали для комментариев. В результате очень даже приличные тесты получились, к которым всё больше вендоров с удовольствием присоединяются.

Никто больше, насколько я знаю, не запускает все пропущенные он-деманд сканированием файлы на реальных машинах, чтобы дать ещё и динамическим компонентам возможность задетектить.

Удачи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Ерунда какая-то. Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

P.S. Вот вам слиток золота (он сильно радиоктивен!!!).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

И что? Это хорошо? =)

Пусть есть антивирус, который обнаружил в сумме по динамике и статике все файлы малвар, и сфалсил на всей их коллекции легитимных файлов (судя по доку всего-то 2705 файлов). И получится общий результат 96,6%. ВОт это антивирус ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

Так все таки это два разных теста или все же один? ;)

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Это очень сложно объяснить. Почему именно такая формула, а не какая-то другая?

Вопрос для всех. Для меня совсем не очевидна цена ложного срабатывания выраженная в % проактивного детекта. Скажем +5% за 1 ложное срабатывание это много или мало?

Сравним риски. Пропуск вредоноса означает заражение со всеми вытекающими. Ложно срабатывание - гибель какой-то программы (ОС не берем тут, это отдельный случай).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я отношусь к фолсам более-менее терпимо, где-то даже философски. Посему _лично для себя_ буду рассматривать результаты по фолсам как бонус. Ведь фолсы бывают разные, от критичных (закарантинить по подозрительному поведению winlogon, условно) до информационных, которые и не фолсы совсем (объект упакован подозрительным пакером). Отсюда и можно плясать для "штрафных" баллов, например.

Но тогда напоремся на различные подходы у разных вендоров. У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди, а у кого-то детект любого пакера, потому что разработчикам было дорого/долго "научить" движок распаковывать такие объекты.

В общем, на это можно было бы целую тему выделить, и выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

Вот этот вариант мне нравится сейчас больше всего. Пусть уж каждый дальше сам решает, что ему важнее, на то и обращает внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Но тогда напоремся на различные подходы у разных вендоров.

Так тестируются антиВИРУСЫ, а не антиПАКЕРЫ. :rolleyes: Проблемы вендоров с распаковкой - это их внутренние проблемы.

У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди

Если пользуются только кидди, то откуда фолс?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Проблемы вендоров с распаковкой - это их внутренние проблемы.

Объясните про внутренние проблемы многим пользователям той же Авиры. :) Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Если пользуются только кидди, то откуда фолс?

Я же говорил о подходе. На примере Каспера. Если он натыкается на прогу, которая упакована пакером ххх, и о нем известно, что используется он для малвар исключительно, то без сигнатурного детекта он поднимет алерт Trojan.Packed (или как-то так). Еще будет ругаться на любую прогу, упакованную (или как вернее сказать?) ломанной Themid'ой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Объясните про внутренние проблемы многим пользователям той же Авиры. :) Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Я бы не говорил о распознавании пакера как о детекте вируса т.к. это варинг, а не детект. А поддержка упаковщиков - это другой тест.

И да, о каком лечении может быть речь, когда неизвестно содержимое контейнера? И не все упакованные файлы неизлечимы. Тестируются же антивирусы, а не вирусодетекторы.

А детект на основе пакера ещё и искажает результат теста на лечение. Авира из-за этого ещё больше сливает там.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×