Сергей Ильин

Результаты теста проактивной антивирусной защиты II

В этой теме 154 сообщений

Коллеги!

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный, но оно того стоит :)

Сейчас уже есть результаты почти по всем антивирусам, но публикация ожидается на следующей неделе.

Напомню, что предыдущий тест эвристических компонент антивирусов был ровно год назад, поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Следите за анонсами. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
поэтому особенно интересно будет посмотреть на динамику результатов - кто и сколько прибавил.

Аналогично. Особенно интересно! Ждём-с. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я бы подождал.Когда Авира выпустит 9-ку,вот там интересно было бы взглянуть,что изменилось и в какую сторону.

ога, давайте подождем касперского 10 и веба 6, чтобы все было чесно :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не вижу ничего смешного.Каспер 7,а Вэб 5,как обновлённый вариант.Вот только бы дождаться новую Авиру,чтобы увидеть изменения и сравнить с остальными продуктами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У нас практически завершен второй по счету тест проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Тест долгий и трудозатратный
Я бы подождал.Когда Авира выпустит 9-ку

3TE116

Так ведь поздно. Тест уже завершён, осталось опубликовать результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ничего ждать не надо.

Ждать-ждать - недождать.

Вендоры конечно будут слюной брызгать, если обновление выдет сразу после обнародования результатов теста, но блин.. если всех ждать, то можно и тесты не проводить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет ;) .Потестить по всем параметрам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ладно,но когда выйдет 9-ка,то тогда потестить её нужно будет ;) .Потестить по всем параметрам.

так делать нельзя, как вы не понимаете. <_<

она же будет в заведомо выигрышном положении....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
На главное странице идет опрос о том, кто станет победителем теста.

За авиру не беспокойтесь, она и текущем варианте крута ;)

Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? :) Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что значит "победителем"?

Будет ли тестирование на фолсы?

Если да, то по количеству фолсов Софос вряд ли кто обгонит (на максимальных настройках).

По минимуму фолсов? :) Тут, скорее всего зарулит Симантек.

Просто по детекшн рейту? Все тренды говорят за то, что Авира свои позиции не сдаст.

Хотя мне и не нравится такой стиль работы, цепляющий заодно и все кейгены и т.д.

Или победитель по какой то "взвешенной оценке"?

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

нет желания вместо пеара теста обсудить дополнения к его методологии здесь?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну вот же жесть..., пиво кончилось..., клавиатура сломана, на экране отпечаток следа удара с ноги..., мышка вся в изоленте, на ней работает только одна кнопка (чтобы нажать в браузере обновить текущую страницу)... прошло время...

...шел 2050 год, старый дедушка сидя у своего древнего компьютера.... дальше продолжать ? :lol:

а все из-за чего... эх...

--------------------

Я конечно не хочу торопить, но уж очень хочется посмотреть :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Будет ли тестирование на фолсы?

Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Тут всё равно что играть в лотерею с государством.

Победитель может легко смениться просто за счет интерпретации результатов.

Что назвать большим уровнем фолсов, а что приемлемым и т.д.

ога, интересно как будет проводится оценка по 2 параметрам?

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

вот у Клементи всё чётко расписано в методологии, а у вас в методологии фолсов нет

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Тестирование на фолсы уже идет. Такое пожелание было после первого теста, посмотрим, что получится на выходе.

Давайте обсудим этот важный вопрос. Потому как методология и схема награждения могут меняться, а могут не меняться.

Я бы предложил следующее в качестве нулевого варианта для обсуждения. Методологию и схему награждения оставляем как есть. Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Может и четко расписано, но вот правильно ли? Почему именно такие цифры по фолсам стоят и т.п.? Может не стоит повторять нам чужие ошибки?

Просто я уже знаю, что будет. Получится так, что по совокупности будут в шоколаде посредственности по обоим параметрам и как это будут понимать простые юзеры? "Тест помог мне выбрать не самый галимый по проактиву и не самый фалсящий антивирус ...". При таком раскладе прикладная ценность будет почти нулевая.

Потом в сообществе всегда была мысль фалсы рассматривать отдельно. По логике это правильнее, ведь они должны учитываться и при обращении к другим тестам, а не только к этом. Несколько неуниверсально и недальновидно (особенно в свете интегрированной оценки, которую я все таки хотел бы сделать) было бы загнать фалсы в рамки параметра для одного этого теста.

Это отлично что тест на фолсы появился. Это огромный шаг вперёд.

Отрывать его от проактивного тестирования вроде не имеет смысла. Тест на фолсы как раз и показывает некий баланс между технологией как бы задетектить побольше и технологией как бы сфолсить поменьше.

Как аккумулировать результаты - думайте сами, это один из самых главных моментов и именно по нему будут судить многие.

Самое главное - не копировать чужие ошибки ;) .

Лично мне из всех вариантов, которые я видел, больше всего понравилась методология PCSL (http://www.pcsecuritylabs.net/) .

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Посмотрите их январьский тест. Они вообще начали с того, что достаточно долго переписывались с вендорами по поводу методологии. Мне штуки 4 версии присылали для комментариев. В результате очень даже приличные тесты получились, к которым всё больше вендоров с удовольствием присоединяются.

Никто больше, насколько я знаю, не запускает все пропущенные он-деманд сканированием файлы на реальных машинах, чтобы дать ещё и динамическим компонентам возможность задетектить.

Удачи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Результаты теста на ложные срабатывания выпускаем как дополнение в тесту с объяснениями, каким образом некоторые поднимают детект.

Ерунда какая-то. Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

P.S. Вот вам слиток золота (он сильно радиоктивен!!!).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

И что? Это хорошо? =)

Пусть есть антивирус, который обнаружил в сумме по динамике и статике все файлы малвар, и сфалсил на всей их коллекции легитимных файлов (судя по доку всего-то 2705 файлов). И получится общий результат 96,6%. ВОт это антивирус ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Тогда уж лучше тест проактивки выпустить дополнением к тесту на ложные срабатывания.

Так все таки это два разных теста или все же один? ;)

Они из итогового рейтинга вычитают LG(1+F) где F - количество фолсов в штуках.

Это очень сложно объяснить. Почему именно такая формула, а не какая-то другая?

Вопрос для всех. Для меня совсем не очевидна цена ложного срабатывания выраженная в % проактивного детекта. Скажем +5% за 1 ложное срабатывание это много или мало?

Сравним риски. Пропуск вредоноса означает заражение со всеми вытекающими. Ложно срабатывание - гибель какой-то программы (ОС не берем тут, это отдельный случай).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я отношусь к фолсам более-менее терпимо, где-то даже философски. Посему _лично для себя_ буду рассматривать результаты по фолсам как бонус. Ведь фолсы бывают разные, от критичных (закарантинить по подозрительному поведению winlogon, условно) до информационных, которые и не фолсы совсем (объект упакован подозрительным пакером). Отсюда и можно плясать для "штрафных" баллов, например.

Но тогда напоремся на различные подходы у разных вендоров. У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди, а у кого-то детект любого пакера, потому что разработчикам было дорого/долго "научить" движок распаковывать такие объекты.

В общем, на это можно было бы целую тему выделить, и выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
выдавать результаты 2х тестов если не вместе, то, хотя бы, параллельно.

Вот этот вариант мне нравится сейчас больше всего. Пусть уж каждый дальше сам решает, что ему важнее, на то и обращает внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Но тогда напоремся на различные подходы у разных вендоров.

Так тестируются антиВИРУСЫ, а не антиПАКЕРЫ. :rolleyes: Проблемы вендоров с распаковкой - это их внутренние проблемы.

У кого-то есть детект на особый пакер, который заведомо используется только всякими скрипт-кидди

Если пользуются только кидди, то откуда фолс?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Проблемы вендоров с распаковкой - это их внутренние проблемы.

Объясните про внутренние проблемы многим пользователям той же Авиры. :) Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Если пользуются только кидди, то откуда фолс?

Я же говорил о подходе. На примере Каспера. Если он натыкается на прогу, которая упакована пакером ххх, и о нем известно, что используется он для малвар исключительно, то без сигнатурного детекта он поднимет алерт Trojan.Packed (или как-то так). Еще будет ругаться на любую прогу, упакованную (или как вернее сказать?) ломанной Themid'ой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Объясните про внутренние проблемы многим пользователям той же Авиры. :) Они видят результат - ххх пропустил кучу всякого. А что значит GEN/packed (или как она там пишет), их волнует мало.

Я бы не говорил о распознавании пакера как о детекте вируса т.к. это варинг, а не детект. А поддержка упаковщиков - это другой тест.

И да, о каком лечении может быть речь, когда неизвестно содержимое контейнера? И не все упакованные файлы неизлечимы. Тестируются же антивирусы, а не вирусодетекторы.

А детект на основе пакера ещё и искажает результат теста на лечение. Авира из-за этого ещё больше сливает там.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • DisaGlass
      Хочу чтобы на открытых парковках сделали навесы для защиты от осадков. Кто за?    Конструкции из алюминия и стекла на заказ
    • Сергей Ильин
      Каждую минуту создается несколько десятков новых образцов малвари. Чтобы она попало в облачную базу репутации нужно: 1. Чтобы антивирусу они попались (обеспечить охват близкого к 100% парка машин) 2. Чтобы антивирус опознал их как вредосносные сразу.   п 1 нереален сразу. Поэтому шансы сильно снижаются изначально. п 2 тоже работает с определенной вероятностью. В большинстве случаев должна накопиться статистика по обнаружению конкретного файла в сети, что он делал, как распространялся и тп. Если статистики нет - репутации тоже нет. Файл попадает "в серую зону". Кроме этого сейчас тренд идет к тому, что вредонос рассылается только один раз конкретному человеку. Больше его ни у кого не будет в природе. Поэтому какая уж тут репутация ...
    • ViktorFazz
      Я с вами согласен, это еще нужно уметь, а еще нужно найти хорошую работу в сети. Но мне кажется лучше ходить на нормальную работу, а в интернете просто иметь дополнительный заработок. Я работаю админом в гостинице, при этом еще увлекаюсь ставками на спорт, так я имею в месяц еще несколько тысяч практически и ничего. Смотрю прогнозы на спорт тут - http://betrating.ru/
    • olejah
      В одной из прошлых статей мы обсуждали, как настроить собственный honeypot, теперь же попытаемся рассмотреть, как злоумышленники пытаются обойти эти ловушки, какие трюки они используют при серфинге и как вы можете стать жертвой honeypot в сети. Наконец, мы поговорим о том, как системные администраторы предприятий справляются с поддельными точками доступа, размещенными в сети предприятия, целью которых является кража конфиденциальных данных. https://www.anti-malware.ru/analytics/Threats_Analysis/How-Hackers-Avoid-Honeypots
    • AM_Bot
      Леонид Ухлинов, вице-президент и исполнительный директор компании «Информзащита», поделился своим экспертным мнением с читателями Anti-Malware.ru и рассказал, как компания из-за небольшой оплошности может потерять миллионы долларов, чего ожидать бизнесу в эпоху цифровизации и кто в первую очередь станет мишенью для киберпреступников. Это интервью продолжает цикл публикаций «Индустрия в лицах». Читать далее