Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Valery Ledovskoy 1082]

vaber, если так, то хорошо. Но остаются другие вопросы, связанные с критерием. Да, какой-то класс сэмплов отсеяли. Но что отсеяли... непонятно. Мне очевидно, что отсеяли сэмплы на тестирование HIPS, т.к. если сэмпл детектировался многими антивирусами, он объявлялся не зеро-дэй-угрозой.

[_Stout 131]

Сергей Ильин

Человек, который упорно называет сигнатурный эвристик "антивирусной проактивной защитой", вряд ли способен оценивать качество работы HIPS без суфлеров.

Совасем не по тее топика, но смолчать не мог.

"Но в последнее время, в связи с взрывным ростом количества вредоносного ПО, все большую важность приобретают превентивные — или проактивные — методы обнаружения вредоносного ПО. Данные методы позволяют обнаруживать вредоносное ПО до обновления антивирусных баз, иначе говоря — обнаруживать угрозу до ее появления." и далее по тексту http://www.securelist.com/ru/analysis/1702...ita_kak_ona_est

Так что Сергей, говоря о сигнатурном эвристике как о проактивном методе, прав на 100%, а Вам, Виталий, я настоятельно рекомендую ознакомится со статьей. Она хоть и древняя и в ней нет слов HIPS, но есть другие полезные слова, которые описывают суть работы HIPS, а также другие подходы к превентивной защите, реализованные в том числе и в ваших продуктах.

[Сергей Ильин 1538]

Замечания Ледовского по поводу вирустотала - мне лично кажутся заслуживающими внимания.

Я понимаю, что это своего рода красная тряпка в методологии. Но как выше написал vaber, это использовалось для подстраховки больше. К тому же проблема в том, что другого альтернативного варианты быстрой проверки на новизну сампла/линка для наших целей не придумано Первый бы стал ратовать за то, что убрать из методы любое упоминание вирустотала.

И не нужно здесь пенять на то, что я мог на это повлиять. Я много что и где мог и не сделал, но это не повод игнорировать явные недостатки тестирования.

Вы никак не можете повлиять на то, что уже сделано и опубликовано. Более того, никогда не сможете. Можно влиять на будущие вещи, но не прошлые. Так что рекомендую сменить парадигму действий, если тесты вам действительно интересны.

Никому тут не интересны рассуждения на тему "а вот если бы ... то мы бы ...". Говорите о планах вашей компании, пишите конкретные пожелания. С последним пока тяжело. Пару попыток было, но их сразу же забраковали. Остальные высказывания напоминают идеи "Солнечного города", где все продукты тестируются правильно, а все тесты 100% одобряются всеми вендорами. Давайте конкретику!

[zzkk 130]

Название на мой взгляд наиболее адекватное, какое можно было для этого теста придумать, чтобы он был понятен простым пользователям. Не нужно пытаться меня убедить в обратном, это бесполезно.

Я самый настоящий простой пользователь. Методологию не читал (как и положено настоящему простому пользователю). Очень долго (через третьих лиц) выяснял, отчего результаты такие "неожиданные".

Так что Валерий в данном случае прав.

Когда "простому пользователю" предъявляются результаты тестирования чего бы то ни было (холодильников, автомашин или прочего), то он инстинктивно предполагает, что из объекта исследования "выжали все соки" (почему? потому что при воспроизведении слова "лаборатория" на подсознании представляется куча пробирок, реактивов, разложение на молекулы, если совсем утрированно). Поэтому сие "простое" название своей простотой лишь усиливает заблуждение в восприятии (и мой случай тому пример).

[Valery Ledovskoy 1082]

Никому тут не интересны рассуждения на тему "а вот если бы ... то мы бы ...". Говорите о планах вашей компании, пишите конкретные пожелания. С последним пока тяжело. Пару попыток было, но их сразу же забраковали. Остальные высказывания напоминают идеи "Солнечного города", где все продукты тестируются правильно, а все тесты 100% одобряются всеми вендорами. Давайте конкретику!

Таких рассуждений и нет. Я несколько раз уже говорил, что результаты получены адекватные при выбранной методике. Но это не тестирование антивирусов на противодействие новым угрозам. А именно так оно было представлено публике.

Вы никак не можете повлиять на то, что уже сделано и опубликовано. Более того, никогда не сможете. Можно влиять на будущие вещи, но не прошлые. Так что рекомендую сменить парадигму действий, если тесты вам действительно интересны.

Да, влиять на то, что уже свершилось, нельзя. Можно лишь привлечь к ответственности

http://www.anti-malware.ru/forum/index.php?showtopic=10392

[kvit 85]

Я понимаю, что это своего рода красная тряпка в методологии. Но как выше написал vaber, это использовалось для подстраховки больше. К тому же проблема в том, что другого альтернативного варианты быстрой проверки на новизну сампла/линка для наших целей не придумано

а в чем проблема создать свой, пусть даже внутренний ресурс, с аналогичными возможностями, не так это и сложно...

[Deja_Vu 366]

Столько сыр-бора из-за название.

Предложите адекватное по вашему мнению.

Просто все названные названия ДО этого, были еще более не подходящие.

По мне, так нужно просто сделать сноску(к текущему), указать, что понимается под словом "новейшие" и все.

Будет идеальное название.

[Мальцев Тимофей 74]

Результаты многих тестов полььзователями понимаются не верно, в силу их не информированности в данном вопросе.

Так что все тесты, сейчас используются для маркетинга.

Компания решила выйти из данной борьбы повсеместно, соответственно, предлагаю не продолжать войну... а уважить политику компании, но тесты проводить для внутреннего пользования, т.к. тут собрались люди, более или менее осмысливающие результат.

Ничего не понял.

1. "Результаты многих тестов полььзователями понимаются не верно, в силу их не информированности в данном вопросе."

Как мне кажется, пользователи в массе своей - далеко не дураки. Особенно те, кто читают информацию о тестах.

2. "Компания решила выйти из данной борьбы повсеместно, соответственно, предлагаю не продолжать войну... а уважить политику компании, но тесты проводить для внутреннего пользования, т.к. тут собрались люди, более или менее осмысливающие результат."

Если честно, тема очень неоднозначная.

С одной стороны, вроде бы как можно и нужно уважать мнение разработчиков.

С другой - какой смысл проводить сравнения, если оно оторвано от жизни? Ну вот какой, например, смысл проводить исследование рынка автомобилей без Тойоты или Ниссана? Или без Форда?

Позиция портала заявлена, ее можно принимать или не принимать, но она есть.

Портал проводит определенные исследования в определенных им разрезах. Если это людям интересно - пусть проводят, если нет - какая разница, что провели?

Если эти исследования настолько неграмотны и тенденциозны, как мы периодически слышим, они так или иначе потеряют интерес для широкой публики и для специалистов. Это жизнь.

[Valery Ledovskoy 1082]

Предложите адекватное по вашему мнению.

Deja_Vu

[Сергей Ильин 1538]

а в чем проблема создать свой, пусть даже внутренний ресурс, с аналогичными возможностями, не так это и сложно...

К сожалению, пока мы не можем себе это позволить по материальным причинам. Для этого нужны довольно приличные инвестиции в инфраструктуру и квалифицированные специалисты, готовые возглавить процесс. Если таковые найдутся, то будет нам счастье, а качество и периодичность тестов увеличится.

Позиция портала заявлена, ее можно принимать или не принимать, но она есть.

В точку, позиция есть и мы ее будем придерживаться.

Портал проводит определенные исследования в определенных им разрезах. Если это людям интересно - пусть проводят, если нет - какая разница, что провели? smile.gif

Если эти исследования настолько неграмотны и тенденциозны, как мы периодически слышим, они так или иначе потеряют интерес для широкой публики и для специалистов. Это жизнь.

Именно, время рассудит. Я знаю одно, мы делаем тесты не первый год и все, абсолютно все новые тесты поливались такими помоями ... а потом проходило время и это становилось классикой. Так и с аналитикой было и другими материалами, это нормально - все подчиняется законам социологии. И с этим тестом будет тоже самое, это неизбежно!

[Valery Ledovskoy 1082]

Если эти исследования настолько неграмотны и тенденциозны, как мы периодически слышим, они так или иначе потеряют интерес для широкой публики и для специалистов.

Вот ведь какая штука. Специалистов может быть не слышно за широкой публикой. И широкая публика не может (или может не) понять, что говорят специалисты.

При этом широкой публике результаты тестирований будут всегда интересны. Они позволяют не включать мозг. А вот у специалистов действительно могут потерять интерес. С некоторыми тестовыми лабораториями так уже происходило.

Ещё такой вот этюд.

Тестовые лаборатории, показывая на инновационные тестирования, говорят, что антивирусы без HIPS'а и других супер-пупер-современных технологий - дерьмо! Эвристические технологии - вчерашний день!

А я прихожу на одну из работ каждый день и в течение дня наблюдаю, как без шума, без пыли мой старенький серверок, с позволения сказать (450МГц, 256МБ), под управлением ASPLinux 12 и Dr.Web Enterprise Suite складывает потихоньку статистику в течение дня со 150 компьютеров о вставляемых флешках, о посещаемых интернет-ресурсах, о ломящихся с незащищённых компьютеров сетевых червях. И так уже не первый год. И всё стоит, и не ломается, и работает. Не сказать, что заражений не было. Но их было так мало, единицы за 4 года... И ни одной глобальной эпидемии с начала использования Dr.Web ES. Даже и не знаю, захотел бы я тратить ресурсы этих морально устаревших компьютеров на HIPS-технологии ради такой мелочи.

30%, говорите? Не-а, никогда не поверю.

[Сергей Ильин 1538]

Valery Ledovskoy, заканчиваем флеймить не по теме, уже реально надоедает сплошное бла-бла-бла и раскачивание ситуации. Как бабушка на лавочке честное слово ... Прекращайте это все, иначе буду вынужден согласно правилам форума зачисттть тему.

Если интересно обсасывать темы "какие все тестеры дураки", "тесты ничего не отражают", "никому нельзя верить", то делайте это на корпоративном форуме Доктор Веб, тай есть для этого благодарная аудитория из ваших коллег и пары-тройки фанатиков.

[Deja_Vu 366]

Нужно глобально зачищать тему - очень много оффтопа

[Valery Ledovskoy 1082]

Нужно глобально зачищать тему - очень много оффтопа

Зачистить всегда можно. Хороший модератор выделит в отдельную тему.

[Mr. Justice 771]

Оффтопик выделен в отдельную тему http://www.anti-malware.ru/forum/index.php...amp;#entry87174

[DVi 30]

По примеру этого? Если да, то как очередной рекламный буклет -- сгодится. Но не как подтверждение, тем более, внешней организацией.

Главное, чтобы его не показывали потенциальным потребителям. Засмеют.

[kvit.v 45]

Главное, чтобы его не показывали потенциальным потребителям. Засмеют.

разговор в документе о Kaspersky Administration Kit (дата создания документа май 2009 года)...

[DVi 30]

разговор в документе о Kaspersky Administration Kit (дата создания документа май 2009 года)...

В таком случае сравнение еще более смешное, ведь Kaspersky Administration Kit - это бесплатный инструмент управления.

[dr_dizel 385]

Если просто взглянуть на методологию теста, то в ней есть несколько серьёзных изъянов:

В тест берутся любые антивирусные продукты без учёта их технологического уровня - даже просто сигнатурные представители, но при сборе сэмплов сознательно отбрасываются детектируемые большинством по сигнатуре экземпляры. Таким образом, поднимаются над остальными продукты уровня комбайнов, а сигнатурники опускаются. Получается: один раз отмерь, семь раз отрежь. Поэтому брать в тест нужно все новые семплы или ограничить список продуктов комбайнами и хипсами.

Второй момент заключается в том, что время добавления сэмпла в базы тоже является одним из показателей предоставляемого продуктами уровня защиты. Дома у меня стоит MSE, а на работе Dr.Web и в загашнике есть сайты со ссылками на свежие малвары. Так я постоянно скачиваю свежачёк и проверяю. MSE практически никогда ничего не детектит в отличие от Dr.Web. Даже если заслать сэмпл мелкомягким, то детект его можно ожидать очень долго, если дождаться вообще. Результаты теста, поэтому у меня вызывают подозрения в субъективности или неаккуратности, что привело к искажению результатов. Вспомним, в каком виде и с какими ошибками нам были представлены официальные результаты проведённого теста портала антималваре. Что уже говорить о тесте? В расчёт субъективности также нужно принимать то, что совсем мало никем недетектируемых сэмплов и надо каждый раз делать выбор кому подыграть с детектом, а кому нет: если будет комбайн, то может защитить, а если сигнатурник, то 100% провалит. Поэтому брать в тест нужно все новые семплы или ограничить список продуктов комбайнами и хипсами.

Также в названии теста значится защита от новейших == Zero-day вредоносных программ. Но зеродей на то и зеродей, что он или никем не должен палиться или должен быть заточен на определённый продукт (что влечёт дисбаланс в результатах теста). Поэтому слово Zero-day не имеет никакого отношения к тесту защиты от новейших вредоносных программ. Можно сделать отдельный зеродейный тест, но только непонятно что он будет отражать: может популярность продукта?

[Deja_Vu 366]

в загашнике есть сайты со ссылками на свежие малвары.

если они в загашнике, то они уже не свежие

[dr_dizel 385]

если они в загашнике, то они уже не свежие

Ссылки на сайты со ссылками. А там достаточно начать парочку раскручивать, как они дадут ещё десять новых.

[Сергей Ильин 1538]

Таким образом, поднимаются над остальными продукты уровня комбайнов, а сигнатурники опускаются. Получается: один раз отмерь, семь раз отрежь. Поэтому брать в тест нужно все новые семплы или ограничить список продуктов комбайнами и хипсами.

Согласен, с выбором линков/самплов нужно серьезно подумать, что делать в следующий раз. Идея теста в том, чтобы показать как антивирусы защищают от угроз, которые еще никто не знает (сигнатурно или при помощи эвристики).

Поэтому брать в тест нужно все новые семплы или ограничить список продуктов комбайнами и хипсами.

Опять таки все логично. Тут мы сталкиваемся с такой же делемой, как в тесте на защиту от руткитов. Зачем включать в тест продукты, которые заведомо защитать не могут? Ответ такой: это знаем мы с вами, а пользователи узнают это из результатов теста. А так будет получаться практика, когда каждый вендор будет говорить, что у него есть хипс, антируткит, супер-пупер защита от новейших угроз и т.п.

Поэтому слово Zero-day не имеет никакого отношения к тесту защиты от новейших вредоносных программ.

Zero-day использовано исключительно для облегчения понимания массового читателя, так как многие этот термин знают именно в таком обощенном ключе, в котором мы его использовали, - некие новеший угрозы.

[dr_dizel 385]

Согласен, с выбором линков/самплов нужно серьезно подумать, что делать в следующий раз. Идея теста в том, чтобы показать как антивирусы защищают от угроз, которые еще никто не знает (сигнатурно или при помощи эвристики).

Это решается просто.

Чтобы не было вопросов по предвзятости с подбором сэмплов и детектом у 20% каких-то вендоров или недетектом нужно:

- брать в тест все новые семплы (даже если их детект 100% - они не ухудшат картину)

- или же в отчёте (excel) прописывать вердикты всех продуктов на все отобранные семплы, дабы вскрыть мотивацию при их отборе.

Я бы даже предложил не тянуть кота за хвост и начать практику последнего уже сейчас на последнем тесте - дополните отчёт данными по детекту всеми вендрами.

[Valery Ledovskoy 1082]

Чтобы не было вопросов по предвзятости с подбором сэмплов и детектом у 20% каких-то вендоров или недетектом нужно:

- брать в тест все новые семплы (даже если их детект 100% - они не ухудшат картину)

- или же в отчёте (excel) прописывать вердикты всех продуктов на все отобранные семплы, дабы вскрыть мотивацию в их отборе.

Или честно сказать, что тестировались HIPS-технологии.

Zero-day использовано исключительно для облегчения понимания массового читателя, так как многие этот термин знают именно в таком обощенном ключе, в котором мы его использовали, - некие новеший угрозы.

Я думаю, массовый читатель от этого запутался ещё больше, если было сделано уточнение термина Zero-Day, которое отличается от общепринятого в индустрии. "некие новейшие угрозы" - это супер-объяснение

- Что вы тут посчитали?

- Да вот что-то посчитали. Смотрите на результаты. А что считалось - это для вас слишком сложно. Верьте нам.

Я бы даже предложил не тянуть кота за хвост и начать практику последнего уже сейчас на последнем тесте - дополните отчёт данными по детекту всеми вендрами.

Так не научились ещё определять время жизни сэмпла.

Методы, которые я предложил, не подошли. Видимо, они менее точные. Хотя не увидел пока, почему так было решено.

Идея теста в том, чтобы показать как антивирусы защищают от угроз, которые еще никто не знает (сигнатурно или при помощи эвристики).

Значит, нужно серьёзно ещё подумать о названии теста. Я уже предлагал. Если не устраивает, необходимы другие предложения. Отстаивать то название, которое было у уже проведённого теста смысла мало, ибо не соответствует сути тестирования.

Зачем включать в тест продукты, которые заведомо защитать не могут? Ответ такой: это знаем мы с вами, а пользователи узнают это из результатов теста.

Если так делать, то нужно выкинуть из методологии это:

Идея теста в том, чтобы показать как антивирусы защищают от угроз, которые еще никто не знает (сигнатурно или при помощи эвристики).

Либо мы тестируем на противодействие новым сэмплам вне зависимости от детекта (и учимся определять время жизни сэмплов), либо говорим честно, что тестируется не вся функциональность антивирусов (т.к. пытаемся показать возможности антивирусов без сигнатурного детекта и эвристики).

За двумя зайцами здесь не угнаться.

Хочу заметить, что без соответствующего теста мы не можем также строить и предположение о том, что на сегодняшний момент сигнатуры и эвристики плохо справляются с новыми угрозами. Илья, делая такое утверждение, пытается защитить проведённое тестирование. Но тем самым наоборот вызывает дополнительные сомнения, т.к. эти слова не подтверждены более-менее формально. Если такое тестирование будет, слова будут подтверждены, а также будет показано, насколько сильно продвинулись (или не продвинулись) вперёд современные эвристические технологии.

[Deja_Vu 366]

если было сделано уточнение термина Zero-Day, которое отличается от общепринятого в индустрии.

Либо мы тестируем на противодействие новым сэмплам вне зависимости от детекта (и учимся определять время жизни сэмплов)

А можно, общепринятое понимание термина?

Если не согласовать общепринятое, то и время жизни описать не получится, даже чисто теоретически.