О сэмплах: сколькими машинами с какими установленными антивирусами ловились для тестирования?

[ktotama 45]

Всем привет!

Смотрю тесты, не нашел ответ на вопрос по тестам на проактивную защиту, zero-day, руткиты, на лечение активного заражения:

Cколькими машинами с какими установленными антивирусами и браузерами ловились сэмплы для тестирования, было ли несколько машин с одинаковыми антивирусами и браузерами - сколько с какими именно антивирусами и применямыми браузерами, насколько равными были условия в части одинакового по времени активного браузинга на этих машинах?

По каждому из тестов хочется знать.

[ktotama 45]

Изучив методики тестирования, не увидел там: сколько каких образцов вредоносов в процентах/количественно по каждому из рассматриваемых вендоров по каждому из видов угроз и вообще изначально было выявлено разными источниками с учетом новейших баз при отлове образцов для изучения детекта на ранее замороженных базах. Неизвестно, в пропорциях/процентах/количественно: средствами резидентной защиты каких из вендоров были задетектированы соответствующие семплы: исходим из того, что одна конкретная ОС (в том числе писалось про шлюзы корпоративные и тп) защищается конкретным одним (врядли, что больше) антивирусным решением, и весьма наврядли (во всяком случае, об этом не было сказано) рассматриваемые файловые пространства, с которых брались новые сэмплы, были тщательно пересканированы он-деманд каждым из тестируемых движков для выявления: а вдруг какой-либо из вредоносов проскочил мимо единственного защитника, но ловится другим (другими) вендорами, и эти необнаруженные, но, возможно, имевшиеся в системах, зловреды, также бы "не помешали" для тестирования. Также не видно, сколько и какого типа малвари для тестирования было предоставлено каждой из антивирусных лабораторий.

С точки зрения теории вероятностей, основываясь на принципах эвристики и иногда возможной схожести сигнатуры отловленного сэмпла в сравении с некоей сигнатурой замороженных баз, от движка того вендора можно ожидать лучший детект, а предположительно (но в меньшей степени) и возможность лечения, с помощью которого было отловлено больше сэмплов соответственно, и наоборот.

Примерно известно, какая доля рынка у каждого из вендоров в России, а также представляем доли антивирусных движков с учетом того, кому какой движок был лицензирован, так как базы в данном случае используются те же, либо еще чуть-чуть свои, но в мизерном объеме. Соответственно, раз об этом не было оговорено, можно предполагать, что на результаты сильно влияет доля рынка (в данном случае российского), либо (и еще) то, насколько тесно сотрудничает испытательная лаборатория и берет за основу новейшие образцы антивирусных компаний напрямую.

Именно этим я объясняю то, почему при тестировании здесь побеждает продукт Касперского, а в западных тестах кроме Касперского часто и больше продукты на основе движка BitDefender. Хотя и там неизвестно, и могут больше влиять региональные доли рынка, или мировые.

Причем чем больше доля рынка и лицензированность, тем больше получается эффект цепной реакции, в том числе в глазах тех, кто хочет лицензировать чужой движок. Это вовсе не означает, что эти движки покажут в тестах себя гораздо хуже при условии, если принять во внимании указанные факторы. Но чем больше эти факторы влияют, тем меньше шансов более достойно показать себя у тех, кто по тестам тут оказался хуже, и наоборот.

Касательно лицензирования: влияет конечно и желание и предоставление возможности лицензировать, ну и цена лицензии. Не обладаю точными данными в цифрах о стоимости лицензий, но читал к примеру, что движок BitDefender относительно недорогой. Новые версии движка Касперского же, кроме той, что для мобильных устройств, не лицензируются.

Также в ряде западных тестов и у кадетов дает отличный результат при немалом же количестве фолсов немало уже кому лицензированный, в основном австрийским же компаниям, но уже и не только им - движок Ikarus.

Есть и другие показывающие хорошие результаты лицензируемые движки.

А про браузеры был вопрос к тому, что было бы неплохо под каждый из возможных антивирусных тестов заодно и проводить возможную аналитику: сколько и какого типа вредоносов было пропущено каким из популярных движков браузеров совместно с резидентной защитой конкретного ав-вендора - то есть заодно и относительный тест на безопасность браузеров.

Как все указанное реализовать, чтобы было меньше вопросов и оспариваний... Идеальной площадкой мог бы стать какой-нибудь невиртуальный интернет-клуб-кафе. И ему реклама, и вопросов меньше. При условии, что этапы снятия баз семплов контролируют представители желающих вендоров.

[Виталий Я. 859]

Именно этим я объясняю то, почему при тестировании здесь побеждает продукт Касперского, а в западных тестах кроме Касперского часто и больше продукты на основе движка BitDefender.

Золотые слова.

[Сергей Ильин 1538]

ktotama, вы поднимаете важную тему, но при этом мешаете все в кучу. Так нельзя. С самплами все очень сильно зависит от теста.

Например, для теста на лечение самплы выбирались вручную. О каком тут резидентном мониторе можно вообще говорить ... Для теста антируткитов тоже самое.

Для теста на zero-day также никакие антивирусы не использовались, отбор был ручной и выбирались только свежие самплы (по вашему они бы уже не были свежие по определению, если бы их уже кто-то детектил).

С тестами качества проактивной защиты несколько ближе к тому, что вы отписали. Мы собирали коллекцию как с того же VirusInfo, так и от сканеров, но при этом выбирались только новые образцы (которых до этого не было в базе). Так что даже здесь, некорректно говорить о сборе при помощи резедентных антивирусов.

P.S. Советую принципиально не рассматривать тесты, которые делаются на описанном вами принципе. Кто-то там собрал каким-то образом какие-то самплы, как-то там их отобрал (отбирал ли или проверял ли вообще?) и потом что-то тестирует. Много раз обсуждалось это на нашем форуме, любой вам скажет, что это бред. Тесты ни о чем. Яркий пример такого бреда, упоминаемые вами тесты кадетов.

[ktotama 45]

ktotama, вы поднимаете важную тему, но при этом мешаете все в кучу. Так нельзя. С самплами все очень сильно зависит от теста.

Например, для теста на лечение самплы выбирались вручную. О каком тут резидентном мониторе можно вообще говорить ... Для теста антируткитов тоже самое.

Для теста на zero-day также никакие антивирусы не использовались, отбор был ручной и выбирались только свежие самплы (по вашему они бы уже не были свежие по определению, если бы их уже кто-то детектил).

С тестами качества проактивной защиты несколько ближе к тому, что вы отписали. Мы собирали коллекцию как с того же VirusInfo, так и от сканеров, но при этом выбирались только новые образцы (которых до этого не было в базе). Так что даже здесь, некорректно говорить о сборе при помощи резедентных антивирусов.

P.S. Советую принципиально не рассматривать тесты, которые делаются на описанном вами принципе. Кто-то там собрал каким-то образом какие-то самплы, как-то там их отобрал (отбирал ли или проверял ли вообще?) и потом что-то тестирует. Много раз обсуждалось это на нашем форуме, любой вам скажет, что это бред. Тесты ни о чем. Яркий пример такого бреда, упоминаемые вами тесты кадетов.

Не хотел смешивать все, почитал перед этим методики, уж написал пост как получилось, извиняйте

Насчет отбора вручную: представителем каждого из тестируемых вендоров или все же более узкий круг? Судя по упоминаемым тестировщикам - более узкий. Все люди живые, людям свойственно ошибаться, могли пропустить ненароком что-то такое, что, возможно, не пропустил бы представитель иных вирлабов, или, извините, вдруг обнаружив, что конкретный новый вид или подвид сэмла не детектится представляемым им вендором, хотя и именно зловред, но рискует попасть в тест и повлиять в минус на результаты его фирмы, просто по-тихому, убрать от греха подальше данный сэмпл и не афишировать его пока.

Делаю упор на то, что исследуемое пространство для выявления сэмплов должно быть большое, но осязаемое, в четких понятных и очевидных границах/рамках и в конкретный-четкий для всех-замороженным момент времени, которое мог бы "пощупать"/изучить каждый из исследуемых вендоров, то есть "прозрачное" для них. Именно под такое подпадает к примеру большое интернет-кафе. Тест на принципах: участие платное по обоснованно-приемлемым для них расценкам, или без обид на результаты. Посетители заранее предупреждаются об эксперименте, за это на срок сбора сэмплов снижаются тарифы. Спонсоры - вирлабы. Кого не устраивает свежесть замороженных баз - рядом машины со свежими базами. Со всего пространства снимается образ, MD5, подписи под соответствующим протоколом оплативших тестирование, каждому из них образ на изучение. Далее совместное принятие решения в части списка файлов вредоносов для тестирования.

Насчет Virusinfo: без обид, но читателям с учетом того, что известно, кому раньше принадлежал портал, и кому не де-юро, а де-факто неизвестно достоверно, кому принадлежат сейчас и этот портал, и тот, точнее известно со слов; возможно, могут быть некие неафишируемые, но юридически оформленные обязательства или какие-то иные зависимости. Неизвестно с учетом этого также, все ли сэмплы Virusinfo также после тестов исследовались всеми вендорами, или только те, что были признаны вредоносными, и не имел ли место быть отсев неугодных сэмплов. Количество сотрудников на портале наиболее частого победителя тестов не способствует отвержению этой мысли, уж не в упрек им, но...

Пытаюсь рассуждать со стороны как независимый читатель: порталу важно развеивать фактами открытости - подобные озвучиваемые на ряде форумов моменты.

Смущает и показательно для меня то, что у Вас к примеру продукты на ядре BitDefender не настолько выразительны по большинству моментов, как к примеру у 2х явно независимых друг от друга тестировщиков: av-comparatives.com и av-test.org / и хотя там тоже в фаворитах и победителях нередко Касперский, им в спину гораздо ближе, чем по результатам Ваших тестов "дышат" несколько других вендоров.

Про RAPS VB и кадетов - к примеру было про топовый результат другого движка, но у него по фолсам перебор будет на 2х упомянутых тестированиях.

Тесты кадетов не идеализирую и прекрасно понимаю их минусы, но и они интересны, как и Ваши, как и любые известные масштабные другие.

[ktotama 45]

Правильно конечно RAP у VB. Без S

[Сергей Ильин 1538]

Насчет отбора вручную: представителем каждого из тестируемых вендоров или все же более узкий круг? Судя по упоминаемым тестировщикам - более узкий.

Все люди живые, людям свойственно ошибаться, могли пропустить ненароком что-то такое, что, возможно, не пропустил бы представитель иных вирлабов, или, извините, вдруг обнаружив, что конкретный новый вид или подвид сэмла не детектится представляемым им вендором, хотя и именно зловред, но рискует попасть в тест и повлиять в минус на результаты его фирмы, просто по-тихому, убрать от греха подальше данный сэмпл и не афишировать его пока.

Вполне возможно такое, все мы люди, как вы правильно заметили. Но я все же доверяю нашим экспертам, которые участвуют в отборе самплов. В конечном итоге мы все отвечаем своей репутацией, мы подписываемся своими фамилиями и не уходим от ответственности.

Отвечая на вторую часть цитаты, с увеличением нашего экспертного совета людей, принимающих активное участие в выборе самплов в том числе, будет становиться больше. Я лично понимаю эти риски и стараюсь их минимизировать.

Пытаюсь рассуждать со стороны как независимый читатель: порталу важно развеивать фактами открытости - подобные озвучиваемые на ряде форумов моменты.

По просьбе вендоров мы скорее всего будем публиковать md5 самплов, будем стараться делать методику сбора самплов более открытой и прозрачной для того, чтобы исключить всяческие спекуляции на этот счет.

Смущает и показательно для меня то, что у Вас к примеру продукты на ядре BitDefender не настолько выразительны по большинству моментов, как к примеру у 2х явно независимых друг от друга тестировщиков: av-comparatives.com и av-test.org / и хотя там тоже в фаворитах и победителях нередко Касперский, им в спину гораздо ближе, чем по результатам Ваших тестов "дышат" несколько других вендоров.

Меня это тоже несколько смущало, особенно раньше. Сейчас же я лично смотрю на это более философски - тесты все же разные, методики различаются часто, так что в этом ничего удивительного нет. Если какой-то вендор сильно проваливается в конкретном тесте конкретной лаборатории, то это ИМХО предмет для анализа и разборок внутри компании. Значит что-то не так, значит где-то не дорабатывают, значит что-то упустили из виду. Иногда банально не добирают специфичных для рунета самплов, это касается и тестировщиков тоже. Несколько лет назад уровень детекта некоторых американских вендоров в российских реалиях долгое время было притчей по языцех. Кто-то подзабил на это, а кто-то стал бороться с проблемой, ставить ханипоты, изучать специфичные угрозы, мне это достоверно известно. Озвучивать имена компаний не буду, чтобы никого не компрометировать.

С BitDefender конкретно ситуация для меня неясная. Непонятна такая разница в результатах тестов. Возможно дело как раз в российской специфике, а инталляционная база у BitDefender здесь пока небольшая.

[ktotama 45]

Сергей Ильин, у меня нет цели обвинить, и доказательств конечно быть не может, лишь указал на некое на мой взгляд несовершенство и непрозрачность методики, надеюсь, что далее предложение будет учтено.

Еще раз тезисы идеи, далее по желанию возможный приход к следованию данной методике или нет:

1. Исследуемое файловое пространство для выявления семплов должно быть большое и очевидно для всех, что независимое, то есть типа указанного в примере интернет-кафе, а не некая доступная только кому-то структура, кто его знает: что там отобрали, а что отвергли, и которое (а не семплы уже некие только) может лично "пощупать" каждая из заявивших участие вирлабов. С его образа для исследований хэш-идентификатор протоколируется, а образы пространства раздаются оплатившим участие вендорам. Не в обиду тестерам, теоретически может кто-то быть заинтересованным, есть и примеры похлеще в соседних темах, когда сотрудники ав-индустрии попадаются на криминале.

2. Единовременно с исследуемым образом файлового пространства снимаются все образы с отдельных систем с предустановленными продуктами для фиксации единовременного момента свежести баз, равного для всех. Хэши их также протоколируются, образы также раздаются участникам.

3. По прошествии определенного времени разбора пространства вендорами совместно с экспертным советом и тестерами решается: что есть зловред, а что нет, протоколом утверждаются перечень с хэшами, при спорности можно вынести на форум, если кто-то будет настаивать на детекте фолса как зловреда. Причем фолсы интересны по детекту по этому пространству. Разбавлять ли дополнительно неопасными потенциальными фолс-файлами тестирование - в зависимости от вида, но каждый из вендоров может для этого предоставить равное количество неопасных кандидатов на фолсы - решайте, сколько.

4. Кто быстрее протестирует: вендоры или тестеры портала - не принципиально.

PS Несотрудникам антивирусной индустрии конечно нельзя доступ к исходным данным по юридическим причинам, потому и функция контроля за тестированием возлагается на конкурирующих вендоров, и для них должны быть все исходники прозрачны.

[Сергей Ильин 1538]

ktotama, благодарю за идеи, постараемся это учесть. Но сразу скажу, что есть ряд принципиальных моментов, почти неразрешимых:

1. У нас тесты бесплатные. Поэтому встаем вопрос какие вендоры будут контролировать процесс тестирования. Некоторые так вообще не хотят участвовать и будут саботировать процесс, есть и такие. Потом все мнения учесть будет почти нереально, особенно если самплов будет достаточно много. Каждый будет гнуть свою линию по принципу "главное получше выглядеть самим, а конкурентов пониже опустить".

2. Процесс катострофически растянется по времени. Готовы ли все ждать по полгода утряску результатов каждого теста?

[ktotama 45]

ktotama, благодарю за идеи, постараемся это учесть. Но сразу скажу, что есть ряд принципиальных моментов, почти неразрешимых:

1. У нас тесты бесплатные. Поэтому встаем вопрос какие вендоры будут контролировать процесс тестирования. Некоторые так вообще не хотят участвовать и будут саботировать процесс, есть и такие. Потом все мнения учесть будет почти нереально, особенно если самплов будет достаточно много. Каждый будет гнуть свою линию по принципу "главное получше выглядеть самим, а конкурентов пониже опустить".

2. Процесс катострофически растянется по времени. Готовы ли все ждать по полгода утряску результатов каждого теста?

1. Можно обсудить форумом, думаю, пора переходить на платные, как это делают вышеупомянутые тестировщики, портал себя уже достаточно заявил далеко не только в России. Контролирует тот, кто оплатил к определенному сроку, но желающие заранее должны заявить о себе, чтобы рассчитать сумму входного билета из соотношения с Итого платных участников. Главное - не забыть вывесить официальное предложение-письмо на сайте и уведомить персонально потенциальных участников, в том числе о Новой методике. Количество сэмплов также можно прикинуть по опыту разных экспертов, исходя из предполагаемого объема файлового пространства. Насчет гнуть линию по спорным файлам - есть закрытый раздел форума, там эксперты разных вендоров разберутся, можно предварительно посчитать пессимистически и оптимистически по количеству, позже досчитать по утвержденному списку. Или критерием можно взять некий процент от всех, что менее достоверно.

2. Сроки можно прикинуть. Думаю, что порядок срока гораздо меньше, чем полгода, к тому же победитель поспешит сам быстрее заявить прогнозируемый результат.