Тест антивирусов на детектирование полиморфных вирусов (результаты)

[sww 486]

Судя по Вашему live:

Record has been corrected Win32.Dwee.2 Eduard Moskalchuk 13:10

Record has been corrected Win32.Dwee Eduard Moskalchuk 13:10

вы уже давно разобрались. Озвучьте что ли ...

Еще не разобрались. Все дело в том, что движки/эмуляторы у разных вендоров работают по-разному, из-за этого можно просто "пролететь" мимо. Что тут еще объяснять?

[Иван 290]

Цитата(A. @ 28.02.2008, 15:50)

То есть про Allaple.4 и Twido.2 комментариев не будет ?

Я же прокомментировал уже все что можно. Мы разбираемся... Или я высказывал какие-то претензии по старману и Dwee?

т.е. если принять тот факт, что Доктор Веб справедливо не детектирует самплы Virutа и получил бы за него 100%, то набрал бы он 25 балов, как Аваст.

[Groft 65]

Фины конечно смишные ... как бага и провал - так "это не мы, это у Касперского базы", а как чего-то выиграть, так сразу "уровень профессионализма специалистов антивирусной лаборатории F-Secure"

[Dexter 20]

За долго до начала теста я связывался со всеми вендорами и предлагал им поучаствовать в разработке методологии теста и помочь с составлением начального набора самплов. Почти никто не откликнулся!

Значит кто-то откликнулся.

Можно узнать кто?

[Сергей Ильин 1538]

Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

Отчет о тестировании оперативно изменен. Спасибо Groft за обнаруженную критическую ошибку в ходе тестирования.

VBA32 Workstation получает в итоге Bronze Anti-Polymorphic Protection Award.

[Иван 290]

Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

Отчет о тестировании оперативно изменен. Спасибо Groft за обнаруженную критическую ошибку в ходе тестирования.

VBA32 Workstation получает в итоге Bronze Anti-Polymorphic Protection Award.

все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

[Dexter 20]

все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

Угу, эволюция возможна и радует.

[A. 875]

Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

3.12.6.2 вышла в свет 25 февраля. Тест к этому моменту был уже завершен, насколько я понимаю.

Ничего не имею против белорусов, но возникает вопрос ...

[dan 10]

3.12.6.2 вышла в свет 25 февраля. Тест к этому моменту был уже завершен, насколько я понимаю.

Ничего не имею против белорусов, но возникает вопрос ...

Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

[Иван 290]

Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

сдается мне, что тестировать 3.12.2 котороая по какой-то странной причине не обновилась при наличии 3.12.6.1 было еще нечестнее

если самплы белоруссам не давали - то я не думаю, что та фора что у них образовалась засчет того что взяли свежую 3.12.6.2 существенно может исказить результат

[A. 875]

Дело не в версиях и не в самплах.

Дело в принципе. Есть установленные правила и это явное их нарушение.

Я прекрасно помню, как отказывали DrWeb-у пересчитать результаты теста самозащиты для 4.44. И правильно делали. А сейчас примерно то же самое, но с обратным результатом, делается для VBA.

Это прецедент, который в будущем АМ могут припомнить. Вкупе с другими накладками текущего теста - это в целом задает весьма скептическое и негативное отношение к тесту. А ведь АМ уже не новички в тестировании и сослаться на отсутствие опыта уже нельзя.

Простой факт. Никакой версии 3.12.6.2 в момент проведения теста с 15 января по 20 февраля - в природе не существовало. Исходя из этого - само наличие этого продукта в тексте - глупость.

Это тут нам, Ильин со товарищи могут обьяснить что, как и почему так и мы даже наверное поймем и согласимся. Но если АМ собирается составлять конкуренцию тем же Марксам и Энгельсам - такие вещи западной публике будут непонятны, со всеми вытекающими ...

[Иван 290]

Это тут нам, Ильин со товарищи могут обьяснить что, как и почему так и мы даже наверное поймем и согласимся. Но если АМ собирается составлять конкуренцию тем же Марксам и Энгельсам - такие вещи западной публике будут непонятны, со всеми вытекающими ...

а вот это совсем смешно, взгляните на тесты Маркса - там ни то что версии, там даже названия продуктов отсутствуют http://www.sunbelt-software.com/ihs/alex/R...1_20_282_29.xls и западная публика хавает за обе щеки.

а вы говорите об минорном индексе версии после третьей точки, смешно

[A. 875]

Я говорю о том, что Маркс никакого пересмотра по непонятным критериям не делает, поэтому никаких вопросов у западной публики не возникает. (зато у нас\вас возникают).

Ну да, представьте себе что он сделал тест, его опубликовали в журнале, а в следующем номере Маркс выкатывает поправку - этому "медаль" все-таки дадим.

если АМ считает возможным последующий пересчет результатов, то надо четко определить принципы по которым это делается. И огласить. Если не раз и навсегда, то хотя бы на длительный срок. А то как тест, так какие-то новые правила - "тут мы газету читаем, а тут в нее рыбу заворачиваем".

[Иван 290]

Я говорю о том, что Маркс никакого пересмотра по непонятным критериям не делает, поэтому никаких вопросов у западной публики не возникает. (зато у нас\вас возникают).

Ну да, представьте себе что он сделал тест, его опубликовали в журнале, а в следующем номере Маркс выкатывает поправку - этому "медаль" все-таки дадим.

если АМ считает возможным последующий пересчет результатов, то надо четко определить принципы по которым это делается. И огласить. Если не раз и навсегда, то хотя бы на длительный срок. А то как тест, так какие-то новые правила - "тут мы газету читаем, а тут в нее рыбу заворачиваем".

а если же говорить о том, что нельзя принципы нарушать - сделал тест, и несмотря ни на что менять его результаты нельзя - то и тут мировой практике тестирования известны случаи: VBстошники после долгих припирательств дали заветный значок VB100% Есету, который изначально тест не прошел. И опять общественность схавала.

я не говорю, что это хорошо. я говорю что так есть

[A. 875]

а если же говорить о том, что нельзя принципы нарушать - сделал тест, и несмотря ни на что менять его результаты нельзя - то и тут мировой практике тестирования известны случаи: VBстошники после долгих припирательств дали заветный значок VB100% Есету, который изначально тест не прошел. И опять общественность схавала.

я не говорю, что это хорошо. я говорю что так есть

Какая общественность схавала ? Я схавал ? Сотрудники всех других антивирусных компаний ? Вы схавали ? Тот же Маркс схавал ? Да ничего подобного. И как раз этим примером вы сами и тыкаете, а я говорю - что в АМ будут тыкать примером с VBA.

Вообще какая-то фигня получается. Лечение не тестировано, некоторые самплы в наборе "спорные", результаты пересчитываются для несуществующих продуктов, самплы выдаются вендорам (!! - это вообще отдельная тема и я опять же припомню случай, когда я просил самплы после какого-то из тестов-сравнений на АМ и мне было отказано и мотивация была высказана вроде "наша задача не помогать вендорам детектировать вирье, а помогать пользователям определить кто есть кто").

[Иван 290]

Какая общественность схавала ? Я схавал ? Сотрудники всех других антивирусных компаний ? Вы схавали ? Тот же Маркс схавал ?

так нам с вами в каждом тесте что-то не нравится, мы не показатель

если же говорить о перечисленных недостатках, то они свойствены всем западным тестам:

Лечение не тестировано

ну так оно ни у VB100% ни у климентия на полиморфах тоже не тестируется

некоторые самплы в наборе "спорные"

а у маркса и климентия тоже самплы спорные, вон тот же клементий все никак отмазку за свой августовский тест не подготовит QA of August 2007 test-set & corrections January 2008 delayed, but coming soon

результаты пересчитываются для несуществующих продуктов

приведенный выше пример с VB100%

самплы выдаются вендорам

а вон тот климентий с марксом тоже дают самплы вендорам, по крайней мере первый точно

а что вам не дали - так и западники то дают самплы, то не дают - по настроению

короче все недостатки этого теста надо исправлятьв будущем, но говорить что типа этот тест по западным критериям рылом не вышел - от этого не надо

[A. 875]

Иван, ну вот вы пишете - "у них тоже самое", "они тоже", "и там так". Все понимаю.

Не понимаю только с чего бы западные заказчики вдруг должны взять и полюбить АМ и начать его данные использовать - если он такой же как и все остальные существующие тест-лабы ? Точно так же косячит, то есть.

Надо быть лучше Маркса и ВБ. Очередной "невнятный" тестер не нужен никому. Даже западникам. А уж в свете создания AMTSO ...

[Иван 290]

Надо быть лучше Маркса и ВБ. Очередной "невнятный" тестер не нужен никому.

от с этим согласен

а что касается конкретно AMTSO, то пусть сначала договорятся, а то Маркс ужо почитай год всем рассказывает что надо методолгию тестирования хипсов утвердить, а толку нема, тока те же невнятные тесты от того же маркса

[sww 486]

от с этим согласен

а что касается конкретно AMTSO, то пусть сначала договорятся, а то Маркс ужо почитай год всем рассказывает что надо методолгию тестирования хипсов утвердить, а толку нема, тока те же невнятные тесты от того же маркса

Просто они еще не все бабло симантека поделили, некогда там методологиями заниматься

[Groft 65]

все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

и правильно делаете

[Сергей Ильин 1538]

Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

Улучшение результатов VBA32 связаны не столько с новой версией, а тем, что в первый раз обновление произошло криво. Было бы еще более нечестно оставить ошибочные результаты, которые получились каким-то чудесным образом? Самплы мы им не давали. Докрутить что-то времени не было.

Был косяк, я его признал и честно поправил результаты. Пусть ценой такого шага будет падение авторитета тестовой площадки, важнее исправить ошибку.

[Сергей Ильин 1538]

Вообще какая-то фигня получается. Лечение не тестировано, некоторые самплы в наборе "спорные", результаты пересчитываются для несуществующих продуктов, самплы выдаются вендорам (!! - это вообще отдельная тема и я опять же припомню случай, когда я просил самплы после какого-то из тестов-сравнений на АМ и мне было отказано и мотивация была высказана вроде "наша задача не помогать вендорам детектировать вирье, а помогать пользователям определить кто есть кто").

Что лечение не тестировалось - это плохо, я это признаю. В будущих версиях теста будем это делать. Что касается выдачи самплов, то это, как уже очевидно, была моя ошибка. Получив какие-то самплы любой продвинутый специалист может опустить ниже плинтуса результаты любого теста. Вообщем такой халявы больше не будет - только обоюдный обмен с авторизованными партнерами.

Пропущенные самплы у меня сейчас просит добрая половина вендоров из первой 10-ки. Что-то я не припомню, чтобы они так же активно участвовали в подготовке теста Тест сложный и как показало обсуждение результатов можно было его существенно улучшить, но, не смотря не на что, в таком виде он все равно интереснее аналогов.

Сформулирую золотое правило на будущее: не участвовал в подготовке теста - никаких самплов, никакого права и возможностей что-то просить/требовать после публикации результатов.

[Иван 290]

Сформулирую золотое правило на будущее: не участвовал в подготовке теста - никаких самплов, никакого права и возможностей что-то просить/требовать после публикации результатов.

меня вот лично другое напрягает

я так понимаю участвовать в обсуждении методологии теста никому не запрещено, но почему-то вместо этого ряд товарищей предпочитают уже после теста рассказать всем, что тест дерьмо и постараться его дискредитировать.

И даже больше, они предпочитают заявлять, что вот мол не было проведено лечение, поэтому тест никуда не годится.

1. при этом во-первых, все почему-то не говорят, что если нет детекта, то лечения не будет заведомо и тест проверяет необходимое условие - детект, что уже показатель

2. во-вторых, никто даже после теста не предложил реального метода проверки корректности лечения большого числа самплов. Все предпочитают слова - надо было лечение проверять и все тут. Вот подумайте и предложите на обсуждение корректную реализуемую схему проверки лечения. Тогда и выступайте.

[Сергей Ильин 1538]

2. во-вторых, никто даже после теста не предложил реального метода проверки корректности лечения большого числа самплов. Все предпочитают слова - надо было лечение проверять и все тут. Вот подумайте и предложите на обсуждение корректную реализуемую схему проверки лечения. Тогда и выступайте.

Очень правильное замечание. Готов в следующий раз проверять лечение. Кто-то готов предложить методику или все останется на уровне демагогии "надо было сделать лучше"?

[Virusu.net 0]

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"