Тест антивирусов на детектирование полиморфных вирусов (результаты)

[alexgr 556]

+1

[Иван 290]

Лично мое мнение - не надо было изначально пересчитывать результаты VBA32. Была допущена ошибка в тестировании - ок, она установлена, она повлияла на результат. Значит вот тот первый результат и надо было аннулировать = убрать VBA из теста совсем.

Нет, вместо этого сделали пересчет и пришли к тому, к чему пришли - требование\пожелание\просьба снять результаты.

Извините, но это выглядит именно как попытка всеми средствами избежать демонстрации плохих, провальных данных для VBA. Они провальные, что в первом случае, что во втором. Теперь, когда вы уже видите это - два провала, то просьба все-таки снять результаты вообще - это ...

Фактически VBA дали две попытки. Обе неудачные. Итог - "не надо нас вообще считать".

Если не согласны с тем что это были две попытки - считайте это одной. Итог тот же - "не надо нас вообще считать".

Отсюда и вопрос - почему же теперь любой другой вендор не может сказать то же самое - "не надо нас считать" ? Имхо, может. И даже найдет несколько фактов в свою пользу. Например, мол, у нас в это время базы оптимизировались - бага была на нашей стороне, вы не при чем, но результат все равно снимите.

так что ли ?

сказать вендор может, предложить может - другой вопрос что за этим последует

я так понимаю белорусы не настаивают, они лишь предлагают - чего вы их пинаете так?

и судя по этому предложение останется лишь предложением

[A. 875]

а мне не нравится, когда люди откровенно врут про то, что они этот вирус "не знают"...

+

Прав я не имею, просто высказываю свое мнение, это же форум?))

+

и судя по этому предложение останется лишь предложением

Булшит (с).

Там у белорусов пересчитанный под 3.12.6.2 результат.

[Dexter 20]

я так понимаю белорусы не настаивают, они лишь предлагают - чего вы их пинаете так?

Просто по привычке.

[A. 875]

Просто по привычке.

Мнение у дятла - всегда отрицательное (с).

А вообще вот.

[Иван 290]

Булшит (с).

Там у белорусов пересчитанный под 3.16.2 результат.

они предлагали убрать результат по VBA совсем, по-моему в последних постах обсуждалось это?

вот именно это их предложение так и осталось только предложением

а то что отката назад к первоначальному варианту теста не будет по-моему было очевидно, Ильин прекратил метаться, что хорошо - лучше поздно, чем никогда.

[A. 875]

они предлагали убрать результат по VBA совсем, по-моему в последних постах обсуждалось это?

вот именно это их предложение так и осталось только предложением

Добрый вечер, Сергей Ильин ?

[Иван 290]

Добрый вечер, Сергей Ильин ?

воздействие алкоголя?

[Dexter 20]

А вообще вот.

Ты еще себя сравни с первой в тесте авирой.

[A. 875]

воздействие алкоголя?

Да я вроде от чужого имени еще не высказывался никогда.

Хотелось бы, собственно, заслушать "начальника транспортного цеха".

[Иван 290]

Да я вроде от чужого имени еще не высказывался никогда.

Хотелось бы, собственно, заслушать "начальника транспортного цеха".

я высказывался от своего имени

а то что моё мнение тебе не интересно - ну чтож не заслужил видать

[A. 875]

я высказывался от своего имени

а то что моё мнение тебе не интересно - ну чтож не заслужил видать

"вот именно это их предложение так и осталось только предложением".

Мне чо та казалось, что такие вердикты может выносить только один человек.

И чо не так?

он имел в виду "методологию".

[Dexter 20]

"вот именно это их предложение так и осталось только предложением".

Мне чо та казалось, что такие вердикты может выносить только один человек.

он имел в виду "методологию".

Ды понятно, но пора спать.

Спим.

[Иван 290]

"вот именно это их предложение так и осталось только предложением".

Мне чо та казалось, что такие вердикты может выносить только один человек.

корректирую:

как я вижу по пресухе, на данный момент предложения белорусов о снятии результатов по VBA подчистую - не принято

есть подозрение, что раз я вижу в этой пресухе цитаты от вендоров - значится врядли уже что-либо измениться, потому как переделывать результаты после того как ты снял цитаты у вендоров, т.е. они вроде как подписались - ну это было бы уже черезчур

возможно я ошибаюсь - поспимувидим

[A. 875]

корректирую:

как я вижу по пресухе, на данный момент предложения белорусов о снятии результатов по VBA подчистую - не принято

есть подозрение, что раз я вижу в этой пресухе цитаты от вендоров - значится врядли уже что-либо измениться, потому как переделывать результаты после того как ты снял цитаты у вендоров, т.е. они вроде как подписались - ну это было бы уже черезчур

возможно я ошибаюсь - поспимувидим

http://www.anti-malware.ru/index.phtml?par...d=513&arc=0

2008-02-29 15:58:16

http://www.anti-malware.ru/forum/index.php...ost&p=33736

Вчера, 17:23

Все ведь очень просто.

Мне же не надо дискредитировать данный тест - ну с чего бы мне это делать, KAV в нем первое место занял. Ладно б я за его интересы бился. Так вроде нет. Конкурентов опускаю ? Так тут и нет никого из них, кроме ДрВеба и VBA. Так и ведь с позицией DrWeb согласен, что с Virut-ом косячок вышел. Хм.

Зачем же мне это все ? Неужели, чтобы белорусов, злостных наших конкурентов и врагов заклеймить позором ? Тоже странно - со Славой Коляда мы аж с 2003 года лично знакомы и в вирлабе у нас он даже был в гостях как-то.

Может критика моя данного теста (а точнее последовавших за ним телодвижений) сугубо лично-зашорена и идет в разрез с мнением подавляющего большинства ? Хм, не знаю. Не могу видеть. Вижу только что за нее мне в репутацию +1 поставили, и даже сам Гребенюк вон там выше тоже вроде как согласие высказал.

Не, вы скажите если что не так - мол, пошел нафиг по своей критикой, тест клевый, чего хотим то и воротим и вообще не твое собачье дело.

Оно и правда - не мое.

Так чего это я и зачем вообще ?

[Сергей Семашко 0]

Лично мое мнение - не надо было изначально пересчитывать результаты VBA32. Была допущена ошибка в тестировании - ок, она установлена, она повлияла на результат. Значит вот тот первый результат и надо было аннулировать = убрать VBA из теста совсем.

Будете смеяться, но лично мое мнение с Вашим в этом отношении полностью совпадало/совпадает.

Нет, вместо этого сделали пересчет и пришли к тому, к чему пришли - требование\пожелание\просьба снять результаты.

Лично Вам в моем предыдущем сообщении был задан конкретный вопрос: "Какие будут ваши предложения?". Не вопрос о том, что следовало бы делать раньше, а именно интересны предложения по теперешней ситуации. Ответьте на него пожалуйста.

Извините, но это выглядит именно как попытка всеми средствами избежать демонстрации плохих, провальных данных для VBA. Они провальные, что в первом случае, что во втором.

Насчет "попытки всеми средствами избежать демонстрации плохих, провальных данных" - это Ваши личные фантазии. Еще раз перечитайте (пункты 2 и 3): http://www.anti-malware.ru/forum/index.php...ost&p=33740

Насчет результатов февральской версии VBA. Я бы не назвал их особенно выдающимися, но и откровенно провальными они не являются. По крайней мере видно, что вирусы в целом детектируются. Хотя и видны явные недоработки (Alman.1 и Twido.2), которые будут исправляться. Первоначальные результаты не вызывали ничего, кроме недоумения.

Что касается самого теста, вопрос влияния битых сэмплов здесь уже обсуждался, повторяться нет смысла. Методика вычисления баллов неустойчива и сильно зависит от "шума" (которым являются битые/нерабочие сэмплы), что вносит большую погрешность, такие сэмплы могут оказывать существенное влияние на результат при детекте в области 98-100%. Вообще про результаты, которые чуть ниже 100 процентов, сложно сказать, являются они нормальными или нет, поскольку сложно оценить процент битых сэмплов.

Позитивным является то, что накопленный опыт наверняка будет учтен при проведении следующих тестов.

Теперь, когда вы уже видите это - два провала, то просьба все-таки снять результаты вообще - это ...

см. выше

Фактически VBA дали две попытки.

Утверждение о двух попытках подразумевает, что велась какая-то специальная подготовка к этой второй попытке, либо результат недетерминирован и может меняться случайным образом. Ни того, ни другого не было. Поэтому не передергивайте факты.

Обе неудачные. Итог - "не надо нас вообще считать".

Если не согласны с тем что это были две попытки - считайте это одной. Итог тот же - "не надо нас вообще считать".

опять же, см. выше. Не надоело повторяться?

Отсюда и вопрос - почему же теперь любой другой вендор не может сказать то же самое - "не надо нас считать" ? Имхо, может. И даже найдет несколько фактов в свою пользу. Например, мол, у нас в это время базы оптимизировались - бага была на нашей стороне, вы не при чем, но результат все равно снимите.

Сказать-то может, кто ж ему запретит? Но решение все равно "на усмотрение арбитра". И оптимизация базы, на мой взгляд, причина явно "неуважительная".

[Иван 290]

http://www.anti-malware.ru/index.phtml?par...d=513&arc=0

2008-02-29 15:58:16

http://www.anti-malware.ru/forum/index.php...ost&p=33736

Вчера, 17:23

и еще раз - как я вижу на данный момент предложение белорусов о сниятии VBA не принято

[A. 875]

Будете смеяться, но лично мое мнение с Вашим в этом отношении полностью совпадало/совпадает.

Сергей, прочитайте пожалуйста ОЧЕНЬ внимательно вот ЭТОТ пост.

Посмотрите на даты, на слова, на подписи.

А теперь перечитайте все что вы понаписали в своем последнем комментарии (на который я сейчас отвечаю).

[Иван 290]

Может критика моя данного теста (а точнее последовавших за ним телодвижений) сугубо лично-зашорена и идет в разрез с мнением подавляющего большинства ? Хм, не знаю. Не могу видеть. Вижу только что за нее мне в репутацию +1 поставили, и даже сам Гребенюк вон там выше тоже вроде как согласие высказал

не, критика теста - справедлива,

я кажется уже существенно выше с этим соглашался и лишь не соглашался только с тем, что якобы телодвижения Ильина сильно отличаются от того, что демонстрируют нам его западные аналоги

но то что я увидел в последних постах - это опускание белорусов за предложение, подчеркиваю только предложение убрать вба совсем, имхо черезчур резкое опускание

[Dexter 20]

но то что я увидел в последних постах - это опускание белорусов

Спасибо.

В этом анализе теста деструктивен только один, А.

Наверное, только он помогал в этом тесте...

[A. 875]

но то что я увидел в последних постах - это опускание белорусов за предложение, подчеркиваю только предложение убрать вба совсем, имхо черезчур резкое опускание

Дубль два.

[Иван 290]

Дубль два.

давайте разделим мухи от котлет

1. было указание белорусов на ошибку Ильина и требование пересмотреть результаты, поскольку версия была взята хрен знает ткакой давности. Ильин скорректировал результат.

Правильно он это сделал или нет - тема для дискусии, я кстати нашел еще один пример

The file which spoiled BitDefender's chances of an award, along with those of GDATA and AEC, (maker of Trustport), has also been identified as a hacker tool, detection for which was recently added to the BitDefender product. The file will be stricken from the cleanset, and as all three products failed only due to this issue, all are awarded the VB100%. GDATA also joins the elite group of products detecting 100% across all test sets. VB extends its apologies to all three companies.

но мы не об этом, ведь правда? мы о:

2. предложении, подчеркиваю предложении белорусов снять VBA вообще. Реакции на которое со стороны Ильина не последовало и за которое ты А. начал белорусов опускать.

так вот я лишь заметил, что не вижу повода так белорусов за этот пункт 2 пинать ногами - тем более что они готовы чтоб их хреновый результат остался на виду

было либо исключено из данного теста, либо было вынесено за его рамки

[A. 875]

давайте разделим мухи от котлет

1. было указание белорусов на ошибку Ильина и требование пересмотреть результаты, поскольку версия была взята хрен знает ткакой давности. Ильин скорректировал результат.

Правильно он это сделал или нет - тема для дискусии, я кстати нашел еще один пример

но мы не об этом, ведь правда? мы о:

2. предложении, подчеркиваю предложении белорусов снять VBA вообще. Реакции на которое со стороны Ильина не последовало и за которое ты А. начал белорусов опускать.

так вот я лишь заметил, что не вижу повода так белорусов за этот пункт 2 пинать ногами.

Иван, ну где вы в моей логике видите огрехи в данной ситуации, покажите ? Я то не вижу.

Есть факты.

1. Позавчера белорусы не согласились с результатом.

2. Позавчера белорусы попросили провести новый тест на новой версии.

3. После оглашения новых результатов - белорусы просят себя из теста совсем исключить.

Я говорю о том,что пункта 2 делать вообще не следовало и им сразу надо было бы просить исключения. И Сергей Семашко говорит, что он с этим согласен. Но сегодня. А не позавчера. То есть сами эскалировали ситуацию до абсурда и теперь хотят чтобы я предложил вариант решения.

Нормальный подход...

Так вот - пинаю я их - именно за пункт 2, а не 3. И Семашко сам же говорит, что да - надо было сразу исключать.

Ну и еще за сказки про "незнание" вирусов из тестового набора, но это исключительно мое экспертное мнение, которое я никому доказывать не собираюсь.

[Иван 290]

3. После оглашения новых результатов - белорусы просят себя из теста совсем исключить.

нет, они просят снять не после оглашения результатов, а после этого

http://www.anti-malware.ru/forum/index.php...ost&p=33681

этого http://www.anti-malware.ru/forum/index.php...ost&p=33688

этого http://www.anti-malware.ru/forum/index.php...ost&p=33692

и еще нескольких постов

только после этих постов появилось

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

а после того как я намекнул им что наверное им и новые результаты не по душе, был ответ

либо было вынесено за его рамки

- что подразумевало, что они не против обнародования этих фиговеньких результатов

а за пункт 2. если кого пинать - это Ильина за то что пошел на исправление своей ошибки, а не пинать белорусов. Белорусы были вправе требовать того, что считали нужным.

млять три часа ночи - я спать

[A. 875]

нет, они просят снять не после оглашения результатов, а после этого

http://www.anti-malware.ru/forum/index.php...ost&p=33681

этого http://www.anti-malware.ru/forum/index.php...ost&p=33688

этого http://www.anti-malware.ru/forum/index.php...ost&p=33692

и еще нескольких постов

Не сходится ...

Вот тут.

Первое же предложение.

Если бы вот такой текст:

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

появился позавчера - последних 4-х листов флейма тут бы просто не было.