Результаты июньского Virus Bulletin

[Николай Головко 70]

Windows XP - June 2007

cтатус FAIL получен продуктами

Agnitum Outpost Security Suite Pro 2007 5.1214.616

Ahnlab V3 Internet Security 2007 7.40.1

Doctor Web Dr.Web 4.33.3.04230

F-Secure Protection Service for Consumers 7.00

Grisoft AVG 7.5 Professional Edition

Ikarus Virus Utilities 1.0.52

iolo AntiVirus 1.1.9

Kaspersky Anti-Virus 6.0.2.621

NWI VirusChaser 5.0a

Proland Protector Plus 2007

Остальные - PASS.

Желающие могут публиковать картинку.

[Kokunov Aleksey 20]

краткий отчет

Test_VB100.pdf

Test_VB100.pdf

[Иван 290]

о как, и шестерку Касперского постигла чаша сия...

значит оба два российских вендора не прошли...

надо будет почитать журнальчик, что пишут-то интересно, у чем причина. ПОчитаю расскажу.

[broker 30]

хм, у большой тройки (четвёрки) всё отлично. Интересные результаты.

[Storm 0]

Тэк-с, меня видимо глючит:

http://www.kaspersky.ru/news?id=207732425

Добавлено спустя 34 минуты 15 секунд:

Тэк-с, меня видимо глючит:

Точно, глючит.

КАВ тест завалил, тогда давайте скинемся на платиновое спонсирование ВБ100% и купим КАВу эмблемку

[Ham 0]

Лаборатория Касперского не получила награду Virus Bulletin на WIndows XP... Это может означать только одно - заговор против этой замечательной компании с продуктом, показывающим лучшее в индустрии детектирование. Проклятые %%%% McAfee, Symantec, Trend Micro и Eset!!!

Скорбим...

[Valery Ledovskoy 1082]

то может означать только одно - заговор против этой замечательной компании с продуктом, показывающим лучшее в индустрии детектирование.

Конечно же, только это...

Добавлено спустя 1 минуту 19 секунд:

И теперь посмотрим, что будет говорить ЛК по поводу справедливости "независимых" тестов. Ищите того, кто заказывает музыку.

[SuperBrat 6]

Ham, вы нарушили "Правила поведения на нашем форуме", пункт 1.

[Иван 290]

Ham а скажите ка это была шутка юмора или попытка выступить якобы от лица поклонников ЛК?

Если шутка - то смешно, а если второе - то по уродски как-то

да кстати тема по VB100% уже есть http://www.antimalware.ru/phpbb/viewtopic.php?t=3173

[Сергей Ильин 1538]

И теперь посмотрим, что будет говорить ЛК по поводу справедливости "независимых" тестов. Ищите того, кто заказывает музыку.

А чего им сейчас говорить? Провали тест, с каждым бывает, когда-то это же должно было произойти по теории вероятности, это случилось, с каждым может быть (см. ветку о предыдущем тести и провале Eset http://www.anti-malware.ru/phpbb/viewtopic.php?t=2971).

Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

Добавлено спустя 5 минут 20 секунд:

Меня лично настараживает в результатах VB100%, когда какой-то вендор ее не берет несколько тестов подрят. Лажаются рано или поздно все.

Например, Доктор Веб завалил уже два подряд, но от этого его нельзя считать плохим продуктом. Например, и Доктор и Касперский уж точно лучше СА, а последний VB100% в этот раз получил. При этом детект у него просто никакой, можно смотреть любой тест на детекшен.

[Иван 290]

Что касается тестов VB100%, то ответ ЛК действительно было бы интересно услышать. Было бы здорово, что бы это была здоровая критика методики VB100% (которых есть за что критиковать), а не слова в духе alexgr из украинского Доктора: "тест дурацкий, а мы все равно отлично детектим". А методика VB100% такова, что берется небольшой набор самплов очень распространенных вирусов и если хотя бы один из этих самплов антиврус не берет - то тест считается проваленным. Если кто-то такую методологию теста считает верной, чтож это его право.

Тест шестерка Касперкого не прошла, но честно говоря не прошла как-то странно. Якобы не был задетекчен сампл W32/Allaple, причем VB пишет какие-то странные вещи: "наше исследование показало, что этот вирус детектировался касперским за несколько дней до проведения теста и через несколько дней после его проведения. Видимо сигнатура этого зловреда временно удалялась из баз для какого-то исправления. К сожалению, этого времени было достаточно для того, чтобы касперский не прошел тест"

Какая-то странная история если честно, сигнатуры зловреда якобы не было в базах именно в момент проведения теста. Была до, была после, а в момент теста проападала на время. Да, кстати вирь действительно старый и добавлен в базы давно http://www.kaspersky.ru/viruswatchlite?search_virus=allaple

Такая вот история, почти детективная. Думаю, что ЛК в отличии от Eset не будет задним числом выпрашивать себе награду обратно. Хотя в прочем не берусь судить, это дело вендора.

В подтверждении моих слов оригинал теста VB100%.

[Сергей Ильин 1538]

Да, как-то странно ... какой смысл убирать сигнатуру "на время"?

Это вообще разве практикуется?

Если была фалса, то сигнатуру бы переписали, но убирать бы не стали.

[Иван 290]

что же касается нелюбителя независимых тестов Доктора Веба, то они завалились на модификациях того же зловреда, что и в прошлом тесте VB (видимо не ладится у них с Sdbot) + еще несколько самплов

[Dmitry Perets 30]

Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

И-мен-но! И Н.Касперская, кстати, об этом тесте примерно так в интервью отзывалась: мол, "получил VB100 = умеешь проходить тесты VB, не более того". Ну в пресс-релизах на сайте ЛК, правда, писали, что это мол "независимый и уважаемый тест", и всё такое... Но это ж пресс-релизы на сайте вендора, к ним придираться = придираться к рекламе в принципе, что несеръёзно.

А вот история с исчезнувшей сигнатурой действительно очень странна... Услышать бы комментарий кого-то из ЛК... Либо там у них кто-то "лоханулся" так странно в вир.лабе, либо что-то непонятное с тестом VB творится.

[Dexter 20]

Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

И-мен-но! И Н.Касперская, кстати, об этом тесте примерно так в интервью отзывалась: мол, "получил VB100 = умеешь проходить тесты VB, не более того". Ну в пресс-релизах на сайте ЛК, правда, писали, что это мол "независимый и уважаемый тест", и всё такое... Но это ж пресс-релизы на сайте вендора, к ним придираться = придираться к рекламе в принципе, что несеръёзно.

А Eset о святости VB где кричит?

В курилке, что ли?

[Иван 290]

И в курилке тоже, столько о VB сколько кричит Eset не кричит никто.

И не даром они так выцыганивали обратно апрельский тест.

Как Eset себе вытребывал награду в апрельском тесте VB100% это ведь надо видеть. Никаким перетестированием в течении месяца тут и не пахнет.

Я собственно опираюсь только на открытыую для всех фактологию:

http://www.virusbtn.com/news/vb_news/2007/04_01a.xml

http://www.virusbtn.com/news/vb_news/2007/04_18.xml

http://www.virusbtn.com/news/vb_news/2007/05_04.xml

1.второго апреля вышел тест VB100%, который Nod32 не прошел. Не прошел потому что эвристик нод32 сработал на абсолютно чистом файле с вердиктом 'probably unknown TSR.COM.EXE virus'

2.Eset не согласился с решением VB, заявив: в методологии тестирования VB100% написано, что если продукт реагирует на чистый файл с вердиктом "подозрительный" (suspicious), то это не считается ложным срабатыванием.

3.Virus Bulletin 18го апреля ответил на это обстоятельным подробным

разъясняющим прессрелизом http://www.virusbtn.com/news/vb_news/2007/04_18.xml В котором заявил, что настаивает на своём решении не давать награду Nod32.

Аргументы были такие: 'probably unknown TSR.COM.EXE virus' это слишком сильный вердикт, гораздо сильнее, чем просто "подозрительный". А кроме того вердикты аналогичные 'probably unknown TSR.COM.EXE virus' засчитывались и

засчитываются Nod32 и другим в том случае если эти вердикты появляются на зараженных файлах. А один и тот же вердикт не может быть одновременно быть засчитан как детектирование для зараженного файла и в тоже время не считаться ложным срабатыванием для чистого файла.

Чтобы уж совсем при этом не обижать Eset ребята из Virus Bulletin

высказались в том духе, что Nod32 очень хороший, всегда у нас побеждал, и мы типа надеемся что этот единичный досадный прокол в биографии и что дальше все будет хорошо.'

Nod32 has an outstanding record in the VB100', said John Hawes, Technical Consultant at Virus Bulletin, in charge of VB100 testing. 'The product has proven successful in more tests than any other, and has never missed an In-The-Wild virus since our tests began in 1998. It also consistently shines in our speed testing, and in my experience is one of the most flexible and useable products on the market. I'm sure this will be a minor blip in their VB100 record, and that ESET will continue to produce excellent results in future tests.'

4. А вот дальше видимо Eset предпринял что-то, что все вдруг резко

изменило. Virus Bulletin пятого мая выпустил очень короткую новостную заметку http://www.virusbtn.com/news/vb_news/2007/05_04.xml , в которой на

этот раз без своих обычных подробных разъяснений заявил: "После тщательного рассмотрения мы пришли к выводу, что файл на котором произошло ложное срабатывание Nod32 был неправильно занесен нами в список чистых файлов. А поскольку этот файл был вовсе не чистый, то Nod32 правильно сделал, что на него отреагировал и мы поэтому возвращаем ему награду VB100% и считаем, что он тест прошел.

In Virus Bulletin's April 2007 Linux comparative review (see VB, April

2007, p.11), VB reported that ESET's product NOD32 had generated a false positive during scanning of the older part of the clean test set. After

further investigation and careful consideration, VB now deems that the file

alerted on was inappropriate for inclusion in the clean test set. The file

will be removed from the clean test set with immediate effect. A VB100 is

therefore awarded to NOD32. No other products were affected.

Конечно можно считать, что все тут нормально. Но у меня остались вопросы:

1. ПОчему VB, один раз аргументировано отказавшись засчитывать Eset результаты теста, вдруг изменил своё решения причем как-то не очень то подробно осветив причины своего решения?

2.ПОчему Eset сразу не указал VB на то, что их срабатывание вовсе не

ложное, а файл на котором оно произошло вовсе и не чистый? А вместо этого утверждали, что их вердикт похож на suspicious и поэтому его нельзя рассматривать как ложное срабатывние. Было так сложно понять за две недели, что файл реально заражен, понадобилось больше времени?

3. VB утверждает, что файл на котором сфолсил Nod32 на самом деле вовсе и не чистый, а значит Eset все правильно отреагировал.

Хорошо...но если файл не чистый, то какой? Зараженный? Тогда почему интересно только Nod32 на него отреагировал? Прям вот так вышло, что Nod32 заразу нашел, а прямо вот все поголовно остальны проворонили? А если файл не зараженный, а одновременно и чистым его назвать нельзя...какой же он тогда?

Можно было бы считать, что ничего подозрительного в этом во всем нет, если бы не одно но:

NOD32 не провалил ни одного теста VB100%. ПРичем не проваливал он их не только в 2006 году, когда уровень детекта у них был реально высокий, но и в 2004м, когда согласно клименти Nod32 детектил чуть меньше 88% зловредов

и в 2007, когда согласно Марксу их детект снова скатился на ту же отметку.

Как бы не обнаруживал NOD32 вирусы, он все равно получит VB100% - закон Eset

[Ham 0]

По-моему VB по барабану что о нем говорят вендоры. Важно то, что вся мировая двадцатка кроме Панды тратит свои деньги и время на добровольное прохождение тестирования.

Поэтому тот, кто говорит, что ему этот тест не нужен, но все равно его проходит, либо глупый человек, либо врет.

Так что в этом вопросе я поддерживаю Панду - тест не нравится, и компания в нем не участвует. А все сентенции других вендоров, не способных поймать все вирусы даже в самой маленькой и распространенной коллекции, в пользу бедных.

[Сергей Ильин 1538]

Так может еще будет и в этот раз пресс-релизы от VB по поводу Касперского и Доктора? Глядишь и получат значек задним числом ;-)

[Иван 290]

Я к сожалению не нашел сейчас в инете интервью, в котором Касперский как-то сказал примерно следующее: "в тестах VB легче участвовать, чем потом объяснять почему не участвовал"

А еще он сказал: "Отдельно хотелось бы поговорить по поводу тестов авторитетного специализированного журнала VirusBulletin, предчувствуя возможный вопрос читателей — а где же информация про тесты VirusBulletin и награду «VB100%», которая в них присуждается? Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более."

Причем сказано это было когда Касперский успешно проходил все тесты VB, так что как я понимаю насчет реальной ценности этих тестов в ЛК не обольщаются.

А насчет того пофигу VB на вендоров или нет, я бы поспорил, особенно учитывая возвращенный есету апрельский тест и ранее пододная же ситуация с симантеком

[A. 876]

А вот история с исчезнувшей сигнатурой действительно очень странна... Услышать бы комментарий кого-то из ЛК... Либо там у них кто-то "лоханулся" так странно в вир.лабе, либо что-то непонятное с тестом VB творится.

Давайте все-таки расставим некоторые точки над i, а то я тут в ходе предыдущих обсуждений VB100 слышал некие утверждения, которые не являются истинными (для ЛК, по-крайней мере).

1. Никогда возможности "пересдать" проваленный тест не существовало. Есть только одна попытка и случаев повторного тестирования не было.

2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

3. Состав коллекции для тестирования - не известен. Количественно - примерно вычисляется.

4. Спонсорство VB100 не дает никаких преференций и поблажек при прохождении тестов.

5. Участник теста не участвует в составлении коллекции для тестирования.

[Иван 290]

2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

т.е. получается, что один раз отказав есету в пересмотре результатов теста VB подумал еще две недели и (спустя месяц после теста) решил, что файл, на котором фолсил есет, все таки не был чистым, а фолс не ьыл фолсом. А в есете этого файла даже в глаза не видели.

Ну чтож, версия имеющая право на существование.

[A. 876]

2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

т.е. получается, что один раз отказав есету в пересмотре результатов теста VB подумал еще две недели и (спустя месяц после теста) решил, что файл, на котором фолсил есет, все таки не был чистым, а фолс не ьыл фолсом. А в есете этого файла даже в глаза не видели.

Ну чтож, версия имеющая право на существование.

Я сказал "файлы, которые были пропущены", а не ложные срабатывания. Про фалсы я сказать ничего не могу, не знаю, не было практики, не фалсили. Может быть и дали его eset-у, может быть и нет. Скорее нет, но ...

[Dexter 20]

Про фалсы я сказать ничего не могу, не знаю, не было практики, не фалсили.

Лишнее подтверждение бесполезности подобного теста.

Все прекрасно знают, что касперский достаточно регулярно фолсит сигнатурно.

Так что это ещё один повод не расстраиваться поклонникам.

[SuperBrat 6]

http://virusinfo.info/showthread.php?t=10269

[alexgr 556]

Что касается тестов VB100%, то ответ ЛК действительно было бы интересно услышать. Было бы здорово, что бы это была здоровая критика методики VB100% (которых есть за что критиковать), а не слова в духе alexgr из украинского Доктора: "тест дурацкий, а мы все равно отлично детектим". А методика VB100% такова, что берется небольшой набор самплов очень распространенных вирусов и если хотя бы один из этих самплов антиврус не берет - то тест считается проваленным. Если кто-то такую методологию теста считает верной, чтож это его право.

.

Я всегда уважал ваше мнение, в данном случае попрошу не передергивать. Ответ Гостева вам что-то видимо прояснил. Я не против этих тестов- я против невозможности проверки результатов (читаем - воспроизведения). Не более того.

Мое отношение к любой методологии простое -любая методика имеет право на жизнь, но в случае полного воспроизведения хоть мной, хоть вами, хоть иным любителем прогонов зловреда (ов) под неким движком. Не вопрос.

вопрос "пересдачи" теста меня просто "умилил". Полная фигня как по мне - прошу прощения за плохой французский.

И все же - я разве хоть в одном посте говорил, что мы берем все 100% вредоносов? Мой подход - никто и никогда не берет этот барьер. Есть возможность приближаться к нему слева. А второе - тест на детект меня никогда не покорял. И я благодарен Ильину и Vaber за реальную попытку сделать неплохой тест по "активному заражению". Мои замечания были всего к методологии