Результаты июньского Virus Bulletin - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Николай Головко

Результаты июньского Virus Bulletin

Recommended Posts

Николай Головко

Windows XP - June 2007

cтатус FAIL получен продуктами

Agnitum Outpost Security Suite Pro 2007 5.1214.616

Ahnlab V3 Internet Security 2007 7.40.1

Doctor Web Dr.Web 4.33.3.04230

F-Secure Protection Service for Consumers 7.00

Grisoft AVG 7.5 Professional Edition

Ikarus Virus Utilities 1.0.52

iolo AntiVirus 1.1.9

Kaspersky Anti-Virus 6.0.2.621

NWI VirusChaser 5.0a

Proland Protector Plus 2007

Остальные - PASS.

Желающие могут публиковать картинку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

о как, и шестерку Касперского постигла чаша сия...

значит оба два российских вендора не прошли...

надо будет почитать журнальчик, что пишут-то интересно, у чем причина. ПОчитаю расскажу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

хм, у большой тройки (четвёрки) всё отлично. Интересные результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm

Тэк-с, меня видимо глючит:

http://www.kaspersky.ru/news?id=207732425

Добавлено спустя 34 минуты 15 секунд:

Тэк-с, меня видимо глючит:

Точно, глючит. :)

КАВ тест завалил, тогда давайте скинемся на платиновое спонсирование ВБ100% и купим КАВу эмблемку :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ham

Лаборатория Касперского не получила награду Virus Bulletin на WIndows XP... Это может означать только одно - заговор против этой замечательной компании с продуктом, показывающим лучшее в индустрии детектирование. Проклятые %%%% McAfee, Symantec, Trend Micro и Eset!!!

Скорбим...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
то может означать только одно - заговор против этой замечательной компании с продуктом, показывающим лучшее в индустрии детектирование.

Конечно же, только это...

Добавлено спустя 1 минуту 19 секунд:

И теперь посмотрим, что будет говорить ЛК по поводу справедливости "независимых" тестов. Ищите того, кто заказывает музыку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Ham, вы нарушили "Правила поведения на нашем форуме", пункт 1.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Ham а скажите ка это была шутка юмора или попытка выступить якобы от лица поклонников ЛК?

Если шутка - то смешно, а если второе - то по уродски как-то

да кстати тема по VB100% уже есть http://www.antimalware.ru/phpbb/viewtopic.php?t=3173

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
И теперь посмотрим, что будет говорить ЛК по поводу справедливости "независимых" тестов. Ищите того, кто заказывает музыку.

А чего им сейчас говорить? Провали тест, с каждым бывает, когда-то это же должно было произойти по теории вероятности, это случилось, с каждым может быть (см. ветку о предыдущем тести и провале Eset http://www.anti-malware.ru/phpbb/viewtopic.php?t=2971).

Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

Добавлено спустя 5 минут 20 секунд:

Меня лично настараживает в результатах VB100%, когда какой-то вендор ее не берет несколько тестов подрят. Лажаются рано или поздно все.

Например, Доктор Веб завалил уже два подряд, но от этого его нельзя считать плохим продуктом. Например, и Доктор и Касперский уж точно лучше СА, а последний VB100% в этот раз получил. При этом детект у него просто никакой, можно смотреть любой тест на детекшен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Что касается тестов VB100%, то ответ ЛК действительно было бы интересно услышать. Было бы здорово, что бы это была здоровая критика методики VB100% (которых есть за что критиковать), а не слова в духе alexgr из украинского Доктора: "тест дурацкий, а мы все равно отлично детектим". А методика VB100% такова, что берется небольшой набор самплов очень распространенных вирусов и если хотя бы один из этих самплов антиврус не берет - то тест считается проваленным. Если кто-то такую методологию теста считает верной, чтож это его право.

Тест шестерка Касперкого не прошла, но честно говоря не прошла как-то странно. Якобы не был задетекчен сампл W32/Allaple, причем VB пишет какие-то странные вещи: "наше исследование показало, что этот вирус детектировался касперским за несколько дней до проведения теста и через несколько дней после его проведения. Видимо сигнатура этого зловреда временно удалялась из баз для какого-то исправления. К сожалению, этого времени было достаточно для того, чтобы касперский не прошел тест"

Какая-то странная история если честно, сигнатуры зловреда якобы не было в базах именно в момент проведения теста. Была до, была после, а в момент теста проападала на время. Да, кстати вирь действительно старый и добавлен в базы давно http://www.kaspersky.ru/viruswatchlite?search_virus=allaple

Такая вот история, почти детективная. Думаю, что ЛК в отличии от Eset не будет задним числом выпрашивать себе награду обратно. Хотя в прочем не берусь судить, это дело вендора.

В подтверждении моих слов оригинал теста VB100%.

KasperVB.JPG

post-10-1180969611.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Да, как-то странно ... какой смысл убирать сигнатуру "на время"?

Это вообще разве практикуется?

Если была фалса, то сигнатуру бы переписали, но убирать бы не стали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

что же касается нелюбителя независимых тестов Доктора Веба, то они завалились на модификациях того же зловреда, что и в прошлом тесте VB (видимо не ладится у них с Sdbot) + еще несколько самплов

DrWebVB.JPG

post-10-1180970342.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

И-мен-но! И Н.Касперская, кстати, об этом тесте примерно так в интервью отзывалась: мол, "получил VB100 = умеешь проходить тесты VB, не более того". Ну в пресс-релизах на сайте ЛК, правда, писали, что это мол "независимый и уважаемый тест", и всё такое... Но это ж пресс-релизы на сайте вендора, к ним придираться = придираться к рекламе в принципе, что несеръёзно.

А вот история с исчезнувшей сигнатурой действительно очень странна... Услышать бы комментарий кого-то из ЛК... Либо там у них кто-то "лоханулся" так странно в вир.лабе, либо что-то непонятное с тестом VB творится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Потом я не разу ни от кого из вендоров кроме Eset, не слышал, что награда VB100% - это нечто ценное и значимое. Скорее все сводилось к оценке: грубый фильтр, отсеивающий худшие продукты.

И-мен-но! И Н.Касперская, кстати, об этом тесте примерно так в интервью отзывалась: мол, "получил VB100 = умеешь проходить тесты VB, не более того". Ну в пресс-релизах на сайте ЛК, правда, писали, что это мол "независимый и уважаемый тест", и всё такое... Но это ж пресс-релизы на сайте вендора, к ним придираться = придираться к рекламе в принципе, что несеръёзно.

А Eset о святости VB где кричит?

В курилке, что ли? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

И в курилке тоже, столько о VB сколько кричит Eset не кричит никто. :D

И не даром они так выцыганивали обратно апрельский тест.

Как Eset себе вытребывал награду в апрельском тесте VB100% это ведь надо видеть. Никаким перетестированием в течении месяца тут и не пахнет.

Я собственно опираюсь только на открытыую для всех фактологию:

http://www.virusbtn.com/news/vb_news/2007/04_01a.xml

http://www.virusbtn.com/news/vb_news/2007/04_18.xml

http://www.virusbtn.com/news/vb_news/2007/05_04.xml

1.второго апреля вышел тест VB100%, который Nod32 не прошел. Не прошел потому что эвристик нод32 сработал на абсолютно чистом файле с вердиктом 'probably unknown TSR.COM.EXE virus'

2.Eset не согласился с решением VB, заявив: в методологии тестирования VB100% написано, что если продукт реагирует на чистый файл с вердиктом "подозрительный" (suspicious), то это не считается ложным срабатыванием.

3.Virus Bulletin 18го апреля ответил на это обстоятельным подробным

разъясняющим прессрелизом http://www.virusbtn.com/news/vb_news/2007/04_18.xml В котором заявил, что настаивает на своём решении не давать награду Nod32.

Аргументы были такие: 'probably unknown TSR.COM.EXE virus' это слишком сильный вердикт, гораздо сильнее, чем просто "подозрительный". А кроме того вердикты аналогичные 'probably unknown TSR.COM.EXE virus' засчитывались и

засчитываются Nod32 и другим в том случае если эти вердикты появляются на зараженных файлах. А один и тот же вердикт не может быть одновременно быть засчитан как детектирование для зараженного файла и в тоже время не считаться ложным срабатыванием для чистого файла.

Чтобы уж совсем при этом не обижать Eset ребята из Virus Bulletin

высказались в том духе, что Nod32 очень хороший, всегда у нас побеждал, и мы типа надеемся что этот единичный досадный прокол в биографии и что дальше все будет хорошо.'

Nod32 has an outstanding record in the VB100', said John Hawes, Technical Consultant at Virus Bulletin, in charge of VB100 testing. 'The product has proven successful in more tests than any other, and has never missed an In-The-Wild virus since our tests began in 1998. It also consistently shines in our speed testing, and in my experience is one of the most flexible and useable products on the market. I'm sure this will be a minor blip in their VB100 record, and that ESET will continue to produce excellent results in future tests.'

4. А вот дальше видимо Eset предпринял что-то, что все вдруг резко

изменило. Virus Bulletin пятого мая выпустил очень короткую новостную заметку http://www.virusbtn.com/news/vb_news/2007/05_04.xml , в которой на

этот раз без своих обычных подробных разъяснений заявил: "После тщательного рассмотрения мы пришли к выводу, что файл на котором произошло ложное срабатывание Nod32 был неправильно занесен нами в список чистых файлов. А поскольку этот файл был вовсе не чистый, то Nod32 правильно сделал, что на него отреагировал и мы поэтому возвращаем ему награду VB100% и считаем, что он тест прошел.

In Virus Bulletin's April 2007 Linux comparative review (see VB, April

2007, p.11), VB reported that ESET's product NOD32 had generated a false positive during scanning of the older part of the clean test set. After

further investigation and careful consideration, VB now deems that the file

alerted on was inappropriate for inclusion in the clean test set. The file

will be removed from the clean test set with immediate effect. A VB100 is

therefore awarded to NOD32. No other products were affected.

Конечно можно считать, что все тут нормально. Но у меня остались вопросы:

1. ПОчему VB, один раз аргументировано отказавшись засчитывать Eset результаты теста, вдруг изменил своё решения причем как-то не очень то подробно осветив причины своего решения?

2.ПОчему Eset сразу не указал VB на то, что их срабатывание вовсе не

ложное, а файл на котором оно произошло вовсе и не чистый? А вместо этого утверждали, что их вердикт похож на suspicious и поэтому его нельзя рассматривать как ложное срабатывние. Было так сложно понять за две недели, что файл реально заражен, понадобилось больше времени?

3. VB утверждает, что файл на котором сфолсил Nod32 на самом деле вовсе и не чистый, а значит Eset все правильно отреагировал.

Хорошо...но если файл не чистый, то какой? Зараженный? Тогда почему интересно только Nod32 на него отреагировал? Прям вот так вышло, что Nod32 заразу нашел, а прямо вот все поголовно остальны проворонили? А если файл не зараженный, а одновременно и чистым его назвать нельзя...какой же он тогда?

Можно было бы считать, что ничего подозрительного в этом во всем нет, если бы не одно но:

NOD32 не провалил ни одного теста VB100%. ПРичем не проваливал он их не только в 2006 году, когда уровень детекта у них был реально высокий, но и в 2004м, когда согласно клименти Nod32 детектил чуть меньше 88% зловредов

и в 2007, когда согласно Марксу их детект снова скатился на ту же отметку.

Как бы не обнаруживал NOD32 вирусы, он все равно получит VB100% - закон Eset

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ham

По-моему VB по барабану что о нем говорят вендоры. Важно то, что вся мировая двадцатка кроме Панды тратит свои деньги и время на добровольное прохождение тестирования.

Поэтому тот, кто говорит, что ему этот тест не нужен, но все равно его проходит, либо глупый человек, либо врет.

Так что в этом вопросе я поддерживаю Панду - тест не нравится, и компания в нем не участвует. А все сентенции других вендоров, не способных поймать все вирусы даже в самой маленькой и распространенной коллекции, в пользу бедных.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Так может еще будет и в этот раз пресс-релизы от VB по поводу Касперского и Доктора? Глядишь и получат значек задним числом ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Я к сожалению не нашел сейчас в инете интервью, в котором Касперский как-то сказал примерно следующее: "в тестах VB легче участвовать, чем потом объяснять почему не участвовал"

А еще он сказал: "Отдельно хотелось бы поговорить по поводу тестов авторитетного специализированного журнала VirusBulletin, предчувствуя возможный вопрос читателей — а где же информация про тесты VirusBulletin и награду «VB100%», которая в них присуждается? Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более."

Причем сказано это было когда Касперский успешно проходил все тесты VB, так что как я понимаю насчет реальной ценности этих тестов в ЛК не обольщаются.

А насчет того пофигу VB на вендоров или нет, я бы поспорил, особенно учитывая возвращенный есету апрельский тест и ранее пододная же ситуация с симантеком

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
А вот история с исчезнувшей сигнатурой действительно очень странна... Услышать бы комментарий кого-то из ЛК... Либо там у них кто-то "лоханулся" так странно в вир.лабе, либо что-то непонятное с тестом VB творится.

Давайте все-таки расставим некоторые точки над i, а то я тут в ходе предыдущих обсуждений VB100 слышал некие утверждения, которые не являются истинными (для ЛК, по-крайней мере).

1. Никогда возможности "пересдать" проваленный тест не существовало. Есть только одна попытка и случаев повторного тестирования не было.

2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

3. Состав коллекции для тестирования - не известен. Количественно - примерно вычисляется.

4. Спонсорство VB100 не дает никаких преференций и поблажек при прохождении тестов.

5. Участник теста не участвует в составлении коллекции для тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

т.е. получается, что один раз отказав есету в пересмотре результатов теста VB подумал еще две недели и (спустя месяц после теста) решил, что файл, на котором фолсил есет, все таки не был чистым, а фолс не ьыл фолсом. А в есете этого файла даже в глаза не видели.

Ну чтож, версия имеющая право на существование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
2. VB никогда не предоставляет те файлы, которые были пропущены в ходе тестирования. Когда в 2002-2003 годах ЛК несколько раз не брал VB100 из-за одного и того же вируса (Etap) - эти самплы (три файла) в ЛК так и не попали.

т.е. получается, что один раз отказав есету в пересмотре результатов теста VB подумал еще две недели и (спустя месяц после теста) решил, что файл, на котором фолсил есет, все таки не был чистым, а фолс не ьыл фолсом. А в есете этого файла даже в глаза не видели.

Ну чтож, версия имеющая право на существование.

Я сказал "файлы, которые были пропущены", а не ложные срабатывания. Про фалсы я сказать ничего не могу, не знаю, не было практики, не фалсили. Может быть и дали его eset-у, может быть и нет. Скорее нет, но ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Про фалсы я сказать ничего не могу, не знаю, не было практики, не фалсили.

Лишнее подтверждение бесполезности подобного теста.

Все прекрасно знают, что касперский достаточно регулярно фолсит сигнатурно.

Так что это ещё один повод не расстраиваться поклонникам. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Что касается тестов VB100%, то ответ ЛК действительно было бы интересно услышать. Было бы здорово, что бы это была здоровая критика методики VB100% (которых есть за что критиковать), а не слова в духе alexgr из украинского Доктора: "тест дурацкий, а мы все равно отлично детектим". А методика VB100% такова, что берется небольшой набор самплов очень распространенных вирусов и если хотя бы один из этих самплов антиврус не берет - то тест считается проваленным. Если кто-то такую методологию теста считает верной, чтож это его право.

.

Я всегда уважал ваше мнение, в данном случае попрошу не передергивать. Ответ Гостева вам что-то видимо прояснил. Я не против этих тестов- я против невозможности проверки результатов (читаем - воспроизведения). Не более того.

Мое отношение к любой методологии простое -любая методика имеет право на жизнь, но в случае полного воспроизведения хоть мной, хоть вами, хоть иным любителем прогонов зловреда (ов) под неким движком. Не вопрос.

вопрос "пересдачи" теста меня просто "умилил". Полная фигня как по мне - прошу прощения за плохой французский.

И все же - я разве хоть в одном посте говорил, что мы берем все 100% вредоносов? Мой подход - никто и никогда не берет этот барьер. Есть возможность приближаться к нему слева. А второе - тест на детект меня никогда не покорял. И я благодарен Ильину и Vaber за реальную попытку сделать неплохой тест по "активному заражению". Мои замечания были всего к методологии

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×