Наши антивирусы - нас радуют! VB100% декабрь 2007

[Storm 0]

чем зашоренные аналитики, тестирующие никому не нужные выборки вирья

Скажите, какие тесты по Вашему больше отражают действительность, те в которых вири тупо копируются из одной папки в другую, или те, в которых имитируется активность пользователя (получение письма с вирусом, закачка трояна из инета, запуск трояна маскирующегося под кейген)?

[Пит 15]

Пит, откуда цитата, которая идёт внизу Вашего сообщения? Хорошо бы в таких случаях источник увидеть. Интересно, кто это там так "трагически" относится к этому тесту?

http://techlabs.by/news/software/21030.html

[Виталий Я. 859]

Олег Гудилин, я про участие в майском тесте на VB100 на WinXP с бета-версией OSS 2007. Это помогло разработчикам продукта, как и вашим в этот раз, понять и исправить некоторые выявленные проблемы.

По второму абзацу поясню:

либо упомянутым копипастом из папки в папку (который практикует VB100) имитируется такая активность "среднего" юзера, как перетаскивание полезных файлов из локалки и со своих расшаренных ресурсов (и вот так авторы VB надеются с помощью АВ-движка задетектить malware), либо я тоже заблуждаюсь. Так яснее?

А скепсис ваш вполне ясен. Можно хорошо проходить ликтесты Матусека (например, на 100% по дефолту), но скептически относиться к их качеству. А можно проходить VB100 (например, почти всегда за последние 5 лет), и при этом критиковать эти тесты. Главное - выражать экспертное мнение (если это официальное мнение представителей компании). А я тут свое личное, с вашего позволения, выражаю. 8)

[Storm 0]

активность "среднего" юзера, как перетаскивание полезных файлов из локалки и со своих расшаренных ресурсов

А если локалки нет чисто физически? Хотя ладно, фиг с ним. Скажите, откуда чаще всего вирусы "приходят", с инета или с локалкисоседней папки?

Добавлено спустя 1 минуту 59 секунд:

мнение частного юзера outpost, dr. web & kaspersky

Добавьте еще симантека, тренда, панду и есета. А заодно мелкософт, мозиллу, оперу, борланд, ..., билайн.

[Виталий Я. 859]

Storm

мы существующий тест обсуждаем или явно неизвестную нам статистику заражений? Как и куда дистрибутивы юзеры льют, сложно сказать - может, на флешке домой приносят от добрых админов с работы

я о известной мне стат.выборке говорил - организация на 300 ПК с ресурсами, расшаренными на полный доступ для сотрудников отдела с разумно (т.е. сурово ) ограниченным доступом в i-net. и чего там только не лежало... админы раз в месяц "генеральные уборки" в отделах устраивали. знаю, что там вирусы попадали и распространялись не столько через корп. почту (она-то на предмет вирей проверялась), сколько через общие файло-ресурсы.

PS: мы вроде как узкую тематику обсуждаем, а не конфиги ОСей, да и зачем мне свою страсть к борланду раскрывать? а брать себе подпись "не-юзер нортона, тренд майкро, нод32 и тп" - как минимум нелепо

[NickXists 5]

...

Virus Bulletin же для проверки зашиты on-access просто берет и копирует файлы из папки в папку, не запуская их.

...

KIS не взял монитором W32/Autorun!ITW#3’, который мы прекрасно знаем и берем сканером как virus Worm.Win32.AutoIt.i. Монитор его не взял, поскольку он ошибочно нами распознавался как самораспаковывающийся архив, а их мы монитором не проверяем (опция Проверять инсталляционные пакеты в мониторе отключена, смысла нет, все равно при запуске поймаем).

...

суровый способ

во многая мудрости порядком геморроя : )

интересно вот что:

1.) файлы в архивах и "внутри" инсталлеров в "WildList collection" отсутствуют?

Ведь при "умолчальных" настройках большинство продуктов подобные вещи on-access-ом не проверяют.

(в http://www.virusbtn.com/vb100/about/100procedure.xml данный момент вроде как не описывается )

2.) Олег,

правильно ли я понял, что речь шла о компиленном скрипте AutoIt?

[A. 876]

Реабилитированы антивирусы, участвовавшие в VB100

---

После неутешительных результатов теста VB100 несколько вопросов, связанных с ним, были подвергнуты расследованию.

Версия home edition антивируса CA, как было зарегистрировано, пропустила 20 атак вирусов из списка WildList, хотя с корпоративной версией, eTrust, таких проблем не было. Эта аномалия после дополнительного анализа объясняется так: в тесте использовалась старая версия продукта home edition, а office-версия была свежая. В реальности пользователи CA имеют лучшую защиту – CA отражает все атаки вирусов WildList.

Продукт Kaspersky пропустил один образец вредоносного ПО из коллекции WildList, причем только в ходе теста антивирусного монитора. Согласно данным Kaspersky Labs, настройки продукта уже скорректированы для того, чтобы в дальнейшем успешно обнаруживать такие файлы антивирусным монитором. Кроме того VB признает, что если бы в ходе теста пропущенный сампл был реально запущен на машине пользователя, то его вредоносное воздействие было бы заблокировано другими компонентами защиты включенными в продукт Kaspersky.

NOD32 от Eset пропустил одну атаку. Как сообщает virusbtn.com, в ходе проверки было установлено, что в наборе вирусов один файл был поврежден, и продукт Eset должен был достичь отличной оценки - 100%.

---

про Eset не понял...

1) Если они сампл пропустили, то почему VB100 сразу получили ?

2) Если один файл был битый, то почему его пропустил только NOD, а остальные антивирусы, которые взяли все - не пропустили ?

3) Сколько еще поврежденных файлов было в реальности в этой коллекции VB и откуда они там берутся ?

Добавлено спустя 26 минут 19 секунд:

сел я читать детальный отчет по этому тестированию ... и пришел в ужас.

приведенные в саммари цифры по количеству пропущенных самплов - это только верхушка айсберга. на самом деле все как-то ужасно.

Итак.

Agnitum

Status: PASS

официально: пропусков в itw нет, фалсов нет.

детально (пропущено):

Polymorphic viruses - 220

MS-DOS viruses - 28

Worms & Bot viruses -3

Kaspersky Anti-Virus

Status: FAIL

Failure reason: 1 wildlist misses

детально:

In-the-wild viruses - 1

Polymorphic viruses - 1

Avira

Status: FAIL

Failure reason: 2 false positives

детально:

Polymorphic viruses - 3

MS-DOS viruses - 32

False positives - 2

McAfee VirusScan

Status: PASS

детально: пропусков и фалсов нет.

BitDefender AntiVirus

Status: PASS

детально:

Macro viruses 2

MS-DOS viruses 8

Worms & Bot viruses 1

Microsoft Forefront

Status: PASS

детально:

Polymorphic viruses 80

Worms & Bot viruses 1

Norman

Status: FAIL

Failure reason: 7 wildlist misses, 3 false positives

детально:

In-the-wild viruses 7

Polymorphic viruses 867

MS-DOS viruses 269

False positives 3

Doctor Web

Status: FAIL

Failure reason: 11 wildlist misses, 2 false positives

детально:

In-the-wild viruses 11

Worms & Bot viruses 1

False positives 2

ESET NOD32

Status: PASS

детально: пропусков и фалсов нет (а говорят что таки был)

по приколу

Rising Antivirus

Status: FAIL

Failure reason: 2 wildlist misses, 2 false positives

детально:

In-the-wild viruses 2

Macro viruses 1273

Polymorphic viruses 1327

MS-DOS viruses 10993

Worms & Bot viruses 9

False positives 1

F-Secure Anti-Virus 2008

Status: PASS

детально:

Polymorphic viruses 1

Worms & Bot viruses 1

False positive Suspicious 1

Sophos Anti-Virus

Status: FAIL

Failure reason: 4 wildlist misses

детально:

In-the-wild viruses 4

Macro viruses 8

Polymorphic viruses 8

False positive Suspicious 3

Symantec Endpoint Protection

Status: PASS

детально: пропусков и фалсов нет

Trend Micro OfficeScan

Status: FAIL

Failure reason: 2 wildlist misses

детально:

In-the-wild viruses 2

Polymorphic viruses 738

MS-DOS viruses 749

Worms & Bot viruses 3

VirusBuster VirusBuster

Status: PASS

детально:

Polymorphic viruses 220

MS-DOS viruses 20

Worms & Bot viruses 4

Ikarus Virus Utilities

Status: FAIL

Failure reason: 9 wildlist misses, 13 false positives

детально:

In-the-wild viruses 9

Macro viruses 171

Polymorphic viruses 353

MS-DOS viruses 2461

Worms & Bot viruses 8

False positive 13

False positive Suspicious 31

[Иван 290]

это к вопросу о том, что продукт не получает значек VB100% только если пропускает что-то из раздела In-the-wild - что есть на самом деле невесть как пополняемы Wildlist

а то, что он при этом

Агниутм получивший VB100% пропустил 220 полиморфов, а микрософт 80 - этот типа фигня

я кстати тоже наконец получил оригинал отчета

меня поразил тот факт что и есет и касперский в ондеманде пропустили по одному вирусу на одной и той же коллекции. ТОка при этом у Есета результат 99,95%, а у каспера 99,91%

смешная арифметика я все больше проникаюсь уважением к тесту

[Виталий Я. 859]

у Вирус Бюллетеня новая политика раздачи платных отчетов для Рунета?

[Иван 290]

не Виталий Я., у меня подписка на VB

[Deja_Vu 366]

Кашмар ... кто еще верит этому тесту?

А вот почему F-Security прошел, а Kaspersky нет? %)

[Storm 0]

А вот почему F-Security прошел, а Kaspersky нет? %)

Финский продукт мульти-движковый. Кроме КАВа там есть и некоторые другие движки + их собственные разработки.

[Виталий Я. 859]

Вроде бы в описании методологии сказано, что на полиморфы и дос-вири ВБ уже давно начхать? С весны не перечитывал, ручаться не буду. Можете подтвердить или опровергнуть.

А заодно - каждый прочитавший расширенные результаты: купите КАВ, помогите А. расплатиться за нарушение условий републикации платного отчета VB100. Вдруг они, как RIAA домохозяйке, по полной впаяют? :cry:

А у Ивана можете ничего не покупать - все равно выкрутится

[A. 876]

А заодно - каждый прочитавший расширенные результаты: купите КАВ, помогите А. расплатиться за нарушение условий републикации платного отчета VB100. Вдруг они, как RIAA домохозяйке, по полной впаяют? :cry:

А у Ивана можете ничего не покупать - все равно выкрутится

Херню не несите, милейший ...

[Виталий Я. 859]

А., не следите за мыслью, милейший.

Почитайте-ка условия подписки на расширенный отчет VB - насколько можно выкладывать его расширенные результаты на открытые веб-ресурсы (ответ в скобках: нельзя ни в каком его виде, кроме того, что касается продуктов вашей компании. Даже цитировать без апрува нельзя).

Intellectual Property

All content, software and data on or relating to the Site is the property of Virus Bulletin or is licensed for use by Virus Bulletin. None of the software, data or content found on the Site may be reproduced, republished, distributed, posted, sold, transferred or modified without the prior express written permission of Virus Bulletin. In addition, the trade marks, logos and service marks displayed on this Site ("the Trade Marks") are registered in the UK and elsewhere by Virus Bulletin and may not be used without Virus Bulletin’s express written consent. All copyright, database rights, rights in inventions, patents and patent applications in the software, data or content relating to the Site shall (unless licensed to Virus Bulletin) be owned by and vest absolutely in Virus Bulletin

То, что ваша компания отчет получает (cм. ценник: http://www.virusbtn.com/virusbulletin/subs...ons/index?node) и среди своих сотрудников распространяет, похвально (у нас практически то же самое). Но это не дает права наружу выкладывать (вне зависимости от результатов). Мне по барабану, а VB нет - вы у них платных подписчиков отнимаете.

Хромает ваша бизнес-этика, милейший. Ничего личного.

[dan 10]

Так то, что A. написал на их сайте посмотреть можно, правда, по-моему, только после регистрации.

А по приведённому выше абзацу получается, что даже нельзя сказать, что такой то вендор vb100 взял, а такой то не взял. И почему не взял, тоже нельзя цитировать. А Вы, Виталий, цитировали:

Valery Ledovskoy

согласитесь, Failure reason: 22 wildlist misses, 4 false positives - это уже не к VB... Sad Хотя жаль - с домашнего Win2K придется снести Dr.Web... (проходил тестирование боем, а вчера AVZ и OSS последовательно столько нашли...)

Так что, имхо, надо больше следить за собой, тогда поступки окружающих станут более прозрачными.

[A. 876]

А., не следите за мыслью, милейший.

Почитайте-ка условия подписки на расширенный отчет VB - насколько можно выкладывать его расширенные результаты на открытые веб-ресурсы (ответ в скобках: нельзя ни в каком его виде, кроме того, что касается продуктов вашей компании. Даже цитировать без апрува нельзя).

Intellectual Property

All content, software and data on or relating to the Site is the property of Virus Bulletin or is licensed for use by Virus Bulletin. None of the software, data or content found on the Site may be reproduced, republished, distributed, posted, sold, transferred or modified without the prior express written permission of Virus Bulletin. In addition, the trade marks, logos and service marks displayed on this Site ("the Trade Marks") are registered in the UK and elsewhere by Virus Bulletin and may not be used without Virus Bulletin’s express written consent. All copyright, database rights, rights in inventions, patents and patent applications in the software, data or content relating to the Site shall (unless licensed to Virus Bulletin) be owned by and vest absolutely in Virus Bulletin

То, что ваша компания отчет получает (cм. ценник: http://www.virusbtn.com/virusbulletin/subs...ons/index?node) и среди своих сотрудников распространяет, похвально (у нас практически то же самое). Но это не дает права наружу выкладывать (вне зависимости от результатов). Мне по барабану, а VB нет - вы у них платных подписчиков отнимаете.

Хромает ваша бизнес-этика, милейший. Ничего личного.

Еще раз говорю - заканчивайте с бредом.

Подписка на VB накладывает ограничения на ЖУРНАЛ Virus Bulletin, а никак не на результаты тестов. Вы денежку VB за что платите, милейший ? Вы тут даже цитируете generic-лицензию, которая относится ко всем без исключения посетителям сайта ВБ (включая незарегистрированных) и даже к подписке на журнал отношения не имеющей (И запрещающей ВАМ в том числе цитировать результаты, что, как указал dan, вы сами прекрасно сделали). Хоть узнали бы, прежде чем тут борца за копирайт из себя строить.

"2.3 The Licensee may not:

2.3.3 display or distribute any part of the Licensed Material on any external electronic network, including without limitation the Internet and the World Wide Web;"

никакого запрета на _разглашение_ результатов теста - в упор не вижу. вроде бы мой пост - был набран мной лично, моими собственными руками - дистрибуцией лицензионных материалов не занимался (пресс-релизы не писал, хе хе).

Вы меня бизнес-этике тут учить вздумали или особенности юридических норм в отношении электроных документов раскрыть собираетесь ? Вы что, искренне считаете, что результаты тестов должны быть засекречены и не публиковаться - или просто очень докопаться хоть до чего-нибудь хочется ? "Вы у них платных подписчиков отнимаете." - ну-ну ...

Так вот я вам скажу - 220 полиморфов. Это у вас бизнес-этика такая - не сообщать своим клиентам, что продукт более 250 вирусов пропустил, да еще и запрещать всему миру про это говорить?

Поэтому давайте каждый будет заниматься своими делами, которых явно есть некоторое количество. Ничего личного.

[Иван 290]

Вроде бы в описании методологии сказано, что на полиморфы и дос-вири ВБ уже давно начхать?

ВБ дает свой значек тока за то взял или не взял продукт коллекцию Wildlist, поэтому Agnitum и получил VB100%.

на полиморфы им действительно начхать, зато неначхать нам, поскольку по итогам Agnitum пропустил около 250 вирей, а касперский всего 1:)

нам пользоваться продуктом надо, а не VB100% на холодильник клеить

[Виталий Я. 859]

dan, вообще-то по регистрации на мыло любой может посмотреть результаты ВБ100 в формате - "прошел/не прошел" и "Failure reason: X wildlist misses, Y false positives" + сводную таблицу прохождений по всем тестам. И БЕСПЛАТНО - НЕ БОЛЕЕ. Эта табличка, доступная по подписке в обмен на мыло, по большому счету интересна только СМИ (для которых условия републикации очень лояльные) и частным клиентам/вендорам.

А вот платная подписка - отдельная песня, по ней смотрим - так там все хороших денег стоит http://www.virusbtn.com/subscribenow.xsp

Повторю: политика предоставления полных отчетов VB - только платная. То, что в предыдущем посте я не те правила и не к месту процитировал - моя ошибка, разумеется.

А., а как насчет пункта правил:

2.3 The Licensee may not:

раз - 2.3.1 remove or alter Virus Bulletin's copyright notices or other means of identification or disclaimers as they appear in the Licensed Material;

В моей трактовке (подсказанной подвизавшимся на ИТ-ниве юристом) это значит, что выкладывая практически полные табличные данные отчета в открытом доступе (пусть и кусками в измененном виде), вы скорее нарушаете, чем нет, эти правила: http://virusbtn.com/virusbulletin/subscrip...corporateTC.xml

Но в целом политику лицензирования кто во что горазд нарушать. И в духе, и в букве ее - есть ряд примеров забугорных реселлеров Есета, которые вешают "вечный" ВБ100 на сайт, хотя реселлерам нельзя.

PS про наклейки: Иван, однако всем же кушать хочется, а не только полиморфным вирусам - вот и лепит вся уважаемая АВ-индустрия наклейки ВБ 100 раз в квартал.

А холодильник я обклею сверху донизу обязательно - высылайте все известные награды любимых антивирусов. У меня холодильник немаленький, а место свободное еще есть.

[Пит 15]

нам пользоваться продуктом надо, а не VB100% на холодильник клеить

Не плохо, пожалуй я эту цитату вставлю себе в подпись. Иван вы не будете возражать? :wink:

смешная арифметика я все больше проникаюсь уважением к тесту

Да это подтвердило маю догадку, что VB во время проведения теста, и составления результатов, курит качественные косяки.