Забавный тест на форуме фанов NOD32

[Umnik 997]

Вот он.

[Elusion 10]

Umnik

Ну и скажите, чем он по вашему до боли забавный?

[ANDYBOND 283]

Присоединяюсь к вопросу. Хотя и так догадываюсь.

[Umnik 997]

Elusion

Хотя бы тем, что разные сборки ХР используются как реально рабочие. Это немножко не серьезно. И заметьте, я не сказал, что он плох. Просто некоторые моменты... Они заставляют улыбаться.

Хотя, если придут наши эксперты он, наверное, много чего расскажут. Как плохого, так и хорошего.

[Elusion 10]

Ну тогда давайте я поясню как проводился тест, и почему, я использовал различные сборки.

У нас в админке возник вопрос: почему все же антивирус NOD32 на разных системах работает по разному (выводы основываясь на опыте). По разному - значит в одном случае опастность может быть устранена, в другом случае, даже на этой системе, этот антивирус может Эту же заразу не обнаружить (Естественно базы одинаковые) Тестирование антивирусов, как таковое, в первой части теста было приложением ко второй части.

Коллекция вирусов скачена не из просторов рунета, а из закрытой китайской "монополистической" сети (эт так на севере китая, когда гуляешь, на каждом углу можно встретить подобный плакат). Благо этот архив достался мне через китайца, который работает на этой фирме. Вирусы содержащиеся в этом архиве, были типа Virus/модификация. Trojan/модификация.

Всяких Потенциальных опасных ПО, и прочей не сильно страшной заразы там не было. Вирусы собраны со всего Интернета. Самые зловредные.

Тестирование проводил на системах unattended специально, т.к. большая часть народу, мало разбирающегося в ПО, ставит именно такие сборки типа Zver, XTrem, Pholka, SamLab, Leopard, My Disk. Сам я не работаю на подобных сборках. Систему настраиваю лично, руками. Поэтому тест в основном рассчитан на соответствующую аудиторию. Спецам и продвинутым юзерам, объяснять и советовать не надо. Каждый из них руководствуется своим мнением.

Тест для ознакомительного использования. Все результаты считались усредненно (с 3 машин были собраны данные; по итогу был получен средний результат)...

P.S. Прошу заметить, что лицензионная, чистая, не модифицированная версия Windows OS тоже присудствует в тесте.

[Umnik 997]

Переношу топик в серьезный раздел.

[dan 10]

Elusion, а можете проверить коллекцию свою с помощью kis2009 ?

Интересны результаты on-demand.

Вот линк на скачивание:

http://www.kaspersky.ru/kaspersky_internet...urity_downloads

[Deja_Vu 366]

Очень интересно, каким обарзом проверялась скорость работы системы?

Как интегральная оценка собиралась?

Почему скорость работы замерялась в режиме сканера(если я правильно понимаю)?

Ну и еще один... вопросик.. тест проводился всего 2ое суток? -))

P.S. Прошу заметить, что лицензионная, чистая, не модифицированная версия Windows OS тоже присудствует в тесте.

Жалко есть SP2, а SP3 нет - было бы интересно посмотреть, где НОД себя лучше чувствует -))

[alisa_sh 35]

Тест действительно забавный. Насколько "забавный"=="плохой" в данном случае зависит от того, как именно воспринимать результат (например, серьезно, полу-серьезно, или четверть-серьезно. Шутка.)

Далее мой поверхностный "анализ" теста. Прошу не усматривать в нем наездов, информация к размышлению сугубо конструктивна.

1. Коллекция. Все, что нам известно про коллекцию:

Архив САМЫХ ОПАСНЫХ вирусов, на котором тестировались антивирусы, составил 30 000 вирусов общим размером 4,54 Gb.

Архив с вирусами был скачен на просторах www.cn интернета. Вирусы актуальные на 1.02.2008 г.

Что значит "самые опасные" вирусы? Батник c "format c:" явно опаснее чем маленький руткит, скромно сидящий в углу системы и пропускающий через нее совсем немного спам-трафика. Или нет?

Что значит "актуальные на дату"? Вирус не может быть неактуальным, он только может быть более или менее распространен в живой среде вследствие таких факторов, как процент детектирования антивирусами, интенсивность целенаправленного внедрения (посредством проспамливания или само-распространения или веб-эксплуатации..), процентаж пригодных для жизни вируса сред (версия ОС, закрытые/открытые уязвимости..) и других.

Объем коллекции не вызывает нареканий (для любительского теста это ОК), но каков ее СОСТАВ? Это самый важный показатель, пренебрежение которым недопустимо даже для любительского теста. Потому что процент детектирования всецело зависит от этого показателя. Один и тот же АВ на коллекциях равного размера может дать 30%, а может 90%. Почему? Ну например, некоторые АВ детектируют битые файлы, а некоторые - не детектируют принципиально. Если такому дать коллекцию с заметным процентом битых файлов, он здорово просядет по детекту - неоправданно, согласитесь.

Некоторые АВ на свой страх и риск детектят вирье по пакеру - как следствие, у них выше процент фалсов по чистым файлам, но и выше процент детектов по вредоносам. Высокий процент детекта за свет высокго процента фалсов - это очень неоднозначный плюс.

Вывод: состав коллекции необходимо оглашать максимально подробно - процент битых файлов, используемые упаковщики и т.д. - с тем, чтобы дотошный читатель мог самостоятельно проанализировать результат с этими поправками.

Далее, коллекция, собранная за определенный период времени на просторах китайского интернета, будет существенно отличаться от аналогичной коллекции, собранной в России или в Европе или в Мире - везде своя специфика malware. Несмотря на то, что интернет глобальный, "целевые аудитории" малваростроителей отчетливо коррелируют с национальными границами. Из этого есть следующие важные следствия:

а. Процент детектирования национальной коллекции репрезентативен только для данной страны.

б. Процент детектирования национальной коллекции тем или иным антивирусом зависит от того, насколько данному антивирусу "интересно" покрывать данную страну.

Плюс, в зависимости от источников самплов, в коллекции могут преобладать те или иные вредоносы. Если коллекция собрана каким-нибудь message labs из спама - это одно, если от живых пользователей - у нее будет совсем другой состав, и т.д. Например, проходимся по китайским сайтам - на выходе коллекция даунлоадеров и парольных воришек. Что нам скажет процент детектирования такой коллекции о способности АВ обнаруживать руткиты или об эффективности его эвристики по отношению к новым вирусам? Ничего.

Состав и источники коллекции определяют, что именно показывает процент ее детектирования.

Вывод: для "усредненного общепоказательного" теста коллекция должна быть равномерно-всемирная, равномерно собранная из разных источников.

2. Подход к обнаружению вирусов. Сигнатурный детект - не единственное оружие АВ. Есть еще хипс или сэндбокс, как минимум. Причем именно они являются первой линией обороны. Поэтому рассматривать исключительно сигнатурный детект - все равно что обсуждать слова, вырванные из контекста разговора. То есть можно, но получается скорее бесцельная спекуляция, чем выяснение какой-либо правды.

Вывод: для "усредненного общепоказательного" теста защиту следует оценивать комплексно (как она и есть в реальности), а самплы запускать (как оно и происходит в реальности).

Дальше можно еще много чего поставить под сомнение, но суть моего мессиджа не в том, чтобы раскритиковать тест в пух и прах (такой цели нет - автору респект за проделанную в одиночку большую работу). А в том, чтобы напомнить:

1. чем менее детально оглашена методология и состав коллекции, тем менее полезен тест. (Так как даже при желании разобраться самостоятельно, откуда получены те или иные результаты, это не представляется возможным). И:

2. чем менее систематичен тест, тем меньше у него шансов быть репрезентативным в практическом плане.

Оптимальная ситуация, когда существует БОЛЬШОЕ количество независимых тестов, сделанных разными людьми с разными подходами, но непременно с качественно расписанной методологией - по сопоставлению результатов таких тестов можно делать выводы, действительно приближенные к объективности, или делать "срезы" с результатов по заданным плоскостям.

[Alex_Goodwin 81]

Судя по скриншотам, там еще досовские зловреды, об актуальности коллекции говорить просто смешно.

[Ego1st 95]

Тест действительно забавный. Насколько "забавный"=="плохой" в данном случае зависит от того, как именно воспринимать результат (например, серьезно, полу-серьезно, или четверть-серьезно. Шутка.)

.............................ку букавак........................................

тестов можно делать выводы, действительно приближенные к объективности, или делать "срезы" с результатов по заданным плоскостям.

Насколько я понял автор ставил задачу в первую очередь тестировать не качество детекта=))

[Groft 65]

Хотелось бы услашать почему именно такие антивирусы были подобраны для теста, а допустим AVG, BitDefender, F-Secure, VBA32 и тп вендоры обошли стороной?

[Deja_Vu 366]

Хотелось бы услашать почему именно такие антивирусы были подобраны для теста, а допустим AVG, BitDefender, F-Secure, VBA32 и тп вендоры обошли стороной?

Как понимаю человек тестировал НОД а другие антивирусы взял, как самые популярные в России конкуренты, которые в форумной среде советуют, вместо данного продукта.

[sceptic 100]

от нашего стола - вашему столу:

http://www.madbadjack.com/forum/showthread...6740&page=2

если модератор прибьёт ссылку, вот копия поста без купюр:

Спасибопоржал,

только сегодня прочитал АМ по поводу теста Elusion.

честно говоря, очень не понравилось то, как ты преподнёс работу человека.

смахивает на стеб.

а снобы с АМ меня вобщем не удивили.

я тоже потратил немало времени, что бы доказать им что чёрное - это чёрное, а белое - белое.

никто здесь не претендовал на профессионализм, Elusion пытался разобраться в проблеме как мог.

куда уж нам до "возвышенных" над "колхозными забавами" господ. им до народа дела нету, они бабло делают на народе. каждый одеяло на себя тянет. а когда выходит прокол (http://www.anti-malware.ru/forum/ind...owtopic=4995)- в кусты!

тьфу! как пауки в банке...

а на АМ единственное вменяемое замечание было по поводу кол-ва/качества сэмплов.

так подгони нормальный архив! а Сэмэн повторит тест.

вот тогда посмеёмся вместе с АМ о его "забавности".

там еще досовские зловреды, об актуальности коллекции говорить просто смешно.

уверяю вас, что WinXP SP3 валится от этого архива, так же быстро как и Win98.

а смешно то, что вы удосужились только взглянуть на скриншоты.

очень научный подход! наше вам с кисточкой!

человек провёл очень жизненный тест, только расчитывать на поддержку/дельный совет здесь - воистину глупо.

Практически сквозь каждый пост данной конфереции, виден блеск "презренного металла".

стыдно господа, стыдно..

[Umnik 997]

sceptic

Очень и очень плохо, что Вы не поняли оценку. А оценили тест, между прочим, неплохо. Более того, автор мог бы присоединиться к нам. У него бы отлично получалось.

[sceptic 100]

Очень и очень плохо, что Вы не поняли оценку

так куда уж.. если тема сначала была помещена в "юмор" - это конечно "оценка"

А оценили тест, между прочим, неплохо.

кто и где? ссылку в студию.

а хорошего человека обидели "между прочим"

[Umnik 997]

В Юмор, потому что это "мой раздел". Он не только юмор, но и неформальное общение. Поместил туда его до того момента, пока не выскажется первый эксперт. Он высказал мне в асе. По результатам беседы тема переехала в серьезный раздел. О чем это говорит?

Положительные отзывы:

1. Все тот же эксперт в асе

2. dan. Не отзыв, но заинтересованность

3. alisa_sh фактически дала рекомендации и базу "на будущее". Значит в нем отличный потенциал.

Посмотрите на этот тест и на VB100. В этом люди ищут недостатки методологии и слабые места, а над VB100 просто плачут со смеху. Чувствуете уровни?

[alisa_sh 35]

Посмотрите на этот тест и на VB100. В этом люди ищут недостатки методологии и слабые места, а над VB100 просто плачут со смеху. Чувствуете уровни?

Вот именно,

чем больше обсуждений и критики, тем больше информации, по которой можно отлаживать и калибровать проект. Если же критику воспринимать как персональный наезд, то извлекать из нее конструктивную информацию невозможно. А значит и калиброваться сложнее.

Да и какие могут быть наезды в ситуации, где стороны ничего не должны друг другу и даже не знакомы?

Sceptic, передайте хорошему человеку, чтоб не обижался

p.s. грусть вызывает во мне столь частая ситуация, когда стороны грызутся по мелочам, вместо того чтобы усиливать друг друга. Неужели не очевидно, что если мы все перессоримся, то НИКОМУ лучше от этого не будет (кроме тех чорных сил, для которых потенциальное объединение безобидных мелких "врагов" уже начинает представлять угрозу), а если сотрудничать, то есть шанс развиваться быстрее и вырасти до силы, существенной в мировом масштабе.

[sceptic 100]

Sceptic, передайте хорошему человеку, чтоб не обижался

непременно.

p.s. грусть вызывает во мне столь частая ситуация, когда стороны грызутся по мелочам, вместо того чтобы усиливать друг друга. Неужели не очевидно, что если мы все перессоримся, то НИКОМУ лучше от этого не будет (кроме тех чорных сил, для которых потенциальное объединение безобидных мелких "врагов" уже начинает представлять угрозу), а если сотрудничать, то есть шанс развиваться быстрее и вырасти до силы, существенной в мировом масштабе.

возможно и я погорячился.. принято.

спасибо за вашу позицию Алиса. сейчас обсуждается новый тест. мы будем держать вас в курсе.

[Umnik 997]

сейчас обсуждается новый тест

Где?! Я тоже хочу! Предлагаю вообще на этом форуме обсудить.

[bse 115]

Забавно, Umnik, как Вы сами оцениваете антивирус, и Вас даже цитируют:

Любимая многими спорящими пресловутая "домохозяйка" может отныне забыть вообще о существовании антивируса.

Сообщение от Umnik

Товарищи, а вот вы уже РЕАЛЬНО работали с продуктом? Давайте я расскажу чуть-чуть.

1. На ПК тестя установил Продукт в режиме быстрой инсталляции. Вопросов не было.

2. Все программы работают замечательно.

3. Балуны о добавлении программ в зоны появляются сначала часто, а через несколько часов уже - редко. И все реже и реже

4. Программы ставятся легко. И руками ничего никуда не переносится - "нюхач" справляется.

5. Тесть, который вообще никак не связан с IT, работает с ПК без проблем.

6. Одна-единственная программа, которая попала в немилость, была Кол Оф Дюти - его любимая игра. Мне нужно было 1(!) раз показать, что делать, если прога не запускается и все. Более того, ему эти знания более еще ни разу не понадобились.

Ну намотайте на ус - домохозяйки (с домохозяинами) будут пользоваться режимом новичка, а не экспертным.

Намотали. А у продукта кличка-то какая? Это тот, что в режиме новичка - решето, а в экспертном ногу сломишь? Для мазохистов вот, пожалуйста, - Руководство.

[Umnik 997]

Вы боитесь HIPS'а? Или не можете осмыслить его суть и назначение?

А. Вы, наверное, можете взять под контроль систему, с установленным KIS 8.0.0.454, когда HIPS настроен на автопринятие решений. Как иначе понять "в режиме новичка - решето"?

Отредактировал Август 31, 2008 Umnik

[bse 115]

Umnik, а то Вам не известны примеры мутных авторских правил? И в файерволе, и в списках доверенных и т.д. Имхо, сами знаете, где искать, чего Вы прикидываетесь. Для любителей многослойной защиты - революционное стремление объять все и сразу автоматически породило массу прослоек и ни одного нормального слоя.

А если кто боится ХИПСа, не может осмыслить его суть и значение - то этот ХИПС его не защитит (авто). К тому же, Вам не приходила в голову мысль, что осмысливать ХИПС и пытаться понять его суть и значение, для многих вообще глупое и бесполезное времяпровождение? Что, в этой жизни нет для них более интересных занятий!?

Где?! Я тоже хочу! Предлагаю вообще на этом форуме обсудить.

Как думаете, почему Вам не ответили?

зы. И это не оффтоп. Это ответ Вам на Ваш наезд и насмешки.

[Umnik 997]

bse

Я не эксперт, как Николай. Потому мне не нужно "завязывать HIPS в узел". Текущего функционала _мне_ пока хватает и я _искренне_ считаю HIPS удобным и в автоматическом режиме, и в интерактивном.

Удобно говорить, что все есть провал. И осознавать HIPS не нужно. Нужно просто работать за компом, а АВ будет работать сам.

Я не считаю, что смеялся над людьми. Более того, конфликт был исчерпан, как только исчезли неясности.

[sceptic 100]

bse .

Umnikу ответили в другом месте

Это насчёт теста.

В настоящий момент Elusion отсутствует. Как только появится, будем обсуждать новый тест. На обоих форумах.

С коллекцией сэмплов, думаю помогут эксперты АМ. Методику тоже обсудим.

Далее, насчёт мазохизма.

Я согласен. ХИПС - не для домохозяек. КИС - тоже. Винда, интернет, форумы - туда же! (пусть юзают PS3)

Это для тех кому это интересно. Для энтузиастов.

Я не знаю кто и для чего пишет вирусы, но мне лично, очень жаль тех домохозяек, у которых в результате атаки, пропали вордовские документы с рецептами любимых блюд.

И не говорите мне что это смешно и банально.

Это вечный бой.

И для этого мы тут собираемся. И тестируем, и предупреждаем людей, и спорим с вендорами.

А вот потом, из проб и ошибок (наших), специалисты (неважно ЛК или Др.Веб или Илья Р.) , будут создавать продукт для народа. В самом широком смысле.

Так что, не ссорьтесь ребята. Мы тут, вроде, все на одной стороне.

Я и сам не подарок, но ошибки признавать надо.