Тест антивирусов на лечение активного заражения I (результаты)

[Storm 0]

Лично я считаю, что тестеры провели огромную работу, представили результаты, а как толковать их - дело каждого.

ЗЫ: а может еще для полного счастья выложить семплы вирей в соотв. раздел?

[alexgr 556]

Лично я считаю, что тестеры провели огромную работу, представили результаты, а как толковать их - дело каждого.

ЗЫ: а может еще для полного счастья выложить семплы вирей в соотв. раздел?

и сразу переходим в область толкования снов? как только уходим от точных наук и четких математических подходов - сразу туда и попадаем.

Добавлено спустя 6 минут 6 секунд:

Согласно методологии теста выбраны наиболее активные и наиболее распространенные malware, верятность "встречи" с которыми была наиболее высока.

Считаю, что репрезентативность "коллекции", в данном случае, не имеет большого значения, поскольку (по моему мнению) механизм противодействия большинства существующих malware можно свести к относительно небольшому количеству примерно одинаковых методов.

есть определенная математика. Она просто существует - независимо ни от кого. Вернусь к теме - никакая метрика ничего не показывает ровным счетом на непрезентативной выборке. Спросите любого спеца (не обязательно Зайцева) и он вам выкатит набор из 10, которые не детектятся большинством вендоров. Полипос давно в анналах, а у меня есть сэмплы, на которых все покажут известные результаты. Можно еще пару примеров накатить.

Работа -согласен -проделана большая,но результаты - извините - для десятиклассника. По вышеуказанной причине.

Да и частоты ... не факт, что самые опасные выбраны

[Mr. Justice 771]

есть определенная математика. Она просто существует - независимо ни от кого. Вернусь к теме - никакая метрика ничего не показывает ровным счетом на непрезентативной выборке.

Хорошо. Подойдем с другой стороны. С чего Вы взяли, что выборка нерепрезнативна? Количество не устраивает? Имейте в виду что количество и репрезентативность - разные вещи. Если методов противодействия относительно немного, то количество вредоносных объектов не имеет большого значения.

Спросите любого спеца (не обязательно Зайцева) и он вам выкатит набор из 10, которые не детектятся большинством вендоров.

Причем тут детектирование? Данный аргумент абсолютно несостоятелен.

[alexgr 556]

есть определенная математика. Она просто существует - независимо ни от кого. Вернусь к теме - никакая метрика ничего не показывает ровным счетом на непрезентативной выборке.

Хорошо. Подойдем с другой стороны. С чего Вы взяли, что выборка нерепрезнативна? Количество не устраивает? Имейте в виду что количество и репрезентативность - разные вещи. Если методов противодействия относительно немного, то количество вредоносных объектов не имеет большого значения.

и все же имеет. Сами подумайте над этим- репрезентативность в данном случае подкреплена только словом? или 10 вирей (точнее, 8) накрыли все технологии? нет

Спросите любого спеца (не обязательно Зайцева) и он вам выкатит набор из 10, которые не детектятся большинством вендоров.

Причем тут детектирование? Данный аргумент абсолютно несостоятелен.

Можно выкатить сэмплы детектируемые, но неудаляемые. Когда есть из чего выбирать - всегда найдется нечто. Даже в сэмлпах одного и того же (казалось бы!) вредоноса

Поэтому еще раз говорю - подтвердите математически полноту и репрезентативность выборки - и нет проблем. У меня не получилось.

[Dexter 20]

Естественно результаты Norton вызывают у многих удивление.

Это не естественно, а результат отличной работы отдела маркетинга одной АВ компании.

Может раньше и обсуждалось, но не заметил.

Почему "Остались следы пребывания Adware в системе: выводится ошибка при старте ОС, исчез доступ в Интернет" лучше , чем "Успешно удаляет файл csrss.exe из папки %Windows%, но после перезагрузки исчезает рабочий стол."

Лично для меня наоборот исчезновение интернета хуже, чем исчезновение рабочего стола, хоть cmd.exe есть и работать можно, а вот без инета - никуда.

[alexgr 556]

поэтому нужно четко соблюдать терминологическую чистоту, и вопросов больших ни у кого не будет

[Mr. Justice 771]

Можно выкатить сэмплы детектируемые, но неудаляемые. Когда есть из чего выбирать - всегда найдется нечто. Даже в сэмлпах одного и того же (казалось бы!) вредоноса

Поэтому еще раз говорю - подтвердите математически полноту и репрезентативность выборки - и нет проблем. У меня не получилось.

Я не буду этого делать. Я лишь показал несостоятельность Вашей аргументации. Для меня это впослне достаточно.

[alexgr 556]

Я не буду этого делать. Я лишь показал несостоятельность Вашей аргументации. Для меня это впослне достаточно.

про доказательство - вам показалось. Как ни печально, вы ничего не доказали своим постами. Репрезентативность есть четкая характеристика, и мнение Пети или Вани ее никак не изменит. Сорри! Иначе начнут тестировать все и кричать о последней инстанции в истинности результатов.

[Mr. Justice 771]

Естественно результаты Norton вызывают у многих удивление.

Это не естественно, а результат отличной работы отдела маркетинга одной АВ компании.

Неужели Вы думаете, что все вокруг наивные и легко поддаются "чужому влиянию"?

Может раньше и обсуждалось, но не заметил.

Почему "Остались следы пребывания Adware в системе: выводится ошибка при старте ОС, исчез доступ в Интернет" лучше , чем "Успешно удаляет файл csrss.exe из папки %Windows%, но после перезагрузки исчезает рабочий стол."

Лично для меня наоборот исчезновение интернета хуже, чем исчезновение рабочего стола, хоть cmd.exe есть и работать можно, а вот без инета - никуда.

...

Добавлено спустя 1 минуту 50 секунд:

Я не буду этого делать. Я лишь показал несостоятельность Вашей аргументации. Для меня это впослне достаточно.

про доказательство - вам показалось. Как ни печально, вы ничего не доказали своим постами. Репрезентативность есть четкая характеристика, и мнение Пети или Вани ее никак не изменит. Сорри! Иначе начнут тестировать все и кричать о последней инстанции в истинности результатов.

Еще раз подчеркиваю, что Вы путает понятие "репрезентативность" и "количество" именно это и делает Вашу позицию несостоятельной.

[alexgr 556]

Еще раз подчеркиваю, что Вы путает понятие "репрезентативность" и "количество" именно это и делает Вашу позицию несостоятельной.

я не путаю. Это мне пытаются объяснить, что это такое, и что это понятие может меняться. И метрики могут быть показательными, если получены по решению консилиума, что данная выборка в данном конкретном случае репрезентативна.

Так не бывает. Просто математика -это наука, теория сложных систем - тоже, все остальное из области толкования снов

[Mr. Justice 771]

Еще раз подчеркиваю, что Вы путает понятие "репрезентативность" и "количество" именно это и делает Вашу позицию несостоятельной.

я не путаю. Это мне пытаются объяснить, что это такое, и что это понятие может меняться. И метрики могут быть показательными, если получены по решению консилиума, что данная выборка в данном конкретном случае репрезентативна.

Так не бывает. Просто математика -это наука, теория сложных систем - тоже, все остальное из области толкования снов

Как можно с Вами спорить если Вы по сути дела не владеете базовыми понятиями статистики? Простите если обидел. Может быть я не понял суть вашей позиции по данному вопросу. Почитайте специальную литературу или словари (яндекс).

Возьмем к примеру центр Левады. Они изучают общественное мнение исходя из опроса 1000 граждан нашей страны. Население наше страны - 140 млн. чел. И данные исследования считаются репрезентативными, поскольку количество далеко не всегда оказывает определяющее влияние на обстоятельность исследования.

[Ego1st 95]

я вообще чё-то непойму в какую сторону ушло обсуждение данного теста.. вообщем согласен со Storm каждый трактует как хочет, Сергею и Василию спасибо за проведение данного теста, я ещё раз убедился что правильно советую всем своим знакомым и интересующимся..

[alexgr 556]

статистика и теория сложных систем - к которой. собственно, и относятся испытаня и тесты - не одно и то же.

Теперь об опросе - вы не заметили, что в этих 1 тыс - очень четко расписывается. кого и сколько опросили? Городских, сельских, по уровню достатка разных? что это в целом соответствует ...? Вижу, что не заметили. А жаль.

Полемика вышла за пределы - тем более, что и примеры пошли не те. Не яндекс надо смотреть в виде словаря, а знать теорию. Можео еще КМ взять, на других поисковиках покопаться.

Так где доказательство - хотя бы статистическое - репрезентативности выборки? я уже спрашивал. Ответа. Остаюсь искренне ваш и оставляю вас

[Dexter 20]

Неужели Вы думаете, что все вокруг наивные и легко поддаются "чужому влиянию"?

Нет, я так не думаю.

Просто любовь - такое чувство..., что многого и не хочешь замечать.

Впрочем давайте остынем, а то что-то эмоций много.

Может раньше и обсуждалось, но не заметил.

Почему "Остались следы пребывания Adware в системе: выводится ошибка при старте ОС, исчез доступ в Интернет" лучше , чем "Успешно удаляет файл csrss.exe из папки %Windows%, но после перезагрузки исчезает рабочий стол."

Лично для меня наоборот исчезновение интернета хуже, чем исчезновение рабочего стола, хоть cmd.exe есть и работать можно, а вот без инета - никуда.

[Mr. Justice 771]

статистика и теория сложных систем - к которой. собственно, и относятся испытаня и тесты - не одно и то же.

Теперь об опросе - вы не заметили, что в этих 1 тыс - очень четко расписывается. кого и сколько опросили? Городских, сельских, по уровню достатка разных? что это в целом соответствует ...? Вижу, что не заметили. А жаль.

Вот именно. Это я и хочу сказать репрезентативность зависит не только от количества, но и от качества. В данном случае количество вообще не играет существенного значения. На первый план выходит многообразие качеств тестируемых образцов, а не их количество. Ваше позиция, если конечно я правильно понял своится к критике количественных показателей.

Так где доказательство - хотя бы статистическое - репрезентативности выборки? я уже спрашивал. Ответа. Остаюсь искренне ваш и оставляю вас

Я не собираюсь ничего Вам доказывать. Я лишь стараюсь опровергнуть Ваши аргументы.

[SuperBrat 6]

статистика и теория сложных систем - к которой. собственно, и относятся испытаня и тесты - не одно и то же.

Теперь об опросе - вы не заметили, что в этих 1 тыс - очень четко расписывается. кого и сколько опросили? Городских, сельских, по уровню достатка разных? что это в целом соответствует ...? Вижу, что не заметили. А жаль.

Полемика вышла за пределы - тем более, что и примеры пошли не те. Не яндекс надо смотреть в виде словаря, а знать теорию. Можео еще КМ взять, на других поисковиках покопаться.

Так где доказательство - хотя бы статистическое - репрезентативности выборки? я уже спрашивал. Ответа. Остаюсь искренне ваш и оставляю вас

alexgr, из всего того что вы написали, я сделал вывод: вас не устраивают те два победителя. Скажите, пожалуйста, кто ваш фаворит? Сил уже никаких нет читать вашу, alexgr, галиматью про выборки и теорию сложных систем.

[Сергей Ильин 1538]

Почему "Остались следы пребывания Adware в системе: выводится ошибка при старте ОС, исчез доступ в Интернет" лучше , чем "Успешно удаляет файл csrss.exe из папки %Windows%, но после перезагрузки исчезает рабочий стол."

Лично для меня наоборот исчезновение интернета хуже, чем исчезновение рабочего стола, хоть cmd.exe есть и работать можно, а вот без инета - никуда. Smile

На самом деле мы долго думали, как правильно интерпретировать результаты в этих случаях. Ясно, что если усчез рабочий стол, то для юзера это катастрофа и она может быть серьезнее самого факта заражения. Что касается достапа в Интернет, я лично не уверен, что потеря инета затмивает удаление активного заражение. Это лишь мое мнение и решение действительно принималось тут не легко. Если общественность посчитает, что за " исчез доступ в Интернет" стоит жестко ставить минус, я подчинюсь и поправлю. Потеряют баллы всего трое вендоров и на распределении позиций это существенно не повлияет.

[Ego1st 95]

Я конечно не скажу, что галиматью как SuperBrat (последнее время резкие текста от него вижу) но вообщем-то соглашусь с ним..

[vaber 350]

вас не устраивают те два победителя

Его не устраивает результат DrWeb, поэтому старается всем доказать несостоятельность теста. впрочем не очень получается :?

alexgr, назовите репрезентативный по Вашему тест?

Вот здесь (http://www.av-comparatives.org/) репрезентативный тест? Если да, то почему?

[Сергей Ильин 1538]

Это я и хочу сказать репрезентативность зависит не только от количества, но и от качества. В данном случае количество вообще не играет существенного значения.

Согласен, так как эффективных в настоящее время методов маскировки в системе и противодействия детекту/удалению антивирусами не так много. Если назовете 100, то я готов признать, что количество играет существенное значение. Нет смысла тестировать 100 разновидностей Bagle, если они удаляются на раз-два даже аутсайдерами.

Еще раз, цель последующего обобщения резальтатов на все генеральную совокупность не ставилась! Я нигде не писал, что Norton успешно лечит 80% от всех вредоносов известных человечеству :-)

Вообще, давайте прекращать эту демогогию, тест готовился три месяца, можно было зайти и сказать веское слово на этапе выработки методлогии. :idea:

[Dmitry Perets 30]

Нет, я так не думаю.

Просто любовь - такое чувство..., что многого и не хочешь замечать.

Да ладно =) Что там маркетинг ЛК уже сделал? Лично я помню много негативных отзывов в сторону Нортона на форуме ЛК, но не помню, чтобы они когда-либо исходили от сотрудников ЛК. Да и в прессе имхо сотрудники ЛК про Нортон не говорят негативно. Наоборот даже, ЛК (и в частности сам Касперский) очень часто лестно отзывается о маркетинговой политике Symantec. А ещё кто-то (вроде бы А... или _Stout) не менее лестно отзывался о движке Symantec - в контексте борьбы с полиморфиками. Короче, повода для обиды нету: задавить их не обещают, отмороженными чуваками не называют, так что всё ОК =)

Может я что-то упускаю, но в любом случае, имхо в негативных отзывах о Нортоне не стоит винить маркетинг "одной АВ-компании". Особенно учитывая тот факт, что доходы Symantec падают не только в России, а по всему миру. Виной тому имхо различные отчёты о низкой скорости реакции Symantec, подкреплённые реальными случаями пропуска зловредов (лично я сталкивался не раз с подобными случаями), и требования к ресурсам у последних продуктов компании (кроме Нортон 2007, если верить слухам). Но сильные стороны, безусловно, есть, и теперь их уже две: детект полиморфиков и лечение сложных угроз. Респект! =)

[Dexter 20]

Лично я помню много негативных отзывов в сторону Нортона на форуме ЛК, но не помню, чтобы они когда-либо исходили от сотрудников ЛК.

Ну форумы и места разные бывают. Птичка по зёрнышку клюёт. Со стороны это очень хорошо заметно. Отдел маркетинга я обозначил как общее выражение пиара (наверное, неправильно).

Да и в прессе имхо сотрудники ЛК про Нортон не говорят негативно.

...отмороженными чуваками не называют, так что всё ОК

Ха, я бы удивился бы если бы было наоборот. ("А по сопатке?" (с) )

две: детект полиморфиков и лечение сложных угроз.

+ стабильность, управляемость, очень малое к-во ложных срабатываний.

Ну да ладно, хватит о маркетинге.

Если общественность посчитает, что за " исчез доступ в Интернет" стоит жестко ставить минус, я подчинюсь и поправлю.

Если я часть общественности, то моё мнение - однозначно минус.

И касперу за Newdotnet. Весьма грязная чистка.

Сообщение об ошибке тоже многих ввести в ступор.

По Feebs и F-Secure.

Находит и удаляет файлы msdl.exe, msry, mszt32.dll (после переименования и перезагрузки) в папке %System%.

Без переименования не удаляет?

Ещё вопрос.

Я не знаком к Xorpix. Что за arm32.dll, и почему почти никто её просто не детектирует? Странно.

Прчём сим определил по записи в реестре.

А был ли мальчик?

[RiC 10]

Если я часть общественности, то моё мнение - однозначно минус.

Я высказывался на VInfo - Минус за полуработоспособную систему. Если в реестре остались какие-нибудь глюки не влияющие на функционал, это ещё простительно, но если после лечения чтото явно влазит или не работает это явно - "незачёт".

Находит и удаляет файлы msdl.exe, msry, mszt32.dll (после переименования и перезагрузки) в папке %System%.

Без переименования не удаляет?

Если сам предлагает переименовать и переименовывает - это одно, а если нет ....

Ещё вопрос.

Я не знаком к Xorpix. Что за arm32.dll, и почему почти никто её просто не детектирует? Странно.

Юзермодный Rootkit, в активном состоянии неплохо маскируется.

По поводу результатов замечю что многие слишком много уделют внимания чистому детекту и слишком мало обезвреживанию найденного.

[Dexter 20]

Юзермодный Rootkit, в активном состоянии неплохо маскируется.

Ясно.

АВЗ -тоже не видит?

[alexgr 556]

статистика и теория сложных систем - к которой. собственно, и относятся испытаня и тесты - не одно и то же.

Теперь об опросе - вы не заметили, что в этих 1 тыс - очень четко расписывается. кого и сколько опросили? Городских, сельских, по уровню достатка разных? что это в целом соответствует ...? Вижу, что не заметили. А жаль.

Вот именно. Это я и хочу сказать репрезентативность зависит не только от количества, но и от качества. В данном случае количество вообще не играет существенного значения. На первый план выходит многообразие качеств тестируемых образцов, а не их количество. Ваше позиция, если конечно я правильно понял своится к критике количественных показателей.

Так где доказательство - хотя бы статистическое - репрезентативности выборки? я уже спрашивал. Ответа. Остаюсь искренне ваш и оставляю вас

Я не собираюсь ничего Вам доказывать. Я лишь стараюсь опровергнуть Ваши аргументы.

Офф-топ. Есть ложь, есть большая ложь, а есть статистика. Есть, правда, еще социология.

Таким образом, для того чтобы оценить средний уровень накоплений в России - берем Чукотку вместе с губератором. Население-около 3 млн. С сезонными рабочими и старателями (летом). Сбережения губернатора составляют (пусть примерно, точно не знаю) 12 млрд долл. Сбережения всех прочим будем считать величиной второго порядка малости. Что получаем? 4000 баксов . насколько соответствует? Можно еще Москву взять

Берем

http://www.viruslist.com/ru/analysis?pubid=204007523

(спасибо за подробные результаты) и

http://www.anti-malware.ru/index.phtml?par...ctive_infection

b

Статистика обнаружения вирусов

Дата начала: ,

Дата окончания: ,

Топ:

Вся статистика

Демоны Dr.Web

Агенты Enterprise Suite

01.01.2007 00:00 - 12.02.2007 21:00

1 Trojan.Bankfraud.272 3855135 (21.37%)

2 Win32.HLLM.Beagle 1669206 (9.25%)

3 BackDoor.Groan 1657751 (9.19%)

4 Win32.HLLM.Limar.based 1458885 (8.09%)

5 Win32.HLLM.Perf 1244837 (6.90%)

6 Win32.HLLP.Sector 1180603 (6.54%)

7 Win32.HLLM.Netsky.35328 964810 (5.35%)

8 Win32.HLLM.MyDoom.based 586139 (3.25%)

9 Trojan.Packed.8 549753 (3.05%)

10 Win32.HLLM.Netsky.based 536701 (2.97%)

степень соответствия?

Добавлено спустя 7 минут 49 секунд:

alexgr, из всего того что вы написали, я сделал вывод: вас не устраивают те два победителя. Скажите, пожалуйста, кто ваш фаворит?

повторюсь - меня в целом не устроили материалы, которые поданы как тест. Мы уже вроде согласились с терминологией. Это проверка заявленной функциональности, не более.

Готовились долго, тщательно, работа большая, но все же ...

Добавлено спустя 4 минуты 45 секунд:

вас не устраивают те два победителя

Его не устраивает результат DrWeb, поэтому старается всем доказать несостоятельность теста. впрочем не очень получается :?

alexgr, назовите репрезентативный по Вашему тест?

Вот здесь (http://www.av-comparatives.org/) репрезентативный тест? Если да, то почему?

Я ответил выше. Думаю, что вы просто не правы. Я испытаниями и тестированиями занимаюсь более 20 лет, поэтому немного знаю этот предмет. Чуть - чуть, с вашего позволения. И не согласен с ТЕРМИНОЛОГИЕЙ.

Добавлено спустя 15 минут 43 секунды:

По поводу результатов замечю что многие слишком много уделют внимания чистому детекту и слишком мало обезвреживанию найденного.

Полностью согласен! именно поэтому рад появлению подобного материала, но хотелось бы большей продуманности работ и лучшей подготовки результатов.

при этом особенно рад правильности вашей терминологии - не лечения, а именно обезвреживания. Уже приходилось спорить и по этому вопросу