Реальный тест на эвристику "антивирусов"

[Maratka 30]

http://blogs.drweb.com/node/424

Немного старая ссылка

более свежая ссылка на тот же хеш

http://www.virustotal.com/analisis/60d40ef...244e-1244096392

62.50% - это пока что на рекорд тянет

[spw 190]

IMHO, если это получится доказать в суде - то одним вендором станет меньше.

С удовольствием бы. Проблема банальна: им по барабану. Для того, чтобы судиться, нужно очень много времени, а главное - денег. Потому что здесь суд еще и международный (т.е. в разных государствах истец и ответчик). Времени и денег в таком количестве, к сожалению нет. Нашлись бы люди, кто был готов это все провернуть с мат. технической точки зрения -- без проблем. Я бы с удовольствием сделал бы так, что называется "отольются кошке мышкины слезы".

Кстати, они таким же способом разоряют и компанию, производящую средства защиты. Их средства защиты перестают покупать (а старые клиенты отказываются) по той причине, что сразу же после применения защиты все выпущенные программы автоматически детектируются.

Sp0Raw

Всё таки настоятельно рекомендую посмотреть результаты тестов на:

http://www.av-comparatives.org

Мне сгенерировать миллион файлов, которые будут детектироваться авирой? (Тогда эта статистика слегка поплывет в минус для Avira).

И еще раз обращу внимание Вас в первую очередь. Правильно тут уже сказали -- не в Avira дело. Вот вы к ней привязались. Речь В ЦЕЛОМ о том списке и тех вердиктах (г-детектах г-эвристиками).

Отредактировал Август 2, 2009 Sp0Raw

[3TE116 45]

Упал под стол!У Софос мало фолсов .

Далее пропихнуть Симантик,который тих,как день ненастный .

Далее,чтобы Есет не забыли .

Ну и скрытая реклама Каспера .

А остальные типа неудачники и лентяи.

[veritas 10]

62.50% - это пока что на рекорд тянет

Не.

Рекорд там по третьей ссылке 82,93%

http://www.virustotal.com/analisis/ee61c1d...b2e0-1245327210

[Юрий Паршин 330]

Немного старая ссылка

более свежая ссылка на тот же хеш

http://www.virustotal.com/analisis/60d40ef...244e-1244096392

62.50% - это пока что на рекорд тянет

На рекорд тянет второй файл из того поста - 80.49% (более свежая ссылка, чем в предыдущем посте) http://www.virustotal.com/analisis/ee61c1d...b2e0-1249223494

[Maratka 30]

Просто он тестировался с настройками по умолчанию, а например Avira с максимальными настройками (это описано в методологии) - так захотели производители этого софта...

P.S. Я выложил пример результатов по фолсам за февраль 2009 г...

Так может не мешать котлеты с мухами?

Авира добилась вполне среднеотралсевого кол-ва фолсов, честь и хвала. Могли бы еще меньше? Могли!

Почему не стали? Потому что тогда бы Авира вошла бы в число лидеров по количеству ложняков, но при этом в количество середняков по детекту.

А лично мне допустим глубого все равно - поймает у меня ФА или не поймает. Если "не поймает" - на то у меня ХИПС есть.

А связка "ХИПС + ФА" побила все рекорды в приведеннгой Вами же ссылке на тест предотвращения заражения.

[Maratka 30]

Не факт - это опять всего лишь предположение... А лидерство по детекту в этих тестах Avira держит и показывает при этом не намного больше фолсов чем победетели по данному параметру - ЭТО ФАКТ...

Этот факт легко проверяется (к сожалению - не всеми, а только членами команд-антивирусников) - берется вендор годичной давности, берется коллекция вирей за последний год, и считается разница в детектах с влюченным и выключенным детектов пакеров.

И кроме того -ну хватит уже про эту Авиру.... Ей Богу, ну не сошелся на ней свет клином.

[Guest анти-посетитель]

Мало того, что такие БАД антивирусы выпускают совершенно несостоятельные програмные продукты, так они еще умудряются растиражировать чужие фолсы путем воровства детектов. Эти ребята не способны даже придумать собственную классификацию имен (чего уж говорить про програмный модуль "эвристический анализатор"), поэтому используют чужие имена. Таким образом эти г-ав выезжают в тестированиях на коллекциях, а в реальной жизни они совершенно бесполезны, зато радуют пользователя тем, что сидят тихо в трее и не мешают тому заражаться. Пользователь на радостях становится еще одним звеном бот-сети, но уже на радость ботоводов. Да здравствуют пиарщики, которые умудряются впарить доверчивым пользователям такое вот жалкое подобие на антивирус.

[Maratka 30]

В рамках этой темы - сообщения #1 и 38

А именно детект "пустого места", ака стандартный виндовый Блокнот (касательно сообщения 38)

[Guest анти-посетитель]

Можно попросить вас представить список этих так называемых БАД антивирусов - обсудим..?

По-моему, все есть в сообщениях этой темы. То, что неожиданно нет Авиры - просто случайность. И хватит уже про Авиру, надоело. Она такой же БАД, как и ЕСЕТ.

[spw 190]

Можно попросить вас представить список этих так называемых БАД антивирусов - обсудим..?

Они есть все в исходном сообщении. Точнее - почти все - не хватает нескольких, у которых случайно "-" стоят. И случайно затесался Symantec (профессионалы).

[Кирилл Керценбаум 671]

Понимая куда движется обсуждение в данной теме

ТЕМЕ ЗАКРЫТА

[Umnik 997]

И вновь открыта. Один человек получил 30 суток премодерации.

Слепой фанатизм оставили где-то там. Здесь идет обсуждение детекта не вредоносного ПО. Не важно, политика компании или низкое качество антивируса - пользователь все равно страдает.

Топикстартер и форумчане могут считать что угодно, но излагать свою позицию могут только с доказательствами. Пока они есть.

Отредактировал Август 2, 2009 Umnik

[Deja_Vu 366]

Sp0Raw

Много полезных программ пакуются например UPX?

Хотелось бы увидеть примерное % соотношение софта для windows к тем, что упакованы upx'ом.

А затем отношение вирусов упакованных UPX'ом к безопасному софту.

После этого, надеюсь вопрос себя исчерпает полностью -))

[dan 10]

И случайно затесался Symantec (профессионалы).

А так ли вы уверены по поводу Симантека?

Я понимаю что продукт хорошо себя зарекомендовал в течении многих и многих лет.

Но всё же, если попытаться стереть из памяти все эти годы и посмотреть на подходы в детекте этого продукта за последние несколько месяцев?

[Umnik 997]

dan

Вы владеете статистикой?

Хотелось бы увидеть примерное % соотношение софта для windows к тем, что упакованы upx'ом.

А затем отношение вирусов упакованных UPX'ом к безопасному софту.

А это возможно все подсчитать? А ведь Алкоголь и Даунлеуд мастер такие же программы, как Эксель и Фотошоп. И в них точно использовался UPX:

02.08.2009 22:37:27    Задача запущена                02.08.2009 22:37:29    Упаковано: Swf2Swc    C:\Program Files\Download Master\flvplayer.swf            02.08.2009 22:37:29    Упаковано: UPX    C:\Program Files\Download Master\unrar.dll            02.08.2009 22:37:29    Упаковано: UPX    C:\Program Files\Download Master\unzip32.dll            02.08.2009 22:37:29    Упаковано: UPX    C:\Program Files\Download Master\Plugins\advscheduler.dll            02.08.2009 22:37:30    Задача завершена                02.08.2009 22:38:00    Задача запущена                02.08.2009 22:38:00    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\ACID.exe            02.08.2009 22:38:00    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\AxCmd.exe            02.08.2009 22:38:00    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\ACID.exe/PE_Patch.UPX            02.08.2009 22:38:00    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\DevSupp.dll            02.08.2009 22:38:00    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\DevSupp.dll/PE_Patch.UPX            02.08.2009 22:38:00    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Alcohol.exe            02.08.2009 22:38:00    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\AXShlEx.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_AR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_BUL.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_CAT.dll            02.08.2009 22:38:01    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\uninst.exe/data0010            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\uninst.exe/data0010/PE_Patch.UPX            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_Chs.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_Cht.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_DA.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_ES.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_CZ.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_FI.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_GE.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_FR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_GR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_HR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_IT.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_JPN.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_HU.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_KR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_MK.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_NL.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_NO.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_PL.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_PT_BR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Alcohol.exe/PE_Patch.UPX            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_PT.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_RU.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_SK.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_SLV.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_SR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_SV.dll            02.08.2009 22:38:01    Упаковано: ASPack    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_UA.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_TR.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Langs\AX_UA.dll/ASPack            02.08.2009 22:38:01    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\dpm.dll            02.08.2009 22:38:01    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\Helper\AxSrvUACHlper.exe            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\dpm.dll/PE_Patch.UPX            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\AxSWind.dll            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\Helper\AxSrvUACHlper.exe/PE_Patch.UPX            02.08.2009 22:38:01    Упаковано: PE_Patch.UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\Helper\UACHlper.exe            02.08.2009 22:38:01    Упаковано: UPX    C:\Program Files\Alcohol Soft\Alcohol 52\Plugins\Helper\UACHlper.exe/PE_Patch.UPX            02.08.2009 22:38:01    Задача завершена

[Deja_Vu 366]

А это возможно все подсчитать? А ведь Алкоголь и Даунлеуд мастер такие же программы, как Эксель и Фотошоп. И в них точно использовался UPX:

Думаю невозможно, но отношение вредоносных к безопасным будет очень большим, что дает возможность выделение упаковщика в статус критерия отбора.

Подход вполне обоснованный.

[Maratka 30]

Это всего лишь ваше мнение... Или вы можете дать ссылку на проводимые по данному вопросу исследования..?

Сходил, поел, пивка попил. И результат исследованиия выносил попутно, да не абы как, а вместе с ссылкой и семплом:

http://www.virustotal.com/ru/analisis/83d9...1ba4-1249238853

KUS_2.rar

Авира не детектит. Это чтобы сразу Вам не пришлось писать опровержающего сообщения

С другой стороны - 7 вендров из 40 тоже не слишом мало, вот и хотелось бы с ними разобраться- зачем детектить софт, который НЕ РАБОТАЕТ, т.е. попросту битый софт?

p.s.

Орининал проги был взят из темы http://www.anti-malware.ru/forum/index.php?showtopic=7612

и перепакован. Других изменений не было.

Думаю невозможно, но отношение вредоносных к безопасным будет очень большим, что дает возможность выделение упаковщика в статус критерия отбора.

Подход вполне обоснованный.

При граммотной реализации этого подхода количество фалсов будет не один на 300, а один на 5000. Вот и вся разница.

Проще тогда сам UPX задетектить

KUS_2.rar

[Deja_Vu 366]

При граммотной реализации этого подхода количество фалсов будет не один на 300, а один на 5000. Вот и вся разница.

Проще тогда сам UPX задетектить

Я к этому же и клоню.

Только вот у Авиры есть белые списки, поэтому данный подход, к тому же, компенсируется ими.

Вижу, что все время какие-то тесты проводят на "эвристику", пишут про различные {censored}, Avira'ы и прочие "поделки"

[Maratka 30]

Я к этому же и клоню.

Только вот у Авиры есть белые списки, поэтому данный подход, к тому же, компенсируется ими.

Потому получится не 1 на 5 000, а 1 на 100 000.

А теперь подсчитаейте кол-во файлов на Вашем диске "С", включая содержимое архивов.

[spw 190]

А так ли вы уверены по поводу Симантека?

Я понимаю что продукт хорошо себя зарекомендовал в течении многих и многих лет.

Но всё же, если попытаться стереть из памяти все эти годы и посмотреть на подходы в детекте этого продукта за последние несколько месяцев?

Я говорю об уровне подхода к вопросу, о взвешенности решений. У них там тоже есть смешные аналитики, но в целом компанию это не портит. Вопрос лишь в том, что компания для себя решает - что ей можно, а что нельзя. И как она это делает. Говоря "профессионалы", я не говорил что-то вроде "лучший антивирус" или "хороший антивирус". Вообще не выносил никаких оценок в этой плоскости. Я говорил лишь о профессиональном подходе к вопросу. Он у них есть. И как минимум за это данную компанию стоит уважать.

[vaber 350]

Как видно количество фолсов у Avira лишь на несколько десятков больше чем у победителей по данному параметру, а исследование проводится на состоящей из нескольких миллионов чистых файлов коллекции...

Все очень просто. Откуда берется столько легитимных файлов? Используются сервисы типа download.com и подобные - от туда выкачивается все, что можно выкачать, распаковываются инсталляки и все бинарники используются как "легитимные". Вендоры могут так же "скачать интырнет" и все F/P занести в исключения и вот в таких вот тестах они не будут иметь много фалсы. Так и делается.

[spw 190]

Sp0Raw

Много полезных программ пакуются например UPX?

Хотелось бы увидеть примерное % соотношение софта для windows к тем, что упакованы upx'ом.

А затем отношение вирусов упакованных UPX'ом к безопасному софту.

После этого, надеюсь вопрос себя исчерпает полностью -))

Это тот самый подход, о котором я говорю. Рассуждения на уровне: "Много людей пользуются мизинцами? Давайте их отрезать при рождении!".

У меня - много. И я не один такой. UPX - один из популярнейших упаковщиков под Windows (да и не только под Windows, к слову о). В первую очередь, из-за того, что поставляется с исходниками и был одним из первых.

Но еще раз повторю - это ровным счетом не имеет никакого значения.

Просто никто из таких недо-компаний не хочет брать на себя ответственность за то, что они творят. По банальной причине: никто им в тык не дал, и дать пока, к сожалению, не может. Но несколько судебных решений исправили бы эту ситуацию. Дали бы хоть какую-то возможность потребителям (а главное - разработчикам) защищать их права.

К сожалению, как можно было уже заметить даже по этому топику, есть достаточно большое число "фанатов". И именно эти фанаты и держат в тонусе потребление данных продуктов.

А вот то, что я за последний год только и занимаюсь, что перед выкладыванием новых версий различных программ, сканирую их через virustotal и рассылаю пачки "спама" различным vendor'ам, чтобы убрали "детектирование" - это никого не волнует. И не я один такой. Могу целый список дать тех, кому я постоянно шлю (AVG, Avira, Avast, ESET NOD, McAfee -- эти наиболее часто) и несколько других. Могу дать список тех, кому вообще бесполезно писать - либо они вообще игнорируют письма, либо ничего не делают (Sophos, TrendMicro, еще какие-то -- на другом компьютере могу посмотреть). Могу сказать список самых бОрзых от безнаказанности, которым просто наплевать на все и вся, кроме популяризации своего продукта и получаемых с этого денег -- ESET NOD (выше уже описывалось про их шантаж с ЭЦП и молчаливые отказы добавить в список игнорирования по хэшам). Это принципиальные позиции компаний.

К сожалению, мир не совершенен. И так же как куча различных "лопухов" лечится у колдунов и прочих знахарей (я имею в виду от обычных болезней, в обычной жизни), так же большое число обычных людей (которые не могут оценить качество продукта, кроме как по различным пресс-релизам, пиар-материалам и тестам, которые слишком несовершенны) -- используют вот такие, уж простите, "БАДы".

P.S. Кстати, McAfee как антивирус так же серьезный игрок (именно в подходе). Но в последнее время сдулся своими криками на все и вся. А еще больше это стало заметно после их Artemis и купленного washer'а.

Все очень просто. Откуда берется столько легитимных файлов? Используются сервисы типа download.com и подобные - от туда выкачивается все, что можно выкачать, распаковываются инсталляки и все бинарники используются как "легитимные". Вендоры могут так же "скачать интырнет" и все F/P занести в исключения и вот в таких вот тестах они не будут иметь много фалсы. Так и делается.

Самое "смешное", когда из-за вот таких "антивирусов" не попасть на download.com. Потому что... Правильно! Все детектируют, как malware...

Но всё же, если попытаться стереть из памяти все эти годы и посмотреть на подходы в детекте этого продукта за последние несколько месяцев?

Кстати, это невнимательно прочитал. К сожалению, если "за последние несколько месяцев" означает 1-3 месяца, то я ничего сказать не могу, ни за, ни против. В этот период занимался иными вещами, не могу судить.

[Deja_Vu 366]

Потому получится не 1 на 5 000, а 1 на 100 000.

А теперь подсчитаейте кол-во файлов на Вашем диске "С", включая содержимое архивов.

76 301 Штук.

Отношения у вас не верны...не 1 к 5 000, а 1 к 5 000 000 -))

[Maratka 30]

Детект Heur:Crypted - это политика компании и её сознательное решение... Я лично поддерживаю такое решение - зачем паковать легальную программу..?

1) Может быть потому чтобы меньше была?

2) Может быть потому, что в 2009 году еще есть несколько десяков процентов пользователей, активно пользующихся диал-апом (как более-менее новым вариантом - GPRS'ом)?

3) Может быть потому, что в 2009 году еще нет повального выхода новых ноутбуков без встроенного диал-ап модема (исходя из п.1)