Перейти к содержанию
Сергей Ильин

Тест антивирусов по эффективности защиты от новейших вредоносных программ I

Recommended Posts

Deja_Vu
Ну, тогда придётся его детект тоже из теста выкинуть и всё свести к абсурду. Я об этом уже писал выше. Хотя по логике вещей так и получается.

Ну уж нет, из теста вылетает не по названию, а по принципу действия.

А именно "эвристик", который работает по сигнатурным базам.

все остальное, как-раз учитывается.

Но я бы не стал этот инновационный (т.е. необкатанный по сути) тест, его результаты вообще показывать широкой публике. Не готовы они для этого. Для аналитического портала - да, пойдёт, можно пообсуждать.

Любой антивирусный тест можно забраковать подобным образом. Абсолютно любой.

Да, надо тест совершенствовать, но результаты показывать нужно.

Ибо даже в массе не совершЕнных тестах, которые не подстраиваются под определенного вендора, можно разглядеть примерное соотношение сил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Подсказка. Антиспам забыли. И ничего странного в том, чтобы защищать собственные продукты, нет. Перечисленная аргументация вполне подходила под те недостатки, которые Вы перечислили. В то время, когда эта аргументация была нужна. Не переносите аргументацию прошлых лет в сегодняшний день.

Напомни, пожалуйста, а разве "аргументация прошлых лет" спасала компоненты Dr.Web от "выноса" тем же Win32.HLLM.Beagle, например, или Win32.HLLM.Graz, который после нескольких довольно мирных модификаций стал удалять все ЕХЕ из каталога Dr.Web и не давал запуститься инсталлятору Dr.Web до его переименования во что-то нейтральное?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
А за результат... сложно поддаётся интерпретации.
И выносить в заголовок некие "новые угрозы" непонятного типа по непонятно каким правилам выбранные... Не согласен лично я с тем, что так было сделано.

Валерий, вы с позиции аутсайдера, производителя продукта, провалившего тестирование, защищаете свой продукт абсолютно верно. Вам в этом случае просто ничего не остаётся больше делать. Из 36 источников новой заразы ваш продукт смог справиться только с 10-ю. В 26 случаях произошло заражение компьютера. И конечный результат этого теста как раз интересен именно простым пользователям, потому как специалисты IT-индустрии и без тестов способны объективно оценить возможности того или иного продукта.

Но я бы не стал этот инновационный (т.е. необкатанный по сути) тест, его результаты вообще показывать широкой публике. Не готовы они для этого. Для аналитического портала - да, пойдёт, можно пообсуждать

Мне было бы интересно узнать какой была бы атмосфера обсуждения теста, если бы DrWeb случайно оказался победителем теста? Припоминаю, что при обсуждении теста на лечение активного заражения Валерий не оспаривал методологию и результаты :)

Валерий, с результатом надо смириться, поблагадарить людей за проделанную работу и двигаться дальше. Вам (да и нам) есть над чем работать. Наезды на команду, проводившую данный тест и методу его проведения смотрятся глупо.

По поводу нашего не первого места - тоже приходится читать упрёки от пользователей, не все довольны второй позицией, пользователи даже нашим результатом огорчены, чего уж говорить про ваш :rolleyes:

почему ХИПС от одного человека оказался лучше чем от десятков инженеров и менеджеров того же ЛК и нельзя ли этот ХИПС присобачить к Касперу?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz

А результаты будут здесь опубликованы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Тесты, да тесты. Все антивирусы хороши:)

_http://www.3dnews.ru/software/antivirus_review_2009/index4.htm

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

У меня такой вопрос, почему результаты данного теста плохо коррелирует с результатами прошлого теста( тест проактивной антивирусной защиты март 2009)?

Почему, например, Dr.Web 5.0 с "замороженными" базами только одним эвристиком брал 61%, а Dr.Web Security Space 5.0 всеми компонентами и 30% не осилил?

Или я что то не так понял?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Andrey75, дело в том, что это принципиально разные тесты. Я выше уже писал о различиях этих двух тестов. Постараюсь объяснить еще раз.

В данном тесте мы проверяли эффективность защиты от новейших образцов вредоносных программ (zero-day). Что значит новешие? Это значит, что самплы не попадали в вирлабы вендоров. Следовательно они не обнаруживались сигнатурами или файловой проактивкой. Таким образом, моделировалась ситуация, когда вы, как пользователь, сталкиваетесь в сети с зараженным сайтом и вам загружается вредоносный код (который появился/обновился буквально только что).

Почему это важно? Сейчас в сутки появляются тысячи новых образцов вредоносных программ. Рост их общего числа - экспоненциален. Со временем ни один вендор не может обрабатывать их все. Классические антивирусы, которые будут завязаны исключительно на обновление баз будут лажаться все больше и больше. Именно поэтому индустрия идет в сторону облачных технологий, хипсов и т.п. - это новая концепция защиты. Этот тест как раз нагладно показывает эту очевидную вещь.

Что касается теста проактивной защиты, то там проверяется эффективность работы файловой эвристики. Мы собираем все образцы, которые ходят по сети в период теста. Большая часть из них - это модификации уже известных вредоносных программ, это совсем не zero-day. Поэтому и результаты другие.

Почему, например, Dr.Web 5.0 с "замороженными" базами только одним эвристиком брал 61%, а Dr.Web Security Space 5.0 всеми компонентами и 30% не осилил?

Трактовать эти цифры можно так. Если вы напоритесь на десяток свежайших вредоносных программ, то Dr.Web защитит вас примерно от трех. Если же вы наткнетесь в сети на десяток модификаций каких-то известных семейств вредоносных программ, то ваши шансы с Dr.Web будут значительно выще - примерно шесть штук он обнаружит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

Спасибо , теперь понял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
"эвристик", который работает по сигнатурным базам.

Это Вы так решили?

FLY-CODE - это эвристик, который работает не по сигнатурным базам. Однозначно. В этой технологии упор делается на алгоритмы, реализованные в движке, и эти алгоритмы уж очень далеко и от классических сигнатур и даже от их современного понимания.

все остальное, как-раз учитывается.

Перечислите, что именно учитывается, если эвристик в любых ипостасях не учитывается. Что-нибудь ещё, кроме HIPS?

Ибо даже в массе не совершЕнных тестах, которые не подстраиваются под определенного вендора, можно разглядеть примерное соотношение сил.

Тут нужно всегда добавлять "по выбранному параметру". При этом параметр может ничего не говорить о продукте в целом, а такие пользователи как AlexxSun воспринимают это именно так. И таких пользователей - большинство. Поэтому я напоминаю, что ваша тестовая лаборатория, проводя тестирования как вздумается и получая примерные результаты, влияет на вполне конкретный рынок, рынок немаленького объёма. Вполне логично здесь тоже брать на себя некоторую ответственность, но лаборатория этого всячески избегает.

Добавлю, ответственность бывает не всегда юридическая или материальная. Например, вполне можно в материалах для СМИ акцентировать внимание пользователей на то, что проведённое тестирование ничего не говорит о тестируемых антивирусах в целом, что тестируются определённые технологии по определённым параметрам, что у тестируемых продуктов может быть плохо реализован/не реализован вовсе функционал, акцент на которых был сделан в тесте, что отсутствие этого функционала может компенсироваться другим функционалом. Эта информация всегда отсутствует, и у пользователей складывается мнение, что по результатам теста один антивирус плохой, а другой хороший. Ну а в другом тесте они меняются местами. Это в качестве пожелания на будущее. Если такой абзац будет в новостях присутствовать, это будет здорово и полезно для пользователей.

Мне было бы интересно узнать какой была бы атмосфера обсуждения теста, если бы DrWeb случайно оказался победителем теста?

Ровно такой же. Наверное, Вы плохо читали мои рассуждения по поводу теста на активное заражение. 100%-ый результат ничем не помогает вендору. Тема остаётся нераскрытой. А пользователя такая информация вводит в заблуждение. Что привело меня к таким выводам, повторять не буду, ибо dr_dizel устанет читать.

Тесты, да тесты. Все антивирусы хороши:)

Это единственный нормальный вывод, который могут сделать пользователи, просмотрев результаты тестирований последних лет.

Напомни, пожалуйста, а разве "аргументация прошлых лет" спасала компоненты Dr.Web от "выноса" тем же Win32.HLLM.Beagle, например, или Win32.HLLM.Graz, который после нескольких довольно мирных модификаций стал удалять все ЕХЕ из каталога Dr.Web и не давал запуститься инсталлятору Dr.Web до его переименования во что-то нейтральное?

Нет, не спасала. И такой аргументации не было. Так же, как её сейчас нет у вендоров, которые не могут вылечить от TDL3 и пр.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
ибо dr_dizel устанет читать.

Не. Я устал читать разглагольствования про термин "Zero-day virus" - детище какого-то препода универа, что наколбасил в википедии. Таким терминам не место в методологии теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

dr_dizel, предложите другое определение Zero day samples. Но не Zero day attacks, не термин, главное в котором - действие, причём необязательно с использованием вредоносных программ.

Напомни, пожалуйста, а разве "аргументация прошлых лет" спасала компоненты Dr.Web от "выноса" тем же Win32.HLLM.Beagle

По поводу этого хочу уточнить. Я написал, что против этих проблем аргументации не было. Возможно, какая-то аргументация и использовалась, и я имел в виду, что мне об этом не известно. Суть размышлений от этого не меняется. Если у продукта есть недостатки, бреши, то компании всегда их стремятся закрыть любыми аргументами, если это возможно. И эти приёмы всегда находятся на поверхности и используются всеми вендорами. Здесь речь идёт не о правильности/неправильности данных методов, а о их применении в случае необходимости. Впрочем, к теме топика это имеет малое отношение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Нет, не спасала. И такой аргументации не было. Так же, как её сейчас нет у вендоров, которые не могут вылечить от TDL3 и пр.

Написал тебе в личку, дабы не разводить здесь оффтоп. Чтобы немного память освежить. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Написал тебе в личку, дабы не разводить здесь оффтоп. Чтобы немного память освежить. smile.gif

Спасибо за освежение. Я не собирался защищать антивирусные компании, которые используют некорректные методы для аргументации наличия проблем (отсутствия функционала), даже наоборот. И подразумевал, что это не означает, что все антивирусные компании после этого лузеры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
dr_dizel, предложите другое определение Zero day samples. Но не Zero day attacks, не термин, главное в котором - действие, причём необязательно с использованием вредоносных программ.

Вам обязательно на английском? Наверное чтобы потребителям было понятнее. :)

Такой сойдёт: "new malware threats" ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
Трактовать эти цифры можно так. Если вы напоритесь на десяток свежайших вредоносных программ, то Dr.Web защитит вас примерно от трех. Если же вы наткнетесь в сети на десяток модификаций каких-то известных семейств вредоносных программ, то ваши шансы с Dr.Web будут значительно выще - примерно шесть штук он обнаружит.

Сильно.

Т.е. использовались исключительно новые неизвестные ранее вредоносные программы, а не модификации уже известных?

Судя по файлу это, мягко говоря, совсем не факт.

Ох, уж эти сказочники мракетологовые...

Все им божья роса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Вам обязательно на английском? Наверное чтобы потребителям было понятнее. smile.gif

Во-первых, мы тут не со мной спорим, а дискутируем все вместе по теме. И только по желанию. Не хотите - не делайте.

Во-вторых, не обязательно на английском, но предпочтительнее.

Английский - язык века информации. Компьютеры разговаривают друг с другом

на английском. Более 80% всей информации в более чем 150 млн. компьютерах по

всему свету хранится на английском языке. Восемьдесят пять процентов всех

международных телефонных разговоров совершаются на английском языке, также

как и три четверти мировой почты, телексов и телеграмм. Инструкции к

компьютерным программам и сами программы часто бывают только на английском

языке. Когда-то языком науки был немецкий, сегодня 85% всех научных работ

публикуются сначала на английском языке. Более половины мировых технических

и научных периодических изданий выходят на английском языке, который также

является языком медицины, электроники и космической технологии. Интернет

немыслим без английского языка!

(с) http://miresperanto.narod.ru/pri_angla/ang..._universala.htm

Такой сойдёт: "new malware threats" ?

Нет, не пойдёт. Тут нет про zero day. Поэтому понятие "новые" никак не конкретизировано.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Во-первых, мы тут не со мной спорим...

Поднимите руки кто так не думает.

Тут нет про zero day. Поэтому понятие "новые" никак не конкретизировано.

Ваша проблема в том, что вы не понимаете что такое зеродей. Сколько % образцов в тесте действительно с нигде не встречающимися технологическими приёмами? А словосочетание "new malware threats" достаточно конкретизировано для нашего теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Цитата(AlexxSun @ 25.11.2009, 11:33)

Мне было бы интересно узнать какой была бы атмосфера обсуждения теста, если бы DrWeb случайно оказался победителем теста?

Ровно такой же. Наверное, Вы плохо читали мои рассуждения по поводу теста на активное заражение. 100%-ый результат ничем не помогает вендору. Тема остаётся нераскрытой. А пользователя такая информация вводит в заблуждение. Что привело меня к таким выводам, повторять не буду, ибо dr_dizel устанет читать.

Валерий, мне несложно было почитать ваши рассуждения по части теста на лечение активного заражения. У меня в школе любимый предмет был - история :P Так что с вашей стороны рискованно было отправлять меня перечитывать страницы давно минувших дней.

Почитал! И знаете, очень любопытное чтиво!

vaberу, а также всем причастным спасибо за проведённую работу . Этот тест, наверное, наиболее адекватен из всех, что проводились на АМ. Не потому, что Dr.Web на первом месте, я обсуждал и многие другие тесты здесь. Просто методология уникальная (никто больше подобных тестов не проводит), разработана с нуля, чёткая ( прицепиться особо не к чему, хотя жалкие попытки есть), обратную связь с тестерами получить легко (это, к сожалению, сейчас большая редкость), направление исследования тоже одно из самых основополагающих для антивирусов. Молодцы.

Т.е. ну прямо противоположная картинка тому, что вы пишите сейчас здесь. И бесконечные благодарности лились из под вашего пера в той теме. С вашей позицией мне всё абсолютно ясно: выиграли тест - значит хвалим тестеров, сам тест, методологию и портал АМ. Продули вчистую - значит хаем всех подряд направо и налево, невзирая при этом на лица, должности и былые заслуги :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Во-первых, мы тут не со мной спорим...

Поднимите руки кто так не думает.

Ок, если все тут спорят со мной, то я покину эту тему. Буду как и раньше общаться напрямую с авторами тестов. Мне этого общения достаточно. И прогресс всё равно будет. Можно этим заниматься, не создавая искусственную популярность этому ресурсу и не заставляя напрягать извилины участникам портала ;)

Но что-то мне подсказывает, что не всем это выгодно.

А словосочетание "new malware threats" достаточно конкретизировано для нашего теста.

Сцылко-то где? А то коня в яблоках обсуждаем.

Почитал! И знаете, очень любопытное чтиво!

Ну, подколол-подколол. Привёл цитату годовой давности. А это время я жил в информационном вакууме и ни с кем не общался типа.

Я имел в виду рассуждения, которые я проводил в этом месяце.

На тот момент - да, я радовался за успехи, которые достигла наша компания. Радовался весьма эмоционально. И я не проводил в этом высказывании подробный технический анализ теста. Да, это были скорее просто эмоции.

Но всегда наступает время после теста. И выясняется, что работать дальше можно и нужно.

100%-ый результат не может держаться вечно. За последний год появились новые типы руткитов, от которых существовавшая тогда версия антирутикт-модуля Dr.Web Shield оказалась бессильной. Тест мог бы показать необходимость и направление этих доработок уже тогда.

Всегда есть к чему стремиться.

Но выбранная тогда методология действительно казалась совершенной, практически идеальной для данного типа тестирования.

Могу выделить слова "наверное" и другие в своём высказывании, хотя это будет снова обращено в фарс.

И подтверждаю, что тестирование на противодействие активному заражению и по сей день является наиболее адекватным на АМ.

И действительно рад, что такой тип тестов проводится здесь. Явных ляпов в нём нет. Для меня всё выстроено логично.

Но это не значит, что не к чему стремиться и здесь.

Я в последнем обсуждении этого тестирования говорил о том, что можно дойти до уровня создания собственных концептов, которые подтверждают, что продукты, которые сейчас противодействуют всем технологиям скрытия в системе, завтра могут позволить установить в систему руткит нового поколения.

Продули вчистую - значит хаем всех подряд направо и налево, невзирая при этом на лица, должности и былые заслуги smile.gif

Вы слышите то, что хотите слышать. И выдираете из контекста то, что Вам выгодно.

Можете привести сюда ещё мои цитаты из 2006-го года, когда я здесь развлекался под ником Goudron. Тоже было весёлое время. Другое амплуа, другие задачи и желания.

Кстати, обсуждаемый в этой ветке тест я не хаял. И писал, что его результаты можно интерпретировать. Но широкому читателю это сложно. И читатели были введены в некоторое заблуждение.

Да, иногда делал это резко и в тоне, который не нравился администрации. Это шоковая терапия :)

Вы ничего не ответили по поводу того, какую аргументацию используют другие вендоры. И почему они при этом не являются лузерами. Хотя по Вашей логике должны бы.

Может быть, Вы тоже сейчас развлекаетесь, так же, как и я пару лет назад под ником.

А я начал двигаться в другом направлении в последнее время. В направлении объективной оценки тестирований вне зависимости от результата и конструктивной их критики. В Вашем же сообщении нет ответа на мои аргументы. Лишь ссылка на историю моих сообщений. Красивый увод дискуссии в сторону, ничего не скажешь.

На всякий случай.

Цитата

Цитата(AlexxSun @ 25.11.2009, 11:33)

Мне было бы интересно узнать какой была бы атмосфера обсуждения теста, если бы DrWeb случайно оказался победителем теста?

Цитата(Valery Ledovskoy @ 26.11.2009, 9:42)

Ровно такой же. Наверное, Вы плохо читали мои рассуждения по поводу теста на активное заражение. 100%-ый результат ничем не помогает вендору. Тема остаётся нераскрытой. А пользователя такая информация вводит в заблуждение. Что привело меня к таким выводам, повторять не буду, ибо dr_dizel устанет читать.

Здесь я имел в виду настоящее время.

невзирая при этом на лица, должности и былые заслуги smile.gif

У меня хорошие отношения с авторами тестов на АМ. Но это не значит, что они должны вечно почивать на лаврах. Думаю, это им даже вредит :)

У любого тестирования должны быть оппоненты для того, чтобы существовал прогресс. И плохо, что только я здесь этим активно занимаюсь.

Это на самом деле большой минус. Мне не хочется делать из себя некоторого изгоя. Но я могу либо писать то, что думаю на данный момент, либо вообще не писать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
У любого тестирования должны быть оппоненты для того, чтобы существовал прогресс. И плохо, что только я здесь этим активно занимаюсь.

Это на самом деле большой минус. Мне не хочется делать из себя некоторого изгоя. Но я могу либо писать то, что думаю на данный момент, либо вообще не писать.

Ну-ну, не надо... Я такой же оппонент методологий, как и ты. После каждого тестирования я пишу свои замечания, причем как раз для того, чтобы тест в следующий раз был бы лучше. Ты не один такой :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

sww, ух, глоток свежего воздуха :) Может, тогда будет получаться что-то интересное :) А то как-то совсем скучно стало.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Это Вы так решили?

FLY-CODE - это эвристик, который работает не по сигнатурным базам. Однозначно. В этой технологии упор делается на алгоритмы, реализованные в движке, и эти алгоритмы уж очень далеко и от классических сигнатур и даже от их современного понимания.

Тогда с чего вы решили, что по текущей методологии он не учитывается? оО

Перечислите, что именно учитывается, если эвристик в любых ипостасях не учитывается. Что-нибудь ещё, кроме HIPS?

А вот для того что бы перечислять, я и хотел бы устаканить определение "эвристики" (что я пытался сделать выше - безуспешно)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Сцылко-то где? А то коня в яблоках обсуждаем.

Да запросто. Вот только вы мне так и не ответили где там этот зеродей в семплах теста?

lingvo.yandex.ru/en?text=new+malware+threats&st_translate=on

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман

Думаю, что было бы правильней на англоязычной версии портала в итоговой таблице отчета о тестировании указать результат каждого из продуктов. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×