Итоги апрельского теста журнала C'T

[Виталий Я. 859]

На Security@Interop - событии, совершенно незаслуженно обойденном вниманием портала, можно было взять пилотный (апрельский) номер журнала C'T-Россия, что я с радостью сделал. Теперь он ходит по рукам всей компании

Нашлось в C'T очень интересное и вдумчивое сравнительное тестирование 15 антивирусных программ. Руки дошли наконец до "обработки" этого очень "вкусного" контента. Приведу здесь только вводную часть про методологию и выводы. Это-то и есть тот самый будет комплексный анализ, на основании которых в последнее время модно (а теперь и можно) ругать или хвалить продукты разных вендоров.

Считаю, что для команды нового журнала о компьютерной технике проведение настолько комплексного теста - это большая заявка на лидерство, ведь тесты не хуже тех, что проводит Нейл Рубенкинг из PC Magazine. Теперь есть что почитать и в России - сделанное руками тестирование, человеческим языком описанное и беспристрастно поданное, что вместе является "фишкой" C'T. Настоятельно рекомендуется Сергею Ильину перенять

Понравились мне и слова главреда про аудиторию и миссию журнала:

Мы не занимаемся ерундой. Мы делаем самый профессиональный компьютерный журнал в России ...для тех, кому нужна честная и правдивая информация.

Респект Павлу Шошину, автору обзора, и главреду Андрею Кокоурову, перешедшим из CHIPа. У меня раньше не было такой уверенности в их профессионализме, но, как оказалось, в CHIPе все решал формат "easy reading", на который в последнее время слишком многие СМИ и тестлабы давят.

В общем, дифирамбы журналу я отпел, можно переходить ко чтению.

Большая охота

Трояны, шпионское ПО, боты — здесь вроде бы все по-прежнему, но, тем не менее, уже по-другому: каждый час вирусный «зоопарк» антивирусных лабораторий пополняют более тысячи новичков. И судя по результатам тестирования 15 антивирусных программ, все большая часть из них проскальзывает сквозь антивирусную защиту.

Наряду с корифеями антивирусной отрасли наше тестирование прошли и некоторые экзотические программы: Avast Antivirus Pro, AVG Anti-Malware, Avira AntiVir Personal Edition Premium, BitDefender, CA Antivirus Plus, ClamWin, Dr.Web, F-Secure Antivirus, McAfee VirusScan, Microsoft OneCare, и Trend Micro Antivirus + Antispyware.

Основным механизмом обнаружения вредоносных программ по-прежнему остается поиск файлов по известным цепочкам символов. Качество такого сигнатурного распознавания определяется проверкой набора ITW-вирусов (от англ. In The Wild - вирусы, представляющие реальную опасность для пользователей на момент тестирования). Однако такой подход не стал доминирующим хотя бы потому, что в нем совершенно не представлен самый активный на данный момент класс вредоносных программ — трояны. Кроме того, этот перечень вирусов пополняется не так часто, постоянно устаревает, да и сам список, состоящий примерно из 1400 экземпляров, слишком мал. Поэтому ITW-тестирование в данном случае проводилось только ради полноты эксперимента, и его результаты не учитывались при подведении итогов.

Тот факт, что Avast! и «Антивирус Касперского» показали себя не самым лучшим образом, хотя при сканировании по требованию все вирусы из ITW-набора были обнаружены, а на лету оба пакета пропустили по одному файлу, что свидетельствует о проблемах, связанных с качеством сканирования. А вот ClamWin и Dr.Web допустили более существенные промахи, пропустив 25 и 7 вирусов соответственно.

В случае нашего собственного тестирования антивирусные программы должны были произвести проверку базы вирусов, насчитывающей более миллиона червей, бэкдоров, ботов и троянов. При этом использовались только те вредоносные коды, которые действительно были активны за прошедшие полгода; вымершие динозавры времен DOS и Windows 95 не учитывались.

При тестировании желательно было получить наиболее высокий процент распознавания, однако мы понимали, что ни один из способов сканирования не сможет выявить абсолютно все вирусы. В частности, продукт Avira приблизился к идеалу с впечатляющим результатом — свыше 99% распознавания. Результат в 95%, необходимый для положительной оценки, получили еще три продукта: Avast!, AVG и BitDefender. Кроме ClamWin и Dr.Web, которые, как уже упоминалось, не очень хорошо показали себя в этом тестировании, слабо выглядел CA Antivirus с результатом 55% - явно недостаточно для надежной защиты.

Неплохие результаты были получены при выявлении рекламного и шпионского ПО, тестовая база которого насчитывала 25 000 программ. Если раньше для борьбы с ним нужны были специальные антишпионские утилиты, то сейчас разработчики включают в сигнатуры данные и этой категории вредоносного ПО. Мы не ошиблись, термин «вредоносное» здесь вполне уместен: утилиты, способные выуживать секретные сведения или составлять списки интересов пользователей и пересылать их по сети, вполне заслуживают такого звания. Кстати говоря, программы, хорошо справившиеся с вирусным «зоопарком», отлично проявили себя и в испытаниях с обнаружением шпионского ПО. Неудачно выступили в этом тесте CA Antivirus и Norton Antivirus.

Положительным моментом в общей картине оказалось то, что разработчики повысили частоту обновления ПО, а также скорость реагирования на новые вирусные угрозы. В этом отношении лидируют Softwin и «Антивирус Касперского». Лишь пользователи CA Antivirus, McAfee и Microsoft вынуждены ждать обновленных сигнатур в среднем более 12 часов по сравнению с самым быстрым конкурентом. А вот обновления у Microsoft One Care запаздывали даже более чем на сутки.

Мне видно то, чего не видишь ты

Причину того, что хороших результатов сигнатурного распознавания, а также коротких интервалов между обновлениями недостаточно для того, чтобы надежно защитить компьютер, можно показать с помощью несложного расчета. Допустим, разработчик успеет в течение часа после появления новой троянской программы создать необходимые сигнатуры, проверить их и разослать своим клиентам. Однако в это время происходит распространение вредоносного ПО через сеть ботов с использованием около 10 000 активных компьютеров-зомби. Каждый из них в течение трех секунд может отправить сообщение по электронной почте (то есть более тысячи в час). В результате владелец сети ботов успеет охватить около 10 миллионов своих жертв еще до того, как появится первая сигнатура. Конечно, некоторые цифры можно оспорить, но общий принцип ясен: в случае эпидемии сигнатуры всегда запаздывают.

Для создания программ, способных обнаружить неизвестных ранее вредителей, разработчики стали использовать эвристические методы. Они позволяют, в частности, выявлять типичные последовательности кодов или выдавать предупреждения, если проверяемая программа пытается загрузить в память резидентный модуль.

Проверяемое нами антивирусное ПО должно было при помощи старых сигнатур обнаружить новые вирусы.

Тестирование поведенческого анализатора

Поведенческий анализ (проактивная защита) отличается от сигнатурного и эвристического методов, служащих только для распознавания самих вредоносных файлов. Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур. При запуске вирус должен каждый раз попадать в то же самое окружение, а также, к примеру, иметь возможность загружать из сети свои компоненты, несмотря на то что соответствующе серверы к моменту тестирования могли прекратить свое существование.

В ходе самого тестирования вирусу дают возможность сработать и наблюдают за его поведением, а также за тем, как ведет себя антивирусная программа. Если защита предлагает прервать работу, то тестирование прекращается. После этого проверяют, успел ли вирус внедриться и нанести ущерб, или его атака была успешно отражена, а открытые файлы и регистрационные ключи удалены.

В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF). При оценке программа получала одно очко, если в итоге компьютер не подвергся заражению, то есть вирус не смог инсталлировать выполняемые компоненты. Если антивирусному ПО удавалось, что система при очередном запуске не была заражена, то антивирус получал пол-очка.

Метод распознавания по поведению подвержен сбоям, в особенности если его используют только для выдачи сообщений об определенных действиях, которые случаются и при нормальной работе. Поэтому на основе инсталляции и актуализации десяти стандартных программ типа ICQ, Winamp или Microsoft Office мы проверили также долю ложных срабатываний.

Спасительный якорь

Тот факт, что сигнатурные методы распознавания не обеспечивают надежной защиты, а эвристический анализ не обладает высокой надежностью, известен уже несколько лет. Решение этой проблемы также известно: при наблюдении за системой антивирус должен распознавать и ранее неизвестные вредоносные программы по их поведению. При увеличении подозрительной активности он предупреждает пользователя и предлагает остановить задачи, которые могут нанести вред компьютеру, или даже отменить некоторые ранее совершенные операции. Эта функция под названием «Проактивная защита» (Proactive Guard, поведенческий анализатор, может также носить название Behavioural Blocker) также встречается в описании многих программных продуктов.

Проведенное нами тестирование показало, скорее, разочаровывающие результаты. Хорошо себя проявил лишь F-Secure Deepguard компании F-Secure, который распознал все 12 «вредителей», причем в большинстве случаев ему удалось воспрепятствовать заражению компьютера. Помимо него обнаружить вредоносные программы по их поведению удалось также Антивирусу Касперского и программе BitDefender. Однако полностью воспрепятствовать заражению системы не смогли и они.

Компании-разработчики McAfee, Norton, Microsoft, а также Trend Micro идут по пути наименьшего сопротивления и предлагают оценивать поведение подозрительных программ самим пользователям. При использовании антивирусов этих производителей вы не раз столкнетесь с сообщениями, которые часто встречались на заре программных брандмауэров: «Программа XYZ хочет выполнить некоторое действие — вы хотите это разрешить?». Загвоздка заключается в следующем: подобные сообщения практически всегда относятся к отдельным действиям, таким как добавление пункта автозапуска в реестр. Даже если пользователь запретит это действие, вирус еще не будет обезврежен; некоторые его компоненты по-прежнему могут оставаться активны. К тому же подобные предупреждения зачастую появляются при установке безобидных программ. Хорошо замаскированный под видеокодек, троян подобным образом вряд ли удастся обнаружить, так как пользователь сам хочет установить эту программу на свой компьютер.

Эти результаты подтверждают и наши эксперименты с простыми, созданных из существующих фрагментов кода, кейлоггерами, которые незаметно для пользователя сохраняют вводимые с клавиатуры данные. Один из кейлоггеров был добавлен в реестр как пункт автозагрузки, другой был установлен как драйвер ядра, третий как служба, а последний дополнительно установил соединение с IRC-сервером. В этом случае приемлемые результаты показали лишь программы компаний F-Secure, BitDefender и Лаборатории Касперского. F-Secure распознала все кейлоггеры как приложения с высоким уровнем опасности, что было отражено в виде рейтинга. Антивирус Касперского сообщил об установке подозрительных драйверов, заметил создание новых файлов и их регистрацию в качества пункта автозагрузки и в качестве службы. Программа B-Have компании BitDefender распознала по поведению все кейлоггеры за исключением фальшивого драйвера ядра.

Программы компаний McAfee и Trend Micro зафиксировали лишь изменения реестра, произведенные первым кейлоггером. У NOD32 и OneCare эвристический анализ позволил обнаружить только первый кейлоггер, вносивший данные в ветвь реестра, отвечающую за автозагрузку. Другим антивирусам и вовсе не удалось ничего обнаружить.

Игра в прятки

Хотя все больше вирусов используют методы руткитов, чтобы скрыть свое присутствие в системе, лишь немногие антивирусные программы готовы к этому в достаточной мере. Лишь программам от F-Secure, Norton и Panda в ходе тестирования удалось обнаружить и удалить все активные руткиты, хотя нами использовались лишь широко известные и доступные образцы. То, что AVG распознает только неактивные руткиты, никак нельзя отнести ей в актив, даже учитывая тот факт, что в программе имеется отдельный модуль для поиска руткитов. Программам ClamWin, Dr.Web, McAfee и OneCare компании Microsoft также практически нечего противопоставить данному типу угроз.

При подозрении на атаку руткитов особое значение приобретает загрузочный аварийный диск, благодаря которому можно просканировать систему не загружая ее. Однако на таких дисках по-прежнему экономят многие производители. А если и не экономят, то явно халтурят: с диска Symantec, как и раньше, загружается DOS с антивирусным сканером сигнатуры которого датированы 2002 годом, а Panda предлагает загрузочный диск на базе Linux, обеспечивающий доступ к разделам диска формата NTFS только в режиме чтения.

Другой способ, используемый для обмана антивирусных сканеров, заключается в использовании архивных файлов, которые те не могут открыть. При этом злоумышленники изменяют права доступа к содержимому, например, в ZIP-архива, таким образом, чтобы антивирусный сканер не смог его открыть, а с помощью утилит, устанавливаемых на компьютер, сделать это было бы можно. Таким образом, вирус может остаться незамеченным при проверке на почтовом шлюзе.

Устойчивость отдельных антивирусов к подобным методам маскировки мы проверили в ходе тестирования с помощью 28 специально подготовленных архивных файлов в формате .rar, .zip и .cab. Их можно было открыть с помощью стандартных программ, таких как интегрированный в Windows ZIP, WinZIP, WinRar или 7zip. Однако только F-Secure обнаружил скрытые вирусы во всех модифицированных архивах.

Подобным образом можно сделать незаметным для антивирусов и вредоносный код, использующий дыры в безопасности браузеров. Уже давно известно, что Internet Explorer полностью игнорирует некоторые элементы кода HTML-страниц. Так, например, злоумышленник может наполнить свой эксплоит нулевыми байтами, чтобы он отличался от образцов в базе данных антивируса. Уловка с добавлением нулевых байтов проходила на всех антивирусах, за исключением BitDefender. Другие программы выдавали предупреждения, однако эксплоитам удавалось сбить их с толку.

Vista и антивирусы

Все тесты проводились на компьютерах с операционной системой Windows Vista. Это не вызывало каких-либо затруднений, так как большинство производителей уже адаптировали для нее свои программы.

Лишь новая модель прав может создать некоторые проблемы из-за того, что антивирусный сканер для полного сканирования системы должен получить необходимые для права, используя функцию контроля учетных записей (UAC). Так, программы AVG и CA Anti-Virus необходимо запускать вручную от имени администратора, чтобы получить возможность проверки абсолютно всех файлов. В противном случае антивирусный сканер просто пропустит папки других пользователей. С антивирусом F-Secure все еще сложнее — программа игнорирует чужие папки даже при наличии необходимых прав. Такую папку можно просканировать только в том случае, если перейти в нее и разрешить действие в появившемся окне контроля учетных записей. При использовании Avast и Dr.Web для выполнения специальных операций пользователь должен ввести пароль администратора при использовании ограниченной учетной записи.

Дополнительно мы протестировали программные продукты на компьютерах с операционной системой Windows XP. При этом мы не обнаружили практически никаких отличий между результатами работы антивирусов в Vista и в XP. Правда, необходимо принимать во внимание, что при использовании специфических функций, таких как проактивная защита и поиск руткитов, на компьютерах с Windows XP в отдельных случаях можно получать другие результаты.

Всего понемногу

Чтобы определить, насколько антивирус замедляет работу компьютера, нами были проведены два теста: вначале программа должна была проверить на наличие вирусов порядка 8000 файлов общим объемом 741 Мбайт. Для оценки работы антивируса при сканировании «на лету», мы также осуществляли копирование файлов на локальном жестком диске, что при отсутствии антивируса занимает 47 секунд.

Высокую скорость работы показал NOD32; такие программы как Avast!, AVG, Antivir, OneCare, Norton, Panda и TrendMicro также не очень сильно тормозили систему. Значительно худшие результаты показала F-Secure, которая при наличии четырех антивирусных движков значительно замедляла работу, а также «Антивирус Касперского», при использовании которого существенно увеличивалось время ожидания при копировании папок с файлами.

Большинство антивирусов незаметно следят за работой почтовых программ и сканируют входящие, а также исходящие сообщения. Наличие этой функции не должно являться решающим фактором при антивирусного ПО, ведь даже если она отсутствует, то программа все равно выдаст предупреждение при попытке открыть или сохранить вложенный файл. К тому же антивирус все равно окажется бессильным при использовании зашифрованного соединения.

Серьезной проблемой может стать недостаточно высокое качество исходного кода антивирусных программ. В 2007 году практически у всех известных антивирусных продуктов были обнаружены критические дыры в безопасности, которые ставят под сомнение надежность всей сферы антивирусного программного обеспечения. Для нашего теста мы задали производителям вопрос относительно принимаемых ими мер по повышению безопасности программных продуктов. Немногочисленные ответы не удалось оценить в полной мере, да и проверить их на предмет соответствия действительности также невозможно. Поэтому данный вопрос все еще остается открытым.

Оценки каждому продукту, также приведенную в статье, не планирую публиковать, зато можно оценить сводную таблицу и выводы по ходу статьи.

Вывод

NOD32 оказался единственным из участников тестирования, которому удалось обнаружить более двух третей новых вредоносных программ; на втором месте расположился BitDefender с результатом 41%, а остальные антивирусы распознавали лишь каждую третью угрозу или даже меньше. В данном случае едва ли можно вести речь о надежной защите компьютера. Столь низкие результаты можно объяснить тем, что разработчики вредоносного ПО стали уделять больше внимания оптимизации своих творений. Особую тревогу вызывает то обстоятельство, что антивирусам в ходе тестирования не удавалось обнаружить некоторые вирусы, которые они успешно находили еще год назад.

Решением этой проблемы может стать поведенческое распознавание вредоносных программ, которое, правда, на данный момент хорошо реализовано только в программе Anti-Virus 2008 компании F-Secure. В сложившейся ситуации рекомендовать тот или иной продукт достаточно сложно, так как ни одна программа не показала превосходных результатов и, следовательно, не может гарантировать безопасность вашего компьютера. Антивирус компании F-Secure не лучшим образом показал себя при поиске шпионских модулей и очень требователен к системным ресурсам. Разумным компромиссом является программа BitDefender, также не отличающаяся высокой скоростью работы, но вместе с тем показавшая хорошие результаты эвристического анализа, распознавшая почти все руткиты и имеющая хорошие перспективы в области поведенческого анализа. Одно из немногих замечаний этой программе заключается в большом количестве ложных срабатываний.

Пользователи, ставящие во главу угла высокую производительность, либо отдадут предпочтение программе Avira, либо закроют глаза на результаты сигнатурного анализа, и будут использовать NOD32, который, благодаря высокой эффективности эвристического анализа, способен защитить компьютер от многих неизвестных вирусов. Avast и AVG также показали очень хорошие результаты сигнатурного анализа. За ними следует целый ряд продуктов, которым еще предстоит избавиться от различных специфических проблем. Самые худшие результаты показали CE Anti-Virus Plus, который провалил почти все тесты, а также ClamWin, не претендующий на конкуренцию с другими участниками. Программам Dr.Web и McAfee также можно найти лучшую альтернативу.

Начинающим пользователям можно посоветовать Norton Antivirus, а если смириться с некоторыми недостатками, то и Windows OneCare. Принимая во внимание тот факт, что коммерческие продукты не показали высоких результатов, некоторые пользователи наверняка предпочтут сэкономить деньги и воспользоваться бесплатной программой. Следует учитывать, что в бесплатных версиях антивирусов Avira и AVG отсутствует функция поиска шпионского ПО, что обязательно необходимо компенсировать установкой дополнительной антишпионской программы. Интегрированная в Vista программа Windows Defender повышает распознавание программ-шпионов лишь до уровня Norton Antivirus. На другие ограничения, такие как отсутствие функции проверки электронной почты, при необходимости можно закрыть глаза. Программа Avast, также являющаяся бесплатной, подойдет не каждому в силу непривычного интерфейса.

В частности, этот обзор по-иному показывает эшелонирование "чистых" антивирусов, нежели это представляет Anti-Malware.ru.

В моей трактовке, судя по сводной таблице и описанию качественных/количественных показателей в тестах, складывается такая картина:

1 эшелон - BitDefender, Avira, F-Secure

2 эшелон - NOD32, AVG, Avast!, KAV 7, Trend Micro, Panda 2008

3 эшелон - Norton AV 2008, McAfee AV 2008, Dr. Web 4.44, MS OneCare

4 эшелон - CA, ClamWin

Ну что, какие мнения будут у общественности?

[Александр Шабанов 120]

Статья в целом неплохая, но я не вижу самого главного - где итоговые выводы?

В комплексной оценке самое главное покрытие (где лечение?) и итоговая свертка, что на самом деле является очень и очень нетривиальной задачей, ни того ни другого я в данном тесте не увидел к сожалению.

Посему, по-моему мнению на комплексную оценку он не претендует, так как наиболее сложные задачи не были решены, а для журнала неплохо, соглашусь

А где Agnitum?

[Deja_Vu 366]

Не плохая статья, но действительно, никаких итогов -((

Хотя меня смущает результаты эвристического обнаружения у авиры и версии некоторых программ, например KAV (ну очень смущает)

[Виталий Я. 859]

Статья в целом неплохая, но я не вижу самого главного - где итоговые выводы?

В комплексной оценке самое главное покрытие (где лечение?) и итоговая свертка, что на самом деле является очень и очень нетривиальной задачей, ни того ни другого я в данном тесте не увидел к сожалению.

Посему, по-моему мнению на комплексную оценку он не претендует, так как наиболее сложные задачи не были решены, а для журнала неплохо, соглашусь

А где Agnitum?

Тест поведенческого блокиратора - это не менее важно и сложно, чем сигнатурное лечение, т.к. хороший драйвер еще и позволяет ставиться на зараженные машины и лечить их (речь про Outpost). Вообще журнал первым в России взял на себя смелость его тестировать, хотя портал так и не взялся.

К комплексной оценке лечения и самозащиты, я уверен, в C'T еще перейдут. Качественно оценены входные данные, причем БЕЗ дутых рейтингов-сверток. Итоговая развертка позволяет профессионалу выбрать по многим параметрам, а не "юзеру-чайнику" радостно ткнуть в "наградку".

Компания Agnitum на момент проведения тестов (полагаю, что февраль - ну или никак не позже начала марта, т.к. там скрины февральские частят) не была игроком рынка отдельных антивирусов.

[Александр Шабанов 120]

Качественно оценены входные данные, причем БЕЗ дутых рейтингов-сверток. Итоговая развертка позволяет профессионалу выбрать по многим параметрам, а не "юзеру-чайнику" радостно ткнуть в "наградку".

Виталий, я так понимаю Вы профессионал, объясните мне пожалуйста "юзеру-чайнику" как Вы сделали вот эти выводы на основе полученных "качественных" оценок, которые тоже лично мне не понятно как определялись:

1 эшелон - BitDefender, Avira, F-Secure

2 эшелон - NOD32, AVG, Avast!, KAV 7, Trend Micro, Panda 2008

3 эшелон - Norton AV 2008, McAfee AV 2008, Dr. Web 4.44, MS OneCare

4 эшелон - CA, ClamWin

Странно Вы рассуждаете Виталий, относительно нашего портала говорите по факту:

Вообще журнал первым в России взял на себя смелость его тестировать, хотя портал так и не взялся.

А относительно журнала со взглядом на будущее:

К комплексной оценке лечения и самозащиты, я уверен, в C'T еще перейдут

С чего Вы взяли, что у нас не будет теста на поведенческий блокиратор?

P.S. Я не давлю, просто хочу разобраться, может я чего не понимаю...

[Dexter 20]

Наряду с корифеями антивирусной отрасли наше тестирование прошли и некоторые экзотические программы: Avast Antivirus Pro, AVG Anti-Malware, Avira AntiVir Personal Edition Premium, BitDefender, CA Antivirus Plus, ClamWin, Dr.Web, F-Secure Antivirus, McAfee VirusScan, Microsoft OneCare, и Trend Micro Antivirus + Antispyware.

На этом чтение закончил.

Э-э, а кто корифеи?

Методом исключения обнаружил каспера, нода, панду и симантека?

Задолбали такие изирид статьи.

[Виталий Я. 859]

На этом чтение закончил.

Э-э, а кто корифеи?

Методом исключения обнаружил каспера, нода, панду и симантека?

Задолбали такие изирид статьи.

ИМХО, они выразились неудачно, просто перечислив всех. =)

Виталий, я так понимаю Вы профессионал, объясните мне пожалуйста "юзеру-чайнику" как Вы сделали вот эти выводы на основе полученных "качественных" оценок, которые тоже лично мне не понятно как определялись:

Что Вы, я - просто чайник, вон я для себя даже рейтинг составил - мне так удобнее.

А профи - пусть по таблице с параметрами выбирают.

С чего Вы взяли, что у нас не будет теста на поведенческий блокиратор?

У вас его до сих пор не было. Только и всего. Констатация факта.

Зато были утверждения Вашего партнера, что коллекция проведенных тестов уже достаточна для комплексной оценки и разделения по "эшелонам" антивирусных продуктов.

[vaber 350]

Несколько моментов:

"В случае нашего собственного тестирования антивирусные программы должны были произвести проверку базы вирусов, насчитывающей более миллиона червей, бэкдоров, ботов и троянов. При этом использовались только те вредоносные коды, которые действительно были активны за прошедшие полгода; вымершие динозавры времен DOS и Windows 95 не учитывались."

1) Где автор взял такую коллекцию свежего вирья? (все они активны были в последние полгода).

2) Были ли какие-либо проверки на чистоту коллекции - может там половина кейгенов?

3) DOS-кие вирусы не учитывались - стало быть они были в коллекции, но при подсчете резулдьтаты по ним не учитывались? А как же пункт 1)? В общем нипанятна

"Неплохие результаты были получены при выявлении рекламного и шпионского ПО, тестовая база которого насчитывала 25 000 программ."

1) По чьей классификации определялась шпион или же троян? Один вендор может добавить малварь как спая, другой - как трояна.

"Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур." и "В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF)."

1) Почему выбраны именно эти самплы?

2) Почему в таблице в пункте обнаружения по поведению отмечены результаты сигнатурного детекта, если в самой статье автор писал что все 12 самплов не детектировались сигнатурно всеми участниками теста.

"Эти результаты подтверждают и наши эксперименты с простыми, созданных из существующих фрагментов кода, кейлоггерами, которые незаметно для пользователя сохраняют вводимые с клавиатуры данные...."

1) Какой смысл тестировать антивирусы и кейлоггеры, устанавливая последние? Установка кейлоггера чем-то принципиально отличается от установки обычной тронской программы?? (говорю об ITW).

"Хотя все больше вирусов используют методы руткитов, чтобы скрыть свое присутствие в системе, лишь немногие антивирусные программы готовы к этому в достаточной мере. Лишь программам от F-Secure, Norton и Panda в ходе тестирования удалось обнаружить и удалить все активные руткиты, хотя нами использовались лишь широко известные и доступные образцы. То, что AVG распознает только неактивные руткиты, никак нельзя отнести ей в актив, даже учитывая тот факт, что в программе имеется отдельный модуль для поиска руткитов. Программам ClamWin, Dr.Web, McAfee и OneCare компании Microsoft также практически нечего противопоставить данному типу угроз."

1) Какие руткиты использовались?

2) Результаты в таблице: как антивирус (в данном случае авира) может детектировать 4 неактивных руткита, и при этом смогла удалить только 3? ) То есть - как минимум 1 просто лежащий файл она не смогла удалить? Патешна

Это возникшие вопросы по ходу чтения.

В общем мое мнение - это тест несерьезный. Да, возможно, для журнала он подходит. Но если, Виталий Я, Вы предлагаете что-то перенимать нам, как тестовой лаборатории из этого теста, тут я с Вами не соглашусь. Тест затрагшивает много аспектов проверки качества защиты, но выполнен он нелогично и некачественно.

Методики совершенно нету.

З.Ы. Где в голосовании пункт " Отвратительно" ? )

[Dexter 20]

ИМХО, они выразились неудачно, просто перечислив всех. =)

Это уже не важно.

Пейсатель отметился.

ИМХО, в таких "легких" статьях не надо акцентировать внимание на то, кто лудший, а кто хучший, а нужно просто объяснять людям, что вот здесь так, а там эдак, но вам, уважаемые читатели, в любом случае лучше поставить любой антивирус, и будет вам и всем другим от этого щастье.

Такие статьи обычно пишутся непонимающими для совершенно непонимающих, радуют тех, кто участвует в бета-тестированиях и замечает, что вместо "а" написано "о", бесполезны для понимающих, поскольку те никогда не смогут определиться с понятиями "лучше-хуже" и посему статьи эти имеют только сугубо"джинсовый" смысл. А этого не хочется. Нужно просто объяснять людям, что сегодня любой антивирус и т.п. им нужен.

З.Ы. Где в голосовании пункт " Отвратительно" ?

Вручную, в топике.

[Виталий Я. 859]

ИМХО, в таких "легких" статьях не надо акцентировать внимание на то, кто лудший, а кто хучший, а нужно просто объяснять людям, что вот здесь так, а там эдак, но вам, уважаемые читатели, в любом случае лучше поставить любой антивирус, и будет вам и всем другим от этого щастье.

Такие статьи обычно пишутся непонимающими для совершенно непонимающих, радуют тех, кто участвует в бета-тестированиях и замечает, что вместо "а" написано "о", бесполезны для понимающих, поскольку те никогда не смогут определиться с понятиями "лучше-хуже" и посему статьи эти имеют только сугубо"джинсовый" смысл. А этого не хочется. Нужно просто объяснять людям, что сегодня любой антивирус и т.п. им нужен.

Не, погодите, там есть анти-рекомендации:

Самые худшие результаты показали CE Anti-Virus Plus, который провалил почти все тесты, а также ClamWin, не претендующий на конкуренцию с другими участниками. Программам Dr.Web и McAfee также можно найти лучшую альтернативу.

Сейчас файло 2008_04_antivirus_test.doc повесил с полным текстом (будут баги - сорри, вычитка была в Ворде по F7), но в выводах сразу было написано, что:

NOD32 оказался единственным из участников тестирования, которому удалось обнаружить более двух третей новых вредоносных программ; на втором месте расположился BitDefender с результатом 41%, а остальные антивирусы распознавали лишь каждую третью угрозу или даже меньше. В данном случае едва ли можно вести речь о надежной защите компьютера. Столь низкие результаты можно объяснить тем, что разработчики вредоносного ПО стали уделять больше внимания оптимизации своих творений. Особую тревогу вызывает то обстоятельство, что антивирусам в ходе тестирования не удавалось обнаружить некоторые вирусы, которые они успешно находили еще год назад.

Суммарный детект всей дряни не превысил 60% у Нода и 40 у БитДефа. Т.е. на большинстве подборок все завалились.

2008_04_antivirus_test.doc

[Илья Рабинович 521]

Тест (как и признаёт Виталий), получился в стиле Нейла Рубенкинга- отвратительным. Ни развёрнутой методологии, ни характеристик ITW-зловредов, ни параметров их выбора, ни подробных отчётов- всё закрыто и опечатано семью печатями. Только общие слова. В общем- тест для домохозяек.

[zanuda 35]

1) Где автор взял такую коллекцию свежего вирья? (все они активны были в последние полгода).

Насчет мильона свежих зловредов выпущенных в последние полгода - это очень круто. Похоже автор запутался в рассчетах. :-)

1) По чьей классификации определялась шпион или же троян? Один вендор может добавить малварь как спая, другой - как трояна.

А какая разница? Юзеру и то и другое вред.

"Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур." и "В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF)."

1) Почему выбраны именно эти самплы?

Могу предположить, их было проще исследовать :-), например наличие инсталлеров имено для этих зловредов.

Может, Вы ищете попытку подтасовать результаты?

1) Какой смысл тестировать антивирусы и кейлоггеры, устанавливая последние? Установка кейлоггера чем-то принципиально отличается от установки обычной тронской программы?? (говорю об ITW).

У них задачи разные и поведение в системе будет разным, уважаемый эксперт.

Это возникшие вопросы по ходу чтения.

В общем мое мнение - это тест несерьезный. Да, возможно, для журнала он подходит. Но если, Виталий Я, Вы предлагаете что-то перенимать нам, как тестовой лаборатории из этого теста, тут я с Вами не соглашусь. Тест затрагивает много аспектов проверки качества защиты, но выполнен он нелогично и некачественно.

Методики совершенно нету.

Сударь, кажется, Вы придираетесь :-) Дайте линки на статьи какого-либо печатного издания где сделано больше?

Похоже автор статьи уже сделал те тесты, которые здешний портал еще и не начинал :-)

Печалит отсутствие новых версий продуктов. Но охват проверенного функционала весьма приличный.

И походу дела даже нашел концептуальные дырки продуктов и свел их в таблицу :-)

Я думаю, недостаток информации в статье ограничен печатной площадью. Интересно, есть электронная/расширенная версия этого сравнения?

А насчет детализации, к сожалению, здешние тесты страдают тем же недостатком, выводы есть, а обнаруженных фактов и методик тестирования маловато. Даже номера билдов продуктов нет :-) Может надо приобрести полную версию?

[vaber 350]

А какая разница? Юзеру и то и другое вред.

Суть не в этом, а в том, что данный тест со спаями шел как отдельный подтест. А поскольку каждый вендор под шпионом понимает свое (вердикты могут быть совершенно различные), то и в коллекции в 25к штук может находится что угодно. Поэтому не стоит разделять тесты на общий детект и детект конкретно спаев и рекламных программ.

Могу предположить, их было проще исследовать :-), например наличие инсталлеров имено для этих зловредов.

Может, Вы ищете попытку подтасовать результаты?

Тогда смысла в тесте таком нету, коль берутся на обум. Один раз взял, что не детектится - один результат, взял потом другой набор не детектируемых самплов - другой результат.

У них задачи разные и поведение в системе будет разным, уважаемый эксперт.

От спасибо, что просвятили, но я речь вел об инсталляции кейлоггера, а не отличии его работы от других вредоносных программ.

Сударь, кажется, Вы придираетесь :-) Дайте линки на статьи какого-либо печатного издания где сделано больше?

Я печатными не интересуюсь, да и я писал выше, если Вы внимательно читали, что для журнала этот "тест" вполне сойдет.

[Мальцев Тимофей 74]

Виталий Я., Вы так умильно рассказываете об этом тесте.

Подскажите, Вы и правда считаете его высокопрофессиональным?

[Umnik 997]

Я взял на себя смелость отправить ссылку на топик главному редактору.

[Виталий Я. 859]

Виталий Я., Вы так умильно рассказываете об этом тесте.

Подскажите, Вы и правда считаете его высокопрофессиональным?

С какой целью интересуетесь? Из регулярно проводимых профессиональных тестов я лично признаю только тесты Matousec.com и, вероятно, еще ICSA Labs. Остальные имеют ряд технологических недостатков, больше ориентированы на маркетинг (если говорить о так называемых "отраслевых стандартах") или желание подтвердить статус своего любимого продукта и "потоптать" нелюбимые (это в большей мере относится к журналистским тестам).

Я считаю, что обсуждаемый тест содержит больше информации для размышления, чем пиара или антипиара продуктов, в отличие от любителей "рейтинговать". Поэтому и привлекаю к нему внимание. "Рейтинг", заметьте, для любителей расставлять все по строчкам, я составил.

[Илья Рабинович 521]

желание подтвердить статус своего любимого продукта и "потоптать" нелюбимые (это в большей мере относится к журналистским тестам).

На самом деле, из собственного опыта общения с журналистами, я вынес одну немаловажный вывод- журналисты очень любят решать за своих читателей, не уважают их вообще (я знаю, что многие запросы моих пользователей на тестирование моей проги были просто тупо проигнорированы, в том числе и немецким c'T), не любят предоставлять им альтернативные/инновационные варианты решения проблем. Поэтому- стандартные закрытые методологии, кочующие из журнала в журнал, повальное игнорирование инноваций, если только они не исходят от крупных вендоров, и один в один участники тестирований- ни одного нового персонажа за долгие годы (лет за восемь точно). Неудивительно, что люди перестают читать печатную компьютерную прессу и уходят на блоги- скучно. Очень скучно.

[Виталий Я. 859]

Илья Рабинович

может, Вам лучше с пиарщиками поработать, если не удается пробиться в журналы, или предлагать примеры текстов? Насчет новых участников тестирований - вот посмотрим, насколько Outpost Antivirus проявится в новых тестах. Полгода прошло, прежде чем OSS появился, а чистый АВ, надеюсь, раньше. Что касается вашей ниши HIPS, то сложно сказать, насколько все-таки он end-userский продукт. Скорее, нет и еще раз нет.

[Илья Рабинович 521]

может, Вам лучше с пиарщиками поработать, если не удается пробиться в журналы, или предлагать примеры текстов?

А какая разница? Чтобы изменить устоявшуюся модель того, что нужно пользователям, в головах непрофессионалов (а журналисты IT-профессионалами не являются), нужны многие годы и тонны писем пользователей, желающих перемен. И движения крупных компаний.

Что касается вашей ниши HIPS, то сложно сказать, насколько все-таки он end-userский продукт. Скорее, нет и еще раз нет.

1. Рыночная ниша sandbox HIPS- простые пользователи. Тот classical HIPS, который реализован в Agnitum- согласен, не для end-user.

2. Подавляющее большинство моих пользователей- домохозяйки. Процентов 90% примерно. Плюс "подопытные кролики", семья моих друзей (менеджер крупной сырьевой компании, домохозяйка + двое детей)- полёт нормальный. Кстати, вот ещё один типичный пример того, как работает устоявшаяся схема внутри человеческой головы- "я знаю, что мир такой потому, что я так думаю, а если реальность показывает, что это всё бред- тем хуже для реальности". Скучно, очень скучно...

[Александр Шабанов 120]

"Рейтинг", заметьте, для любителей расставлять все по строчкам, я составил.

Возможно повторюсь, так как Вы его составили?

[Сергей Ильин 1538]

Виталий Я., я конечно извиняюсь, но предложенное вами голосование было изменено и счетчик у него сброшен. Поступило много жалоб. Я бы порекомендовал вам не провоцировать здесь людей. Вы же не хотите никого озлобить и серьезно подорвать имидж вашей компании и продуктов на нашем форуме, правда ведь?

P.S. Отвечать на это сообщение не нужно.

[Мальцев Тимофей 74]

Виталий Я., спросил я с единственной целью.

Мне просто показалось, что к деятельности г-на Ильина Вы относитесь вполне так скептически, а результаты журнального тестирования с неясной методологией и недоказанными утверждениями (а именно так, согласитесь, в приведенной Вами статье и есть) вызывают гораздо больший интерес.

Вот мне и стало интересно - чего так?

[Виталий Я. 859]

Мальцев Тимофей

Я к тому, что умеренность спасет мир, а личное мнение многих профессионалов часто не совпадает с реальностью.

Да, признаю, тема предназначена как раз для того, чтобы г-н Ильин задумался о последствиях нерегулярных и неоткрытых тестирований. Имидж наших продуктов от г-на Ильина и вправду очень страдает, т.к. его оценку свойств продуктов и аналитику (хорошо еще, что в основном - маркетинговую) слово в слово перепечатывают многие авторитетные издания.

А какая разница? Чтобы изменить устоявшуюся модель того, что нужно пользователям, в головах непрофессионалов (а журналисты IT-профессионалами не являются), нужны многие годы и тонны писем пользователей, желающих перемен. И движения крупных компаний.

1. Рыночная ниша sandbox HIPS- простые пользователи. Тот classical HIPS, который реализован в Agnitum- согласен, не для end-user.

2. Подавляющее большинство моих пользователей- домохозяйки. Процентов 90% примерно. Плюс "подопытные кролики", семья моих друзей (менеджер крупной сырьевой компании, домохозяйка + двое детей)- полёт нормальный. Кстати, вот ещё один типичный пример того, как работает устоявшаяся схема внутри человеческой головы- "я знаю, что мир такой потому, что я так думаю, а если реальность показывает, что это всё бред- тем хуже для реальности". Скучно, очень скучно...

1. Вполне для end-user, знаете ли. У него режим автообучения прекрасно работает, домохозяйка справится.

2. Пошли бы Вы по пути Safe'n'Sec или DiscWriteCopy (хотя это вроде бэкапщики)? Грустно, а не скучно - не заниматься продвижением на массовом рынке, когда есть что продвигать, но не умеете.

[Илья Рабинович 521]

1. Вполне для end-user, знаете ли. У него режим автообучения прекрасно работает, домохозяйка справится.

2. Пошли бы Вы по пути Safe'n'Sec или DiscWriteCopy (хотя это вроде бэкапщики)?

А что это за путь? Забашлять кучу баксов в рекламу и не отбить вложенное?

Грустно, а не скучно - не заниматься продвижением на массовом рынке, когда есть что продвигать, но не умеете.

А кто сказал, что я не занимаюсь продвижением продукта или не умею этого делать? Практически все публикации обзоров были пробиты потом и кровью лично мной. Но ключевое слово здесь- пробиты. Приходится убеждать и доказывать, что отнимает кучу времени и сил. Да и встаёт вопрос (у меня уже спрашивали на моём форуме)- а насколько хорош сам продукт в плане защиты? И тут я могу только развести руками- сравнительных тестов HIPS-ок нет, доказать с фактами и цифрами в руках ничего не могу.

[Виталий Я. 859]

А кто сказал, что я не занимаюсь продвижением продукта или не умею этого делать? Практически все публикации обзоров были пробиты потом и кровью лично мной. Но ключевое слово здесь- пробиты. Приходится убеждать и доказывать, что отнимает кучу времени и сил. Да и встаёт вопрос (у меня уже спрашивали на моём форуме)- а насколько хорош сам продукт в плане защиты? И тут я могу только развести руками- сравнительных тестов HIPS-ок нет, доказать с фактами и цифрами в руках ничего не могу.

Не удивили. Вообще любые сотрудники отдела маркетинга тоже пробивают публикации и связи потом и кровью, если бюджеты околонулевые особенно.

А что Вы лично на этом ресурсе делаете? Почему методологию теста HIPS не придумали еще и не провели под присмотром сонма экспертов?