AV-Comparatives: Retrospective Test (февраль 2009) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
p2u

AV-Comparatives: Retrospective Test (февраль 2009)

Recommended Posts

p2u

По правилам этого сайта нельзя давать прямую ссылку на результаты. Поэтому: Web Site Main.

В разделе Comparatives/Reviews - Main Tests найдёте 21 On-demand comparative February 2009 Report (PDF).

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... :wacko:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Интересно, что у него за коллекция чистых файлов,

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление :)

Зато порадовала McAfee с Artemis, хотя, технология не нова, если не ошибаюсь, - "коллективный разум" Панды?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... wacko.gif
С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление smile.gif

Расхождение по Sophos вполне объяснимы. Как обычно все дело в методологии. Мы брали читые файлы, загруженные в сеть (на download.com) в период проведения проактивного теста. Вендоры не могли заточить свои продукты под эти фалсы, у них не было шансов. Можно сказать, что это "проактивные фалсы".

В тесте Клименти антивирусы прогонялись по какой-то коллекции подготовленной под тест до его старта, а тут уже как повезет уже ... кто подсуетился, тот и меньше фалсит ;) Это раз.

Клиенти тестит Sophos c отключенным детектом подозрительных файлов. Для интереса они включили этот детект и получили 68 фалсов вместо 5. Там это написано на стр. 12, так что расхождений нет и Андреас не ошибся.

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Это вы, возможно, неправильно поняли. Там говорится, что все продукты кроме Sophos тестировались с максимальными настройками (вторая строчка под 'comments'):

Comments

As almost all products run nowadays in real life with highest protection settings by default or switch automatically to highest settings in case of a detected infection, we tested all products with highest settings (except Sophos).

(подчёркивание их)

и потом перечисляется какие продукты по умолчанию какие настройки применяют, и какие именно вендоры уже в прошлом году просили тестировать именно с максимальными настройками. Например: по умолчанию Касперский работает с Low Heuristics, но в тесте тестировали продукт с High Heuristics по просьбе же ЛК. Только Sophos настаивала на то, чтобы тестировали их продукт с настройками по умолчанию, что тестеры и сделали.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Интерпретация результатов убийственная. Касперский пропустил почти в 10 (!!!) раз больше, чем Авира. При этом показал 14 фолсов, а Авира - 24. И после этого ему дают advansed+, а Авире - фиг с маслом. Тут не просто логики нет - совести ни на грош.

После этого Клементиевские дипломы для меня не существуют.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

none or few: 0-3

few: 4-15

many: 16-100

very many: 101-500

crazy many: over 500

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них. Не зря же Sophos настаивала на тестирование их продукта с настройками по умолчанию...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них.

Paul

Пауль, да я все понимаю. Ну, что можно сказать? Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Skeptic

Коллекция в 1 млн+ файлов позволяет считать не в штуках, а в процентах.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Потому что менее фолсивый. Порог фолсов - это очень верный ход.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Ну да. Но мне обидно за Клементи, я уважаю его тесты. И вдруг такие ляпы - видны невооруженным глазом. Мне и раньше казалось, что в интерпретациях своих он сознательно задвигает немецкие антивири (что в 2006, когда он по итогам года предпочел НОД ГДАТЕ, хотя она явно лучше результаты показала, что в последних тестах, когда Авира страдает). Очевидно, чтобы его не обвинили в землячестве... Может быть, и глупо, конечно, но такие мысли возникают.

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Это риск когда вендор сам просит тестировать его продукт с максимальными настройками - сам он себе злобный буратино. Расширенные настройки, да, но у Авиры эвристика должна быть на среднем уровне (так по умолчанию). Думаю, что детект будет ненамного хуже. А теперь получается, что наказали за жадность...

P.S.: Вообще-то надо было тестировать ВСЕ продукты с настройками по умолчанию - так средний клиент их дома использует. А так получается опять пустая показуха; технически продукты на что-то способны, но средний клиент использовать этот потенциал всё равно не будет. Нереальные результаты в нереальных условиях - так всегда на таких тестах...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вставлю свои 5 копеек:

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор. И не только потому что там старье - а как раз потому, что там действительно полно мусора. Единственная цель для которой они могут использоваться - пиар. Учитывая результаты всех антивирусов от 90%, хотя реально эта цифра совсем далека от таких значений и никоим образом не позволяет сделать вывод о эффективности антивируса.

В принципе, даже от ретроспективных тестов толку мало...в частности проводимых с той методологией, которая используется Клементи. В итоге, учитывая, что на данный момент у Клементи кроме on-demand и retrospective других тестов нет, видна его попытка что-то изменить - появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование и тест на лечение активного заражения. Но мне что-то подсказывает, что будет разработана такая методология, что и в этих тестах большинство продуктов покажет хорошие и отличные результаты.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
все продукты кроме Sophos тестировались с максимальными настройками

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор.

Полностью согласен. Такие тесты сейчас реально ничего не показывают. Кроме того, используемая в них коллекция всегда вызывала кучу вопросов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
У многих написано ровно следующее:
.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Ответ можно легко угадать если цитировать и при этом не опускать глагол 'runs' - в present simple (то есть ВСЕГДА, как правило): уже по умолчанию работает с максимальными настройками). ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Нет не странно! Я привел Вам это утверждение не для того, чтобы показать какой Каспер хороший! Я хотел показать, что ни Вы ни я не знаем состав этой коллекции!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Я хотел показать, что ни Вы ни я не знаем состав этой коллекции

Да. Когда тест невоспроизводим, он всегда вызывает сомнение.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование

Динамика там стартует в апреле, длиться будет полгода и по цене, которая мне не по карману. :(

Мое мнение такое - тесты такого рода ни о чем.

И моё тоже. Мусорное пиар-тестирование на палёных зловредах, которыми давно никто не пользуется из непонятно каких источников (коллекция закрыта).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Вендоры ДОЛЖНЫ знать, потому что:

1) по правилам, всё, что их продукты НЕ обнаружили отсылается им если другие вендоры эти файлы детектили как зловреды.

2) То, что не детектится никем признаётся мусором и НЕ учитывается в результатах.

3) Кроме того, файлы, которые признаются самими вендорами как непригодные тоже не учитываются в результатах.

4) Результаты тесты корректируются на основании 1-3.

Этот процесс происходит ДО ТОГО, как результаты публикуются. Это всё описывается в том же документе по методологии.

P.S.: Надо предполагать, что среди тех файлов, которые продукты успешно обнаружили - тоже полно 'мусора' и 'устаревших сэмплов'? :rolleyes:

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

да, в свое время Андреас показал некий небольшой набор, который не обнаруживал некоторый продукт. Проверка показала, что некоторые из них - "трупы" (нерабочие), а еще несколько просто ложняк, попавший из карантина других вендоров. Не скажу, что из всего пропущенного все было вот таким, были и реальные пропуски, но цифра весьма изменилась

Но при этом вся коллекция осталась закрытой. У Маркса еще хуже - он ввобще ничего не дает. Приходится верить\не верить на слово

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Но Вы тоже не видели, но у верены в обратном!?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Не реально большой прирост семплов, наблюдалось у него периодически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×