Можно ли доверять сравнительным тестам?

[alexgr 556]

А вы сами пробовали ответить на эти вопросы? Я ответ знаю, приходилось сталкиваться с их документами. А моя аргументация проста - вы сказали

Это так, потому что квалификация этих людей как тестеров антивирусных продуктов официально подтверждена.

Я вот и задумался -Это этюд? Так вот, ничем она не подтверждена, поверьте, кроме убеждения их собственного и их руководителей, что это так. Точка. Ничем.

Соответственно, ссылка на них - маркетинговое блаблабла

[Сергей Ильин 1538]

Подумайте, AMTSO ведь создали не от хорошей жизни. Что-то же движет этими людьми? Чему противодействует эта организация? Не многочисленным ли независимым лабораториям? Не прямой ли это ответ на Вашу аргументацию?

Вообще-то AMTSO и состоит из представителей тех самых независымых лабораторий Так что никто никому не противостоит. Не хочу уходить еще дальше в оффтоп, но эта организация искусственно создана самими вендорами. Это как если бы банки создали ассоциацию независимых аудиторов, которые бы должны были проверять их деятельность, и стали бы ее финансировать.

[Valery Ledovskoy 1082]

Я вот и задумался -Это этюд?

Это дискуссия. Причём нормальная, раз затрагиваются настолько острые вопросы, что это считается "расшатыванием ситуации". Я нигде не говорил, что являюсь истиной в последней инстанции. Если я о чём-то дискуссирую, то тоже преследую цель получить новую для себя информацию, иначе не интересно

Соответственно, ссылка на них - маркетинговое блаблабла

А, ну т.е. то же самое, что и тестирования здесь. Но за неимением лучших... и остальное blablabla.

Вообще-то AMTSO и состоит из представителей тех самых независымых лабораторий smile.gif Так что никто никому не противостоит. Не хочу уходить еще дальше в оффтоп, но эта организация искусственно создана самими вендорами.

Вообще-то первое предложение противоречит последнему. Если, конечно, не считать, что представители всех независимых лабораторий являются сотрудниками вендоров Я не думаю, что Вы хотели сказать это.

Это как если бы банки создали ассоциацию независимых аудиторов, которые бы должны были проверять их деятельность, и стали бы ее финансировать.

Ну, почему же это Вам кажется противоестественным? Например, общество создало институт государства, государство назначило людей, которые следят за порядком и контролируют права тех же членов общества, которое это всё создало.

Банки подумали и создали некоторый орган, который включает себя представителей от каждого банка, который обладает некоторыми полномочиями в отношении банков, которые контролируются. Если какой-либо банк "взбрыкнёт", то участник от него ничем не сможет повлиять на деятельность этого контролирующего органа.

[Виталий Я. 859]

Вывод по теме: позиционирование теста с точки зрения 2 членов Администрации портала и 3 тестировщиков является единственно правильным и корректировке не подлежит.

Причины:

а) "и так сойдет" - обратного хода неточно сформулированной мысли, ушедшей в прессу, не будет,

б) "да кто вы такие" - в силу явной "ангажированности" участников форума, которые посмели работать на участвовавших (и не выигравших) вендоров, да еще и возражающих, мнение данных участников домножается на ноль и с таким поправочным коэффициентом учитывается и впредь.

Всем сделать "ку" три раза.

[K_Mikhail 807]

Миш, ты правда считаешь, что результаты тестирования на Anti-Malware являются документальным подтверждением чего-либо?

Если ты внимательно перечитаешь нашу ту с тобой дискуссию (в частности, можно ли обойтись без АМ в тестирования), то увидишь, что там написано -- АМ на сегодняшний день является единственной организацией (ключевое слово -- единственной), которая провела такой тест (на лечение). Т.е. как не крути, рез-ты её теста на лечение являются подтверждением, что "Улучшено! Антивирус – лидер в лечении активных заражений", кое красуется на drweb.com.

Ну а пока реальность такова, что на вопрос об подтверждении главного тезиса ("Улучшено! Антивирус – лидер в лечении активных заражений") -- какая организация проводила подтверждающий этот тезис тестирование, ссылки на эти результаты, следует либо молчание, либо "а у нас на сайте есть" (такой вариант ответа не прошёл...).

Valery Ledovskoy

Тут можно приводить факты по актуальным руткитам, с которыми одни продукты справляются, а другие - нет.

По примеру этого? Если да, то как очередной рекламный буклет -- сгодится. Но не как подтверждение, тем более, внешней организацией.

Valery Ledovskoy

Зависит от того, кто хочет подтвердить и что конкретно.

Конкретно главный тезис: "Улучшено! Антивирус – лидер в лечении активных заражений"

Valery Ledovskoy

Подтверждает ли тест АМ на активное заражение, что Dr.Web противодействует всем существующим руткитам? Нет, тоже не подтверждает.

А что он подтверждает в принципе?

[Valery Ledovskoy 1082]

Т.е. как не крути, рез-ты её теста на лечение являются подтверждением, что "Улучшено! Антивирус – лидер в лечении активных заражений", кое красуется на drweb.com.

Подтверждением - да, является. Доказательством - нет, не является. Кроме того, под этой фразой ссылки на АМ нет.

По примеру этого?

Нет, здесь не про руткиты.

Зависит от того, кто хочет подтвердить и что конкретно.

Конкретно главный тезис: "Улучшено! Антивирус – лидер в лечении активных заражений"

Элементарно. Смотрим подборку публикаций со словами "Dr.Web первый сделал лечение от руткита такого-то". Если за прошедший период такие новости были, то вполне можно говорить: "Улучшено! Антивирус – лидер в лечении активных заражений". Ибо другие за этот же период такими достижениями похвастаться не могут.

А что он подтверждает в принципе?

Подтверждает тезис: "Улучшено! Антивирус – лидер в лечении активных заражений". Но не доказывает

[sww 486]

А что он подтверждает в принципе?

Я могу ответить, что он подтверждает. Тест подтверждает, что на текущий момент времени антивирус способен излечивать компьютеры пользователей от ItW заразы, которая использует определенные способы маскировки.

Из этого нельзя сделать вывод, что новую заразу антивирус вылечит, если лечил старую, т.к. методы маскировки меняются с течением времени.

Элементарно. Смотрим подборку публикаций со словами "Dr.Web первый сделал лечение от руткита такого-то". Если за прошедший период такие новости были, то вполне можно говорить: "Улучшено! Антивирус – лидер в лечении активных заражений". Ибо другие за этот же период такими достижениями похвастаться не могут.

Бред. Нельзя так говорить, т.к. если нет сравнительного тестирования, то нельзя быть лидером. Лидер среди самого себя что-ли? Публикации вообще ничего не доказывают, там можно написать все что угодно. То, что другие ничего не пишут, еще не значит, что они ничего не делают.

Вывод: чтобы быть лидером-не пустозвоном необходимо соревноваться с другими продуктами.

P.S. Про ХИПСы ты мне так и не ответил, переведя тему в другую сторону, а зря...

[Valery Ledovskoy 1082]

P.S. Про ХИПСы ты мне так и не ответил, переведя тему в другую сторону, а зря...

Что именно? Да, нужны, да, эффективны, нет, не заменяют полностью другие технологии, да, можно обойтись без, нет, не всегда применимы.

Вывод: чтобы быть лидером-не пустозвоном необходимо соревноваться с другими продуктами.

Согласен. Но сложно найти лакмусовую бумажку, которая однозначно скажет, что это лучше, чем это.

Я таковой вообще не вижу. Вижу другие бумажки, отпечатки на которых что-то показывают. Это что-то все интерпретируют по-разному.

[K_Mikhail 807]

Подтверждением - да, является. Доказательством - нет, не является. Кроме того, под этой фразой ссылки на АМ нет.

А на что есть? Именно подтверждающее этот тезис. И не из серии "мы первыми... и только %vendorname%", что пишется в всяких новостях и прочей рекламной мишуре %vendorname%, пожалуйста.

Нет, здесь не про руткиты.

Был приведен результат конкретной практической реализации.

Элементарно. Смотрим подборку публикаций со словами "Dr.Web первый сделал лечение от руткита такого-то".

"И не из серии "мы первыми... и только %vendorname%", что пишется в всяких новостях и прочей рекламной мишуре %vendorname%, пожалуйста." В том числе, из нарытого в поисковиках.

Если за прошедший период такие новости были, то вполне можно говорить: "Улучшено! Антивирус – лидер в лечении активных заражений". Ибо другие за этот же период такими достижениями похвастаться не могут.

Подтверждает тезис: "Улучшено! Антивирус – лидер в лечении активных заражений". Но не доказывает

Вот в организациях и требуют подтверждение.

[Valery Ledovskoy 1082]

Вот в организациях и требуют подтверждение. wink.gif

И что, кто-то из вендоров ссылается на тесты АМ в качестве доказательного документального аргумента?

Т.е. ты хочешь сказать, что мы поступаем некорректно, а другие лучше?

Проблема с отсутствием адекватного сравнения качеств антивирусных продуктов - это не проблема компании "Доктор Веб".

Это проблема антивирусного рынка в целом. И проблема пока что далека от решения.

[sww 486]

Что именно? Да, нужны, да, эффективны, нет, не заменяют полностью другие технологии, да, можно обойтись без.

Согласен с тем, что не заменяют полностью другие технологии. Это и дураку ясно, что ХИПСы - дополнение в АВ.

Не согласен с тем, что можно обойтись без них на компьютерах рядовых юзеров. Не возможно "вытащить" за счет только сигнатур, эвристики и эмулятора. Как ты этого не понимаешь...

Согласен. Но сложно найти лакмусовую бумажку, которая однозначно скажет, что это лучше, чем это.

Я таковой вообще не вижу. Вижу другие бумажки, отпечатки на которых что-то показывают. Это что-то все интерпретируют по-разному.

Они есть хоть какие-то, а методологию необходимо улучшать. А писать "Я - ЛИДЕР" выйдя из всех тестов - это как минимум выглядит жалко.

[Valery Ledovskoy 1082]

sww, K_Mikhail, что Вам нравится больше:

1. Dr.Web признан единственным невзламываемым антивирусом в мире.

2. Антивирус Касперского 2010 — самый быстрый! Файлы объемом 200 МБ были просканированы всего за 3 секунды.

3. Norton™ Internet Security 2010. Самая быстрая защита от вирусов, программ-шпионов и угроз в сети.

4. ESET NOD32 подтверждает технологическое лидерство в октябрьском тестировании Virus Bulletin

Бардак. Все лидеры. Все участвуют в тестах

Это я по оффсайтам пробежался. И где мне выгода как пользователю от этого бардака?

[K_Mikhail 807]

И что, кто-то из вендоров ссылается на тесты АМ в качестве доказательного документального аргумента?

Я бы не назвал это корректным.

Ну, если вспомнить, то на том же drweb.com.cn большой баннер красовался в медальками АМ за тест на лечение ...

В презентациях обычно ссылаются. Или же в ответах на вопросы, следующих после самой презентации. Если память не изменяет, тот же NOD32 до недавнего времени на VB100 ссылался...

А в вопросах о подтверждении (там, где спрашивали) было либо молчание, либо "а у нас на сайте есть" (а его и не было).

[sww 486]

sww, K_Mikhail, что Вам нравится больше:

...

Бардак. Все лидеры. Все участвуют в тестах

Все отстой. Только вот причем тут это??? Эти, гм, вышеперечисленные тесты вряд ли можно сравнивать с тестом на АМ.

[K_Mikhail 807]

sww, K_Mikhail, что Вам нравится больше:

1. Dr.Web признан единственным невзламываемым антивирусом в мире.

2. Антивирус Касперского 2010 — самый быстрый! Файлы объемом 200 МБ были просканированы всего за 3 секунды.

3. Norton™ Internet Security 2010. Самая быстрая защита от вирусов, программ-шпионов и угроз в сети.

4. ESET NOD32 подтверждает технологическое лидерство в октябрьском тестировании Virus Bulletin

Бардак. Все лидеры. Все участвуют в тестах

Это я по оффсайтам пробежался. И где мне выгода как пользователю от этого бардака?

И во всём этом бардаке лишь NOD32 прямо даёт отсылку на организацию (притом, известную всем, отметь себе этот момент!), подтверждающую его "технологическое лидерство", не так ли?

[Valery Ledovskoy 1082]

И во всём этом бардаке лишь NOD32 прямо даёт отсылку на организацию (притом, известную всем, отметь себе этот момент!), подтверждающую его "технологическое лидерство", не так ли?

Известно почти всем, что тесты этой компании морально устарели. Но для пользователя - да, схавают.

Все отстой. Только вот причем тут это??? Эти, гм, вышеперечисленные тесты вряд ли можно сравнивать с тестом на АМ.

При том, что вендоры используют эти, с позволения сказать, тестирования на своих сайтах. А пользователи хавают.

Все отстой. Только вот причем тут это??? Эти, гм, вышеперечисленные тесты вряд ли можно сравнивать с тестом на АМ.

Все эти тесты подаются всеми вендорами наравне с тестами АМ.

А вот теперь попробуйте докажите какому-либо пользователю, что одни тесты с неидеальной методологией лучше, чем другие тесты с неидеальной методологией. Если здесь это далеко не всем очевидно, то бедный пользователь.

Единственный вывод, который может сделать пользователь - это что лучше с антивирусом, чем без.

И поставить себе любой из перечисленных антивирусов.

В остальном же - полнейшая дизориентация и манипулирование сознанием пользователей - с использованием результатов тестирований АМ, VB и других "узнаваемых брендов", либо без оных.

[K_Mikhail 807]

Известно почти всем, что тесты этой компании морально устарели. Но для пользователя - да, схавают.

Мы сейчас не о моральном устаревании тестирований, а о подтверждениях и ссылках на них при презентациях продуктов %vendorname% и в ответах на постпрезентационные вопросы.

[Valery Ledovskoy 1082]

Мы сейчас не о моральном устаревании тестирований, а о подтверждениях и ссылках на них при презентациях продуктов %vendorname% и в ответах на постпрезентационные вопросы.

Т.е. если бы фраза о том, что Dr.Web - лидер по лечению, была подтверждена VB, ты бы это тоже схавал и не начал говорить, что это тестирование было проведено не совсем корректно? Это было бы для пользователя лучше, чем без ссылки вообще?

[alexgr 556]

И что, кто-то из вендоров ссылается на тесты АМ в качестве доказательного документального аргумента?

Т.е. ты хочешь сказать, что мы поступаем некорректно, а другие лучше?

ведь не только АМ игнорируется, не правда ли? Я полагаю, что официальный тест и есть такое соревнование... Скажем, VB. Их тесты критикуются, что нормально, но они все же до сих пор нечто показывают... И выход их них после нескольких провалов подряд - показателен. Потом Клементи.... Эти центры каким то образом давали информацию для оценки. Я, безусловно, против оценки по количеству прохождений этих тестов, но что взамен? Ответ на поверхности.

Про блаблабла

Для того чтобы заявить - "лучший в мире" - нужно сделать выборку, доказать о обосновать этот выбор, выиграть тест. Зафиксировать результат и ву а ля! Все хорошо. А тут берем выборку продуктов (при этом непонятно каких и каких версий) и говорим - лучшие в мире.... Ну, а вдруг Rising китайский еще лучше? Или назовет себя лучшим в мире, потому как его не проверяли?

Второе. Смешно віглядят рекомендации по безопасности держателям платежных карт, исходящими из уст владельца золотой Visa - не храните больших сумм на них.У, а сам пользуется СМС банкингом. Хотя реальная рекомендация куда проще, но ежели не разобрался сам, а идет просто пиар, то конешна Только это не забота про кардхолдера

Про сертификацию специалистов. Не вопрос - внутренние специалисты - это золотой фонд любой компании, но это ВНУТРЕННИЙ фонд. Их материалы и есть материалы работы компании. ИМХО. Но их результаты тестов обычно не публикуются, а используются для развития продуктов.

А вот работа более публичной группы, как техподдержка, видна многим. И тут масса претензий, отзвуки которых видны и здесь. И качество этой самой поддержки очень трудно оценить. Никому их сертификаты не нужны, а нужна помощь, реальная помощь. Услышав при вирусном заражении ответ - "У вас очень странный случай. Добро пожаловать в трекер!", клиент тупо ставит двойку. А компании уже разбираться с таким сотрудником.... И это не спрячешь, никаким пиаром не прикроешь

Поэтому мне понятно, что отсутствие какого - либо внешнего подтверждения - плохо. Аргументы тогда напоминают лукавство. И сертификаты не при чем. И речь не о АМ, а о выходе из тестов вообще. Но замечу, что аудиторский контроль в некоторых проверках таки присутствует, как и в крупных лотереях

[sergeynmsk 25]

Единственный вывод, который может сделать пользователь - это что лучше с антивирусом, чем без.

И поставить себе любой из перечисленных антивирусов.

В остальном же - полнейшая дизориентация и манипулирование сознанием пользователей - с использованием результатов тестирований АМ, VB и других "узнаваемых брендов", либо без оных.

Долго я читал Ваши прения и наконец-то прочитал то, что по идее можно назвать истиной в последней инстанции, особенно (полнейшая дизориентация и манипулирование сознанием пользователей)В принципе, это можно написать на любом AV портале, как девиз!!, и на этом в частности.5 баллов.

[alexgr 556]

Это мнение представителя АВ компании. Я вот не пользуюсь АВ и мне хорошо. То есть встроенное решение в МакОС появилось-ничего более не использую. Контрольные прогоны показали, что все чисто

[K_Mikhail 807]

Т.е. если бы фраза о том, что Dr.Web - лидер по лечению, была подтверждена VB, ты бы это тоже схавал и не начал говорить, что это тестирование было проведено не совсем корректно? Это было бы для пользователя лучше, чем без ссылки вообще?

Поставил себя на место пользователя уровня "тёти Цили", зашедшего в магазин. Увидел коробульки с антивирусами. Не смог разобраться сам, спросил продавца. Продавец мне сказал, что вот этот антивирус -- лучше, ибо его лучшесть подтвердили тесты организации УПИАВКС (Университет по изучению аномалий вращабельности колец Сатурна). Повёлся, купил. Пришёл домой, воткнул антивирус в розетку с тем ощущением, что я только купил не просто какой-то антивирус, а с подтверждённой лучшестью. Было бы это для меня лучше? Скорее всего, совершенно всё равно. Разве что настроение было бы приподнятым от ощущения использования этой самой подтверждённой лучшести.

P.S. Это я так, в вольном исполнении.

[Valery Ledovskoy 1082]

Скажем, VB. Их тесты критикуются, что нормально, но они все же до сих пор нечто показывают... И выход их них после нескольких провалов подряд - показателен.

Или вендор считает, что его новые технологии, призванные лечить от "реальных" угроз никак не учитываются этим и другими морально устаревшими или неадекватными тестированиями.

ведь не только АМ игнорируется, не правда ли?

Нет, далеко не только. Так уж получилось. Не стадная компания какая-то, какие-то свои мнения и условия всё время выдвигает...

А вот работа более публичной группы, как техподдержка, видна многим. И тут масса претензий, отзвуки которых видны и здесь. И качество этой самой поддержки очень трудно оценить. Никому их сертификаты не нужны, а нужна помощь, реальная помощь. Услышав при вирусном заражении ответ - "У вас очень странныйц случай. Добро пожаловать в трекер!", клиент тупо ставит двойку. А компании уже разбираться с таким сотрудником.... И это не спрячешь, никаким пиаром не прикроешь

Это Вы в общем про все АВ-компании и тестирование их техподдержки, правильно я понимаю?

Поэтому мне понятно, что отсутствие какого - либо внешнего подтверждения - плохо. Аргументы тогда напоминают лукавство.

Лично для меня нет разницы - отсутствует ли ссылка вообще или даётся ссылка на тестирование, притянутое за уши. Неприкрытая ложь и прикрытая по сути мало чем отличаются.

Но замечу, что аудиторский контроль в некоторых проверках таки присутствует, как и в крупных лотереях

И как этот контроль проводится? Самостоятельно аудиторами?

K_Mikhail, ОК, т.е. тут наши мнения пересекаются.

[A. 876]

Или вендор считает, что его новые технологии, призванные лечить от "реальных" угроз никак не учитываются этим и другими морально устаревшими или неадекватными тестированиями.

Знаете, пожалуй я уже наверное могу рассказать одну правду.

В прошлом году, после того как ЛК проиграло очередной тест VB, снова встал вопрос - и о нашем выходе из этих тестов.

Руководством было принято решение, даже не решение, а моральная позиция, если хотите - из ЛЮБЫХ тестов можно выходить только в статусе победителей, а не после поражений.

[Valery Ledovskoy 1082]

A., вполне нормальная и адекватная позиция. Если есть возможность и желание подточиться под тест, а потом выйти - почему нет.

Но не все тестирования проводятся регулярно. И не всегда может быть желание хлопать дверью.