Перейти к содержанию
Сергей Ильин

Нечистоплотный тестовый маркетинг

Recommended Posts

Сергей Ильин

Евгений Касперский в своем блоге опубликовал любопытную статью "Каша из топора.", в ней рассказывается о животрепещющей для антивирусной индустрии темы сравнительного тестирования. На что следует обратить внимание при при ознакомлении с результатами тестов и какие уловки используются для манипуляции ими.

http://eugene.kaspersky.ru/2013/01/24/kash...test-marketing/

Скопирую список основных уловок адептов тестового маркетинга из этой статьи:

1. Использование «мутных» площадок для тестирования качества антималварного детекта.

2. Использование старых тестов.

3. Сравнение со старыми версиями.

4. Сравнение несравниваемого.

5. Выпячивание специфических черт и замалчивание других.

7. Использование выборочных тестов.

8. Читерство.

9. И последняя уловка, самая простая – отказаться от участия в тесте.

Я бы добавил еще две уловки от себя:

1. Попытки всеми силами избежать участия в тесте (явная неуверенность в продукте и попытка сокрытия его истинных ТТХ)

2. Использование тестов, где все участники заведомо выходят хорошими (кто платит, тот и получает значки, для видимости делается пара "козлов опущения")

Последний случай наиболее сложно раскусить читателю.

И напоследок вот такая картинка приводится, сводная по всем наиболее известным тест-лабам

avtests_12-13_ru.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
spw

Ага, ЛК забыли рассказать, как у них был маркетинговый материал, где они срезали первую строчку в позиции, и указали таблицу, начиная со второй строчки, где были они :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ага, ЛК забыли рассказать, как у них был маркетинговый материал, где они срезали первую строчку в позиции, и указали таблицу, начиная со второй строчки, где были они

Это кстати еще один вариант манипуляции:

3. Манипуляции с составом протестированных продуктов. Всегда можно так представить результаты (исключить участников, выбросить критерии), что нужный антивирус будет первым.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Да, точно-точно, помню, как по результатам динамического теста 2009 года про мой продукт "забыли" маркетологи из ЛК в своём пресс-релизе, превратив своё второе место в первое. Обидно же, когда продукт коллективной работы сотен инженеров обходит творение вендора-одиночки, да и заказчики могут не оценить столь странного факта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Евгений Касперский в своем блоге опубликовал любопытную статью "Каша из топора.

Самокритично бгг :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Докторов в таблице нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Дык они же не принимают участия в тестировании по большей части пунктов. Вот их и нет.

http://juick.com/Umnik/2211152

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VIKING

После прочитанной статьи и комментарий не покидает ощущение, что где то я об этом уже слышал и читал....

Да и кто о данной проблеме не писал, но видно сама проблема достигла критической точки, что о ней заговорили даже представители крупных вендоров...

Если не впадать в эмоции, то можно сделать два вывода =

1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Даже к тем источникам , которые указал уважаемый автор, увы отношение настороженные...

2. Вендоры в основном относятся к своему продукту как к товару , который надо пропиарить любыми способами и продать, а там хоть трава не расти..

На все это можно закрыть глаза и не обращать внимание, если бы не одно большое НО...

Все это направлено на конечный объект = пользователя...

Который в лучшем случае остается в неведении , в худшем - в дураках...

Как здесь не вспомнить киношного героя =

""За что, обидно понимаешь, ну очень обидно""

Правда там у него на ушах висели цветы, а в данном случае - лапша , обильно политая соусом....

О мама мия........

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Не так, тесты-то есть, но даже идеальные тесты нечистоплотные вендоры могут подпортить.

1. Сейчас у Vb100 вполне себе приличная методология, и к вендорам равное отношение, а случай с "я нашел много вирусов в одном каталоге значит меня тестируют значит все остальное тоже вирусы" - явно нечистоплотное поведение вендора, тестер не причем. Просто у Хавса и чистые файлы и вредные в одной куче - что вообще идеально для выявления таких заточек.

2. Вот приходят нам результаты очередного теста - мешок пропущенных файлов - мы смотрим и часть оспариваем как не вредные - битые, чистые, пупсы, часть признаем пропусками. Так делают все вендоры. Но некоторые оспаривают часть реальных пропусков. Кто схватит их за руку? Кроме своих пропусков проверять и чужие? Перепроверять? Ну сейчас уже начали и это делать. Сил тратится больше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
2. Вот приходят нам результаты очередного теста - мешок пропущенных файлов - мы смотрим и часть оспариваем как не вредные - битые, чистые, пупсы, часть признаем пропусками. Так делают все вендоры. Но некоторые оспаривают часть реальных пропусков. Кто схватит их за руку? Кроме своих пропусков проверять и чужие? Перепроверять? Ну сейчас уже начали и это делать. Сил тратится больше.

Именно поэтому иногда проще не давать никому самплы, чтобы не создавать своими руками почву для манипуляций.

1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Есть нормальные интересные тесты. Другое дело, что они начинают тонуть в тоннах говнотестов типа вот таких

http://www.anti-malware.ru/forum/index.php?showtopic=17901

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Сергей Ильин Вот кстати в идее "не давать никому самплы" есть здоровое зерно. То есть все в равных условиях и кивать некуда. Если продукт заточили под одно, а в семплах будет другое, то никто не виноват и базы оправдаться просто не будет.

Тогда может все займутся наконец заточкой под защиту пользователя.

Вот кто б ещё придумал, как заставить исправлять многолетние ошибки в продуктах... Хотя это уже совсем фантастика

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Сергей Ильин Вот кстати в идее "не давать никому самплы" есть здоровое зерно. То есть все в равных условиях и кивать некуда. Если продукт заточили под одно, а в семплах будет другое, то никто не виноват и базы оправдаться просто не будет.

Тогда может все займутся наконец заточкой под защиту пользователя.

Вот кто б ещё придумал, как заставить исправлять многолетние ошибки в продуктах... Хотя это уже совсем фантастика

1. Не давать семплы - нет уверенности что там не мусор, а мусор там часто.

2. Пропуски в тестах тоже являются основой для выяснения недоработок продукта \ движка.

3. Баги в продуктах и детект - разные люди делают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Последний тест на лечение от Клементи тоже не радует объективностью. Сэмплы брались непонятно какие, ни один вендор так видимо и не узнал их названия.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki

Есть мнение! :) И естественно на меня всем плевать! :(

Все эти тестеры липовые, они берут деньги или меняют пиар на пиар(как только они становятся известными предпочитают деньги и много)!

Людям просто выдаются нужные результаты, нечего там не тестируется!!!

Да и вообще протестировать, сравнить антивирусы – ЧЕСНО невозможно!

А зачем спортсменам соревноваться, давайте их протестируем и вручим медали по результатам тестирований!

————————-

Гораздо эффективней демонстрировать и убеждать что этот продукт лучше! =)

Это касается как рекламы, так и работы продукта у пользователей!

Должны присутвовать современные, НАДЕЖНЫЕ и КАЧЕСТВЕННЫЕ технологии, для продвинутых людей. И серьезных – бизнеса.

Узнать больше:

http://forum.kasperskyclub.ru/index.php?sh...st&p=551736

=)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Все эти тестеры липовые, они берут деньги или меняют пиар на пиар(как только они становятся известными предпочитают деньги и много)!

Все правильно. Зачем тестировать ... надо все взять, да и поделить продемонстрировать! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Vitaliki

Есть мнение!
Vitaliki

Лучше бы увидеть конкретные предложения. Не типа "должны присутствовать", а суть этих технологий и их источник.

OlegAndr Тоже правда, тем более что считать мусором, что зловредом и т д - это отдельная головная боль.

Насчёт багов это понятно, просто к слову пришлось )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki
Vitaliki Vitaliki

Лучше бы увидеть конкретные предложения. Не типа "должны присутствовать", а суть этих технологий и их источник.

Это очень сложно и много, и я и о этом писал и пишу. Сформулировать, раcставить всё по полочкам невозможно, для чего, меня не поймут. Это как долбиться головой в метровую броню, я только себе голову разабью и спрашивается для кого я буду это делать.

Источником технологий должен являтся хорошо развитый интеллект, точка. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

давненько с виталегом не дисскутировали ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Я бы не преминул вновь продемонстрировать собственное отношение пресс-службы ЛК, например, к Gartner-овским "не-тестам", и тут напомню про сие: http://www.kaspersky.com/about/news/busine...dpoint_Security

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Виталий Я. На русском эта новость в первых рядах... Текст "один из лидеров" лёгким движением руки превращается в заголовок "«Лаборатория Касперского» названа лидером по итогам независимого исследования решений класса Endpoint Security" Что там ЕК в "Каше из топора" пишет?? ^_^

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Я бы не преминул вновь продемонстрировать собственное отношение пресс-службы ЛК, например, к Gartner-овским "не-тестам", и тут напомню про сие: http://www.kaspersky.com/about/news/busine...dpoint_Security

Чо не так-то ?

Там для таких "умных" даже артикль правильный поставлен "Kaspersky Lab Named a Leader"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

A.

Он проверку орфографии в Word осилил. Я аж банить не хочу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki

[Виталик, лучше больше не оффтопь. Ты хорошо начал, но снова скатываешься в бан.]

Отредактировал Umnik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Там для таких "умных" даже артикль правильный поставлен "Kaspersky Lab Named a Leader"

Для таких внимательных выше приведена цитата заголовка русской версии, не?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Quincy
      Серёга Лысый известный балабол же
    • Александр Полиграф
      Проведение расследований с применением полиграфа. Выявление сотрудников "сливающих" информацию, осуществляющих попытки- получения данных, шпионаж, работа на конкурентов, сбор компромата и т.п. Осуществляем выезд к вам в офис. Гарантия конфиденциальности.  poligraf.msk.ru ПОЛИГРАФ МСК.pdf
    • PR55.RP55
      vesorv 1) С отключенным интернетом вы не сможете активировать лицензию на антивирус. а раз не сможете - то и не получите защиту. Значит активируем антивирус > Создаём образ системы и переносим его на внешний носитель. Получаем возможность проводить тестирование повторно. 2) Вам для тестирования не нужны "свежие" угрозы. Разработчик регулярно обновляет установочный пакет. Скажем за 2018 год вышла - 12 версия антивируса, затем вышла версия. 12.01> 12.02 > 12.03  и т.д. Интервал между версиями пару месяцев. За пару месяцев ничего принципиального и прорывного в защите не сделать. Установив вместо версии: 12.03  "устаревшую" версию 12.02 вы получите и устаревшую базу сигнатур вирусов. И здесь можно тестировать угрозы о которых антивирус не осведомлён. 3) Антивирус нужен для постоянной защиты. Установка не производиться на заражённую машину. так, как установочный пакет не предназначен для очистки системы. ( Да, в рекламных целях разработчик может написать, что есть такая возможность... Однако ) Вирус может повредить реестр, заблокировать работу Windows Installer, модифицировать критически важные системные файлы - система просто не будет работать должным образом. _Эффективная очистка возможна только на НЕ активной системе - при работе с Live CD или при загрузке с другой не заражённой системой. 4) Отключать нужно не только интернет  - но  и беспроводные блютус и Wi-Fi иначе вы рискуете получить заражение всех доступных устройств. 5) Многие вредоносные программы вы просто не сможете запустить. так, как могут быть ограничения на регион распространения  - тот кто заказывал разработку\модификацию например рассчитывает на атаку конкретной страны, банка. 6) По очистке и лечению. Это не одно и тоже. Есть антивирусы которые удаляют файлы\угрозы но при этом не очищают реестр от лишних записей. Удаление файла\угрозы без удаления записей может приводить к ошибкам в работе системы. Лечение файлов - здесь речь идёт прежде всего о файловых вирусах. Антивирус должен найти заражённый файл, найти нужный участок и очистить - причём очистить так, чтобы сохранилась работоспособность системы. Но очистка исполняемых файлов не имеет смысла - всё равно _современная система не сможет нормально работать так, как у файла не будет ЭЦП... а если критически важный  файл не пройдёт проверку на наличие ЭЦП то и система не запуститься... Единственно, что можно сделать - это заменить файл на оригинальный. А учитывая число файлов, разнообразие их версий  - это становиться нетривиальной задачей. Некоторые антивирусы\сканеры имеют архив с такими файлами ( для замены: EXPLORER.EXE; NTDETECT.COM; NTSD.EXE и т.д ) А большинство антивирусов таких архивов не имеет. 7) Вы не учитываете уровень ложных срабатываний\определений. Антивирус  может сработать на чистый файл. Значит нужно проверять систему ещё до работы с реальными угрозами. 8) Угроза, или нет ? Это философский вопрос. Здесь каждый разработчик решает сам - что является угрозой, а что нет. т.е. на файл ХХХ одни антивирус сработает - а другой антивирус на файл ХХХ не сработает. + Программы разработанные спец. службами например страна ****а разработала вирус с целью нарушения работы оборудования, в целях шпионажа, получения удалённого доступа. Разве разработчики антивирусов находящиеся под её юрисдикцией будут искать эту угрозу ? 9) Легальные шпионские программы - одни антивирусы их будут находить, а другие антивирусы их находить не будут. Под легальными нужно понимать такие компоненты системы которые устанавливает разработчик оборудования - мониторинг - обнаружение украденного оборудования - диагностические отчёты. т.е. антивирусы по умолчанию находятся вне равных условий. 10) У всех разное железо - и производитель распространяет установщики  с некими средними настройками - чтобы на старых\слабых PC не наблюдалось зависание. С разными настройками эвристики будет  разная  скорость\эффективность работы. Значит нужно, или тестировать всё по умолчанию, или накручивать параметры на максимум. Нужно будет оценивать стабильность работы системы после внесения изменений в работу антивируса. 11) Куда ушли ?  Да куда угодно. Потеряли интерес, стало больше информации и меньше времени на её обсуждение. Помните песню: " Куда уехал цирк ? он был ещё вчера " https://www.comss.ru/page.php?id=5777 Дело в том, что всё уже давно обсудили, и вся информация есть в сети. а все эти _публичные тестирования ( как бы это помягче сказать... ) Средняя температура по больнице в норме !    
    • vesorv
      1. На жесткий диск загружаются дистрибутивы антивирусов и "свежие" вредоносные программы (только те, которые не обнаруживает сканер антивируса, то есть кнопочка эта в антивирусе называется "выборочная проверка файлов"), работающие без интернета. 2. На операционной системе запускают вредоносные программы (антивирус не установлен) и убеждаются в том, что они работают. 3. На чистую операционную систему из дистрибутива устанавливают антивирус, отключают интернет, и запускают вредоносные программы. Записывают все действия антивируса - сколько угроз обнаружил, когда обнаружил, какой компонент обнаружил, проводил ли антивирус лечение, что изменилось в системе после лечения. Потом ставят другой антивирус на чистую систему и проводят те же операции.  Данный тест покажет способность антивирусов защищать от угроз и лечить систему без использования облака. Насколько данный тест отображает реальные возможности (то есть с применением облака) защиты антивирусов от новейших угроз и лечения системы от действий вредоносных программ ? Раньше на форуме было относительно много людей, которые обсуждали интерестные темы (в том числе эксперты). Куда ушли эти люди, где они сейчас общаются, на каких интернет-площадках ?
    • Deniis
×