Перейти к содержанию
Сергей Ильин

Нечистоплотный тестовый маркетинг

Recommended Posts

Сергей Ильин

Евгений Касперский в своем блоге опубликовал любопытную статью "Каша из топора.", в ней рассказывается о животрепещющей для антивирусной индустрии темы сравнительного тестирования. На что следует обратить внимание при при ознакомлении с результатами тестов и какие уловки используются для манипуляции ими.

http://eugene.kaspersky.ru/2013/01/24/kash...test-marketing/

Скопирую список основных уловок адептов тестового маркетинга из этой статьи:

1. Использование «мутных» площадок для тестирования качества антималварного детекта.

2. Использование старых тестов.

3. Сравнение со старыми версиями.

4. Сравнение несравниваемого.

5. Выпячивание специфических черт и замалчивание других.

7. Использование выборочных тестов.

8. Читерство.

9. И последняя уловка, самая простая – отказаться от участия в тесте.

Я бы добавил еще две уловки от себя:

1. Попытки всеми силами избежать участия в тесте (явная неуверенность в продукте и попытка сокрытия его истинных ТТХ)

2. Использование тестов, где все участники заведомо выходят хорошими (кто платит, тот и получает значки, для видимости делается пара "козлов опущения")

Последний случай наиболее сложно раскусить читателю.

И напоследок вот такая картинка приводится, сводная по всем наиболее известным тест-лабам

avtests_12-13_ru.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
spw

Ага, ЛК забыли рассказать, как у них был маркетинговый материал, где они срезали первую строчку в позиции, и указали таблицу, начиная со второй строчки, где были они :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ага, ЛК забыли рассказать, как у них был маркетинговый материал, где они срезали первую строчку в позиции, и указали таблицу, начиная со второй строчки, где были они

Это кстати еще один вариант манипуляции:

3. Манипуляции с составом протестированных продуктов. Всегда можно так представить результаты (исключить участников, выбросить критерии), что нужный антивирус будет первым.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Да, точно-точно, помню, как по результатам динамического теста 2009 года про мой продукт "забыли" маркетологи из ЛК в своём пресс-релизе, превратив своё второе место в первое. Обидно же, когда продукт коллективной работы сотен инженеров обходит творение вендора-одиночки, да и заказчики могут не оценить столь странного факта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Евгений Касперский в своем блоге опубликовал любопытную статью "Каша из топора.

Самокритично бгг :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Докторов в таблице нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Дык они же не принимают участия в тестировании по большей части пунктов. Вот их и нет.

http://juick.com/Umnik/2211152

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VIKING

После прочитанной статьи и комментарий не покидает ощущение, что где то я об этом уже слышал и читал....

Да и кто о данной проблеме не писал, но видно сама проблема достигла критической точки, что о ней заговорили даже представители крупных вендоров...

Если не впадать в эмоции, то можно сделать два вывода =

1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Даже к тем источникам , которые указал уважаемый автор, увы отношение настороженные...

2. Вендоры в основном относятся к своему продукту как к товару , который надо пропиарить любыми способами и продать, а там хоть трава не расти..

На все это можно закрыть глаза и не обращать внимание, если бы не одно большое НО...

Все это направлено на конечный объект = пользователя...

Который в лучшем случае остается в неведении , в худшем - в дураках...

Как здесь не вспомнить киношного героя =

""За что, обидно понимаешь, ну очень обидно""

Правда там у него на ушах висели цветы, а в данном случае - лапша , обильно политая соусом....

О мама мия........

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Не так, тесты-то есть, но даже идеальные тесты нечистоплотные вендоры могут подпортить.

1. Сейчас у Vb100 вполне себе приличная методология, и к вендорам равное отношение, а случай с "я нашел много вирусов в одном каталоге значит меня тестируют значит все остальное тоже вирусы" - явно нечистоплотное поведение вендора, тестер не причем. Просто у Хавса и чистые файлы и вредные в одной куче - что вообще идеально для выявления таких заточек.

2. Вот приходят нам результаты очередного теста - мешок пропущенных файлов - мы смотрим и часть оспариваем как не вредные - битые, чистые, пупсы, часть признаем пропусками. Так делают все вендоры. Но некоторые оспаривают часть реальных пропусков. Кто схватит их за руку? Кроме своих пропусков проверять и чужие? Перепроверять? Ну сейчас уже начали и это делать. Сил тратится больше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
2. Вот приходят нам результаты очередного теста - мешок пропущенных файлов - мы смотрим и часть оспариваем как не вредные - битые, чистые, пупсы, часть признаем пропусками. Так делают все вендоры. Но некоторые оспаривают часть реальных пропусков. Кто схватит их за руку? Кроме своих пропусков проверять и чужие? Перепроверять? Ну сейчас уже начали и это делать. Сил тратится больше.

Именно поэтому иногда проще не давать никому самплы, чтобы не создавать своими руками почву для манипуляций.

1. Не смотря на обилие профессиональных, полу профессиональных и просто любительских тестов (кто сейчас только не тестирует),

объективных тестов нет.

Есть нормальные интересные тесты. Другое дело, что они начинают тонуть в тоннах говнотестов типа вот таких

http://www.anti-malware.ru/forum/index.php?showtopic=17901

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Сергей Ильин Вот кстати в идее "не давать никому самплы" есть здоровое зерно. То есть все в равных условиях и кивать некуда. Если продукт заточили под одно, а в семплах будет другое, то никто не виноват и базы оправдаться просто не будет.

Тогда может все займутся наконец заточкой под защиту пользователя.

Вот кто б ещё придумал, как заставить исправлять многолетние ошибки в продуктах... Хотя это уже совсем фантастика

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Сергей Ильин Вот кстати в идее "не давать никому самплы" есть здоровое зерно. То есть все в равных условиях и кивать некуда. Если продукт заточили под одно, а в семплах будет другое, то никто не виноват и базы оправдаться просто не будет.

Тогда может все займутся наконец заточкой под защиту пользователя.

Вот кто б ещё придумал, как заставить исправлять многолетние ошибки в продуктах... Хотя это уже совсем фантастика

1. Не давать семплы - нет уверенности что там не мусор, а мусор там часто.

2. Пропуски в тестах тоже являются основой для выяснения недоработок продукта \ движка.

3. Баги в продуктах и детект - разные люди делают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Последний тест на лечение от Клементи тоже не радует объективностью. Сэмплы брались непонятно какие, ни один вендор так видимо и не узнал их названия.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki

Есть мнение! :) И естественно на меня всем плевать! :(

Все эти тестеры липовые, они берут деньги или меняют пиар на пиар(как только они становятся известными предпочитают деньги и много)!

Людям просто выдаются нужные результаты, нечего там не тестируется!!!

Да и вообще протестировать, сравнить антивирусы – ЧЕСНО невозможно!

А зачем спортсменам соревноваться, давайте их протестируем и вручим медали по результатам тестирований!

————————-

Гораздо эффективней демонстрировать и убеждать что этот продукт лучше! =)

Это касается как рекламы, так и работы продукта у пользователей!

Должны присутвовать современные, НАДЕЖНЫЕ и КАЧЕСТВЕННЫЕ технологии, для продвинутых людей. И серьезных – бизнеса.

Узнать больше:

http://forum.kasperskyclub.ru/index.php?sh...st&p=551736

=)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Все эти тестеры липовые, они берут деньги или меняют пиар на пиар(как только они становятся известными предпочитают деньги и много)!

Все правильно. Зачем тестировать ... надо все взять, да и поделить продемонстрировать! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Vitaliki

Есть мнение!
Vitaliki

Лучше бы увидеть конкретные предложения. Не типа "должны присутствовать", а суть этих технологий и их источник.

OlegAndr Тоже правда, тем более что считать мусором, что зловредом и т д - это отдельная головная боль.

Насчёт багов это понятно, просто к слову пришлось )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki
Vitaliki Vitaliki

Лучше бы увидеть конкретные предложения. Не типа "должны присутствовать", а суть этих технологий и их источник.

Это очень сложно и много, и я и о этом писал и пишу. Сформулировать, раcставить всё по полочкам невозможно, для чего, меня не поймут. Это как долбиться головой в метровую броню, я только себе голову разабью и спрашивается для кого я буду это делать.

Источником технологий должен являтся хорошо развитый интеллект, точка. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

давненько с виталегом не дисскутировали ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Я бы не преминул вновь продемонстрировать собственное отношение пресс-службы ЛК, например, к Gartner-овским "не-тестам", и тут напомню про сие: http://www.kaspersky.com/about/news/busine...dpoint_Security

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov

Виталий Я. На русском эта новость в первых рядах... Текст "один из лидеров" лёгким движением руки превращается в заголовок "«Лаборатория Касперского» названа лидером по итогам независимого исследования решений класса Endpoint Security" Что там ЕК в "Каше из топора" пишет?? ^_^

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Я бы не преминул вновь продемонстрировать собственное отношение пресс-службы ЛК, например, к Gartner-овским "не-тестам", и тут напомню про сие: http://www.kaspersky.com/about/news/busine...dpoint_Security

Чо не так-то ?

Там для таких "умных" даже артикль правильный поставлен "Kaspersky Lab Named a Leader"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

A.

Он проверку орфографии в Word осилил. Я аж банить не хочу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vitaliki

[Виталик, лучше больше не оффтопь. Ты хорошо начал, но снова скатываешься в бан.]

Отредактировал Umnik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Там для таких "умных" даже артикль правильный поставлен "Kaspersky Lab Named a Leader"

Для таких внимательных выше приведена цитата заголовка русской версии, не?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • AM_Bot
      Утилита Avast Driver Updater позволяет автоматизировать регулярное обновление аппаратных драйверов для поддержания операционной системы Windows в стабильном состоянии. Avast Driver Updater проверяет обновления в реальном времени по онлайн-базе 500 000 драйверов и делает регулярные обновления простыми для пользователей. ВведениеФункциональные возможности Avast Driver UpdaterСистемные требования Avast Driver UpdaterУстановка и активацияРабота с Avast Driver Updater5.1. Сканирование5.2. Обновление5.3. Безопасность использования системы5.4. Создание резервных копий и восстановление драйверовВыводы ВведениеВо многих случаях аварийные отказы операционной системы происходят из-за ошибок в драйверах устройств. Устаревшие или отсутствующие драйверы способны вызвать массу проблем в работоспособности системы — от замедления скорости работы программного обеспечения до проблем совместимости оборудования и постоянного вылета в синий экран смерти (BSOD). Хотя производители аппаратуры регулярно выпускают обновления, которые позволяют использовать возможности компьютера более эффективно, многие пользователи не знают о них и годами пользуются устаревшими драйверами, смиряясь с ошибками системы. Кроме того, в регулярных обновлениях нуждаются и безошибочно работающие драйверы для обеспечения совместимости с новыми модификациями операционной системы и смежным оборудованием.Avast Driver Updater призван решить проблему регулярного обновления драйверов оборудования для операционной системы Windows. В базе утилиты более 500 000 драйверов — этого достаточно для поддержания актуальности не только популярных аудио- и видеокарт, микрофонов и принтеров, но и для исправления ошибок совместимости при использовании старых компьютеров. Функциональные возможности Avast Driver UpdaterAvast Driver Updater сканирует реестр Windows для определения конфигурации системы и необходимых для стабильной работы драйверов. В перечень определяемого оборудования входят принтеры, сканеры, цифровые камеры, видео- и сетевые адаптеры, а также звуковые и графические процессоры, устройства ввода, запоминающие устройства и их контроллеры, системные устройства и другие элементы системы.Ключевые функции Avast Driver Updater — это поиск последних версий драйверов для оборудования и их автоматическое обновление. Утилита также предложит обновить поврежденные или установить отсутствующие драйверы. Системные требования Avast Driver UpdaterAvast Driver Updater не требователен к ресурсам и будет работать практически на любом оборудовании. Вот минимальные требования, заявленные производителем: Windows XP/Vista/7/8/10 с последними пакетами обновлений (кроме версий Starter, RT, Mobile и IoT) базовая (32- или 64-разрядная версия);компьютер с процессором Intel Pentium 4 или AMD Athlon 64 (либо новее; необходима поддержка инструкций SSE2);256 МБ ОЗУ (или более);400 МБ свободного пространства на жестком диске;соединение с интернетом для загрузки, активации и обновления программы. Установка и активация Avast Driver UpdaterДля загрузки и активации программы требуется 400 МБ свободного пространства на жестком диске и соединение с интернетом. Разработчик предоставляет два варианта лицензии — бесплатная, только для проверки драйверов, и полная — с автоматической проверкой и возможностью установки обновлений. Стоимость полной версии на момент написания обзора — 850 р/год.Также утилиту можно установить в комплекте с Avast Antivirus. Работа с Avast Driver UpdaterПрограмма очень простая в использовании благодаря русскоязычному интерфейсу, который шаг за шагом ведет пользователя. При первом запуске Avast Driver Updater распознает оборудование и параметры системы. Прежде всего программа предложит запустить сканирование, чтобы автоматически выявить отсутствующие, неподходящие или устаревшие драйверы (рис. 1). Рисунок 1. Сканирование системы в Avast Driver Updater Среди других функций Avast Driver Updater предлагает резервное копирование и восстановление драйверов, а также автоматический и запланированный поиск драйверов в определенное время или с определенной частотой.СканированиеПроцесс сканирования системы занимает несколько секунд. В результате сканирования Avast Driver Updater визуализирует актуальность драйверов в виде таблицы. Кроме того, программа сразу показывает список проблемных драйверов, в котором можно выбрать, какие необходимо обновить. К сожалению, программа не предоставляет информации о дате выпуска обновляемого драйвера. Скачать выбранные драйверы можно вручную по одному, либо отметить несколько для автоматического скачивания и обновления (рис. 2). Подсказок о критичности обновления каждого конкретного драйвера программа также не дает. Рисунок 2. Результаты сканирования в Avast Driver Updater  На этом этапе программа предложит ввести лицензионный ключ, чтобы скачать обновления. Пробная версия не позволяет скачать рекомендуемые драйверы через интерфейс программы (рис. 3). Рисунок 3. Активация программы Avast Driver Updater  Настроить периодическое сканирование можно в разделе Параметры ▸Планирование (рис. 4). Программа способна автоматически проверять наличие обновлений драйверов по выбранному расписанию — ежедневно или еженедельно. Рисунок 4. Настройка периодического сканирования в Avast Driver Updater ОбновлениеAvast Driver Updater использует собственную облачную технологию для обновления нескольких драйверов одновременно без потери скорости. Разработчик сотрудничает более чем со 100 крупнейшими производителями оборудования для поддержания базы в актуальном состоянии, скачивание производится с сайтов официальных источников.Перед началом установки программа автоматически создает резервные копии обновляемых драйверов и точку восстановления операционной системы (рис. 5). Рисунок 5. Автоматическое создание резервных копий перед началом обновления в Avast Driver Updater  Скорость обновления драйвера зависит от объема скачиваемых файлов — в нашем случае это заняло меньше минуты (рис. 6). Рисунок 6. Установка драйверов в Avast Driver Updater  Чтобы снизить риск конфликтов оборудования, драйверы устанавливаются поочередно. При установке нескольких обновлений сразу может потребоваться несколько раз перезагрузить компьютер. После каждой перезагрузки программа Avast Driver Updater будет запускаться и отображать оставшиеся обновления.Безопасность использования системыЕсть мнение, что использование автоматических систем обновления может привести к сбоям в стабильности системы, однако производитель Avast Driver Updater проработал и эти риски. Перед установкой новых драйверов Avast Driver Updater создает резервные копии обновляемых драйверов, а также точку восстановления операционной системы. Эти действия позволяют сделать возврат к предыдущей стабильно работающей версии, если что-то пойдет не так.Создание резервных копий и восстановление драйверовВ разделе Резервное копирование можно управлять резервными копиями установленных драйверов — настроить расположение по умолчанию, перенести копии в другое место или создать новые (рис. 7). Рисунок 7. Просмотр резервных копий драйверов в Avast Driver Updater  Такая функция дает определенные преимущества перед установкой обновлений вручную — повышает уровень безопасности процесса обновления, если пользователь не делает копии самостоятельно. Для бдительных пользователей, регулярно создающих точки восстановления, эта функция поможет избежать риска забыть сделать копии.Если необходимо восстановить ранее обновленные драйверы, можно загрузить их в соответствующем пункте меню. Кроме того, программу можно использовать для восстановления копии операционной системы из заранее сохраненной точки (рис. 8). Рисунок 8. Интерфейс восстановления версий драйверов и операционной системы в Avast Driver Updater  Выбрать расположение, куда сохранять и откуда будут автоматически восстанавливаться резервные копии, можно в разделе Параметры (рис. 9). Здесь же можно настроить, будет ли выполняться перезагрузка компьютера после восстановления из резервной копии. Рисунок 9. Настройка параметров резервного копирования в Avast Driver Updater  ВыводыПроверить актуальность драйверов можно и штатными средствами через панель управления Windows. Но поскольку это не очень удобно, регулярное обновление и поддержка драйверов устройств в актуальном состоянии часто становится непростой задачей и требует много времени, особенно для людей, которые не знакомы с тонкостями работы компьютера и операционной системы. Кроме того, источником обновлений в этом случае выступает Microsoft, а не производители оборудования, поэтому версия драйвера не всегда может быть актуальной.Тем не менее, регулярное обновление драйверов улучшает производительность компьютера — многие сбои и ошибки системы вызваны проблемами с устаревшими драйверами.Avast Driver Updater успешно справляется со своей главной задачей — сделать регулярные обновления драйверов простыми для пользователя. Программа проверит текущие установленные версии драйверов всех распространенных устройств и элементов системы. Наиболее эффективным решением будет настроить регулярную проверку обновлений, совпадающую с работой Центра обновления Windows — многие производители выпускают новые драйверы сразу после выходов новых пакетов обновлений операционной системы.Для сканирования в режиме реального времени используется динамическая онлайн-база драйверов с сайтов производителей. Avast Driver Updater покажет, какие обновления доступны, и, в платной версии, поможет их установить. Это гораздо удобнее, чем ручная проверка каждого драйвера устройств штатными средствами операционной системы.Преимущества: Большая база данных драйверов от различных производителей.Высокая скорость сканирования.Обновление всех устаревших драйверов одним нажатием.Поддержка всех популярных версий Windows XP/Vista/7/8/10.Автоматическое создание резервных копий драйверов и операционной системы для восстановления в случае возникновения проблем совместимости.Скачивание драйверов с официальных сайтов производителей оборудования.Недостатки:Необходимость несколько раз перегружать компьютер в процессе установки пакета драйверов вместо единой перезагрузки после всех обновлений.Ручное управление диалоговыми окнами установщиков драйверов.Нет информации о дате выпуска обновляемого драйвера.Достаточно высокая стоимость приложения.Тестовая версия не позволяет обновить драйверы. Читать далее
    • nsk-sergey
      Есть вариант установить рут-права и сделать то, что нужно с телефоном. Но может случиться так, что пере прошивки не избежать. 
    • demkd
      Это уже винда что-то не то вернула о свойствах процессора или время корректировалось.

      Небольшое обновление:
      Исправлен модуль startf, он не мог правильно определять версию Windows 10.
      Из-за чего после его запуска пропадали надписи на кнопках в окнах.
    • Ego Dekker
      ESET Cyber Security/ESET Cyber Security Pro были обновлены до версии 6.7.555.
    • stas.panov
      Объяснение очень доходчивое  и по делу. Большое спасибо за информацию и ссылки. 
×