Тест эргономичности персональных антивирусов - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Тест эргономичности персональных антивирусов

Recommended Posts

Сергей Ильин

У нас завершен абсолютно новый для нас тест персональных антивирусов на эргономичность (удобство использования). Этот тест мы обдумывали около года и наконец сделали.

Понятие "эргономичности" весьма сложное, комплексное и во многом субъективное. Последнего мы хотели избежать, поэтому методология нашего теста получилась очень непростой, в том числе в нем используются ссылки на ГОСТы по эргономике. Ознакомиться с ней можно здесь http://www.anti-malware.ru/node/9570 Описание метода GOMS (это сокращение от английского Goals, Operators, Methods, and Selection Rules) можно прочитать в этом документе http://www.anti-malware.ru/files/GOMS_Method.doc

Схема награждения лучших с точки зрения эргономичности продуктов опубликована здесь http://www.anti-malware.ru/node/9571

Мы планируем опубликовать результаты теста в течение недели, в зависимости от скорости получения комментариев от производителей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Какова практическая цель? Сказать клиенту - "Как ты можешь пользоваться таким неэнергономичным продуктом?" или чтобы производители почесались и косяки исправили?

исправьте ошибки в методологии

В тесте учувствовали четыре персональных
представленные ниже сборки актуальны на момент начала теста - 04.06.2011)

судя по версиям там должен быть 2012 год

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
jet

Я тоже сомневаюсь в практичности подобного теста. Ведь не каждый день рядовой юзер лезет в настройки антивируса, если вообще туда заглядывает. Есть один вопрос, по какой причине MSE не включен в список испытуемых?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

в методологии написано, что список продуктов связан с долей рынка в России

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SySOPik

Да , куда делся MSE ?

Кстати поддержу вопрос, что значит эргономичный ? Какие критерии эргономичности?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какова практическая цель? Сказать клиенту - "Как ты можешь пользоваться таким неэнергономичным продуктом?" или чтобы производители почесались и косяки исправили?

Практических цели две:

1. Показать пользователям какой из антивирусов удобнее в использовании. Этот критерий является одним из основных при выборе продукта, наряду с эффективностью, скоростью работы и надежностью/стабильностью.

2. Дать производителям пищу для размышления и возможность внести улучшения в свои продукты.

судя по версиям там должен быть 2012 год

Все верно, поправили, была ошибка в дате.

Я тоже сомневаюсь в практичности подобного теста. Ведь не каждый день рядовой юзер лезет в настройки антивируса, если вообще туда заглядывает. Есть один вопрос, по какой причине MSE не включен в список испытуемых?

А тут речь не только о настройках. В частности фокус-группой оценивались следующие действия (в методологии это есть):

Сканирование определенной директории на наличие вредоносных программ.

Запуск полного сканирования всех дисков и областей.

Настройка сканирования по расписанию (в 12.00 каждый четверг).

Запуск обновления.

Восстановление файла из карантина.

Поиск в справке информации по работе с карантином.

Просмотр отчета о последнем сканировании и найденных угрозах.

Настройка сетевого экрана (добавить Adobe Reader в доверенные программы).

Добавление программы в исключение из проверки.

Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя».

Это типовые активности, которые большинство юзеров делают с продуктов. И тут очень часто возникают проблемы, продукт начинает бесить. То карантин невозможно найти, то сканирование не понятно как запустить ну и т.д.

Да , куда делся MSE ?

Мы взяли 5 наиболее популярных продукта. MSE в их число не попал.

Кстати поддержу вопрос, что значит эргономичный ? Какие критерии эргономичности?

Все же написано в методологии http://www.anti-malware.ru/node/9570 даже есть рисунок 1, который наглядно отвечает на ваш вопрос.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
~Джон Доу~
5. Техническая эстетика

Техническая эстетика оценивается комбинированным способом - при помощи экспертной оценки и анкетирования пользователей после работы с приложением.

Данный показатель складывается из оценки используемых в пользовательском интерфейсе шрифтов, цветов, анимации, звуковых сигналов, пиктограмм, программных элементов, группировок программных элементов.

С экспертами всё ясно.

А с пользователями - не совсем. Их самих, пользователей, тестировали на "эргономичность" (а вдруг у кого-нибудь из них бессонница была по причине зубной боли), возрастную и гендерную принадлежность и психологию, а так же - толерантность в ощущениях (вдруг они сознание перед тестом расширяли путём приёма веществ)?

Справки, заверенные нотариусом, от нарколога, психиатра и окулиста они предоставили?

Это важно! А то у всех же восприятие разное. Например, при кликании Настройки/Внешний вид/Тема и субъективном просмотре результатов (ежели у тестируемых продуктов присутствует подобный функционал конечно).

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Это типовые активности, которые большинство юзеров делают с продуктов.
Сканирование определенной директории на наличие вредоносных программ.

Запуск полного сканирования всех дисков и областей.

Настройка сканирования по расписанию (в 12.00 каждый четверг).

Запуск обновления.

Восстановление файла из карантина.

Поиск в справке информации по работе с карантином.

Просмотр отчета о последнем сканировании и найденных угрозах.

Настройка сетевого экрана (добавить Adobe Reader в доверенные программы).

Добавление программы в исключение из проверки.

Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя».

Нет связи между этими двумя цитатами. Приведенный набор - это набор задач, которые можно выполнить. Но не часто, а вообще. В моем окружении нет ни одного человека, и это я не утрирую, который бы выполнял эти задачи хотя бы один раз за последний год.

Таким образом оценка сводится к "на сколько просто выполнить такие-то задачи". Без учета, нужны ли эти задачи этому человеку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Таким образом оценка сводится к "на сколько просто выполнить такие-то задачи". Без учета, нужны ли эти задачи этому человеку.

Дима, соглашусь при одном НО. Если все эти задачи никому не нужны, то зачем они существуют? И более того, производители частенько указывают мол "да вы настройте то-то, зайдите сюда и все будет ХОРОШО". А потом сами же говорят, что туда лазить не нужно. :) Где логика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Если все эти задачи никому не нужны, то зачем они существуют?

Не знаю. Я бы с удовольствием вытравил множество настроек в KIS, к примеру. Ну и в MSE изменил бы логику и настройки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kartavenko M.V.
С экспертами всё ясно.

А с пользователями - не совсем. Их самих, пользователей, тестировали на "эргономичность" (а вдруг у кого-нибудь из них бессонница была по причине зубной боли), возрастную и гендерную принадлежность и психологию, а так же - толерантность в ощущениях (вдруг они сознание перед тестом расширяли путём приёма веществ)?

Справки, заверенные нотариусом, от нарколога, психиатра и окулиста они предоставили?

Это важно! А то у всех же восприятие разное. Например, при кликании Настройки/Внешний вид/Тема и субъективном просмотре результатов (ежели у тестируемых продуктов присутствует подобный функционал конечно).

:)

А у Вас есть справка от психиатра и диплом о среднем образовании, чтобы на форумах писать ;)

Пользователями выступали студенты 3-го курса кафедры психологии ТТИ ЮФУ. Все здоровые, бодрые (исследования начиналось в 10.20), 6 М и 6 Ж.

Тут дело не в конкретных пользователях (хотя особенности конечно у всех разные). Если Вы почитаете как буржуи проводят юзабилити-тестирование, то увидите, что они просто берут 5-6 случайных пользователей, для того, чтобы выявить типичные ошибки и проблемы интерфейса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Если Вы почитаете как буржуи проводят юзабилити-тестирование, то увидите, что они просто берут 5-6 случайных пользователей, для того, чтобы выявить типичные ошибки и проблемы интерфейса.

я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

а уж про толерантность и восприятие - это настолько отдельная тема, что вот из-за некоторых стран звук свиньи приходится убирать. а вашим-то студентам конечно оно пофигу будет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kartavenko M.V.
я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

а уж про толерантность и восприятие - это настолько отдельная тема, что вот из-за некоторых стран звук свиньи приходится убирать. а вашим-то студентам конечно оно пофигу будет.

Если не знаете как проводят буржуи - почитайте. Это как раз гуру в этой теме.

Хорошо что Вы собираете статистику и какое отношение имеет это к обсуждению методологии.

Понятно, что все люди разные и что из этого. Один из вопросов в наших анкетах касался и звуков.

Мы не предлагаем Вам некую истину или рецепт счастья. Это просто тест, оценивающий конкретные параметры программного продукта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Мы не предлагаем Вам некую истину или рецепт счастья. Это просто тест, оценивающий конкретные параметры программного продукта.

Точно.

Точно также как кривые тесты школьников "просканировал 200 вирусов, скачанных из интернета, Касперский пропустил 10!" - тоже оценивают какие-то параметры.

Но вот за тест "200 вирусов" принято гнобить, а тут нам предлагают нечто, под брендом уважаемой лаборатории АМ.

Впрочем, если Илье так угодно - хозяин-барин.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Точно также как кривые тесты школьников "просканировал 200 вирусов, скачанных из интернета, Касперский пропустил 10!" - тоже оценивают какие-то параметры.

Но вот за тест "200 вирусов" принято гнобить, а тут нам предлагают нечто, под брендом уважаемой лаборатории АМ.

Все же тут параллели нельзя такие проводить. Методика теста системная и она на выходе реально показывает у кого что хромает. Что касается выборки, то тут классика фокус-групп. Берем 12 человек, которые оценивают продукты по ряду критериев. Если бы фокус-группы не работали, то их бы никто не далал. Вопрос в том, как проводить фокус-группы и что у людей спрашивать. В данном случае у меня лично есть уверенность, что мы спрашиваем правильные вещи.

Возможно, из опубликованной методологии не все понятно, так как полная ее версия представляет из себя очень объемный документ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

Такая статистика скажет только какие функции востребованы, а какие нет. Возможно, как-то получится вытащить данные о скорости работы (как быстро юзер находит нужную настройку и фичу). Но эта статистика не скажет вам ничего о количестве ошибочных действий юзера, его субъективной удовлетворенности интерфейсом продукта. Техническую эстетику, могут оценить внутренние эксперты по юзабилити, ок.

И самое главное. Это статистика только ваших пользователей. Вы не знаете, что думают об юзабилити продукта другие пользоватили.

Таким образом, результаты этого теста не противоречат никакой статистике. Наоборот, они ее дополняют. Я даже уверен, что ваши юзабилити-эксперты оценят тест по достоинству.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Но эта статистика не скажет вам ничего о количестве ошибочных действий юзера, его субъективной удовлетворенности интерфейсом продукта. Техническую эстетику, могут оценить внутренние эксперты по юзабилити, ок.

А этот тест скажет ?

И самое главное. Это статистика только ваших пользователей. Вы не знаете, что думают об юзабилити продукта другие пользоватили.

ась ? чего ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mvs
я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

ооо какие подробности, а каким образом данная статистика собрана? уже не через KSN ли? или по анализам трейсов во время тестирования и обращения в саппорт? :)

эргономичность интерфейса есть смысл проверять на программах в которых каждый день трогают какие либо настройки и инструменты.. уже если тестировать то лучше консоли управления антивирусными продуктами.. сами антивирусы и их интерфейсы нет смысла, ну разве только если отчетов о сканировании и обнаруженных угрозах. Разработчики уделяют внимание только рюшечкам в главном окне, на остальное просто забивают - все равно там никто не лазит, и приоритеты ошибок GUI как правило низки, если они не вызывают падений продукта или некоректность работы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А этот тест скажет ?

Да, покажет. Там есть разделы, которые показывают количество ошибочных действий юзера, его субъективную удовлетворенность интерфейсом продукта и оценку технической эстетики продуката.

ась ? чего ?

Повторю свою мысль. KSN собирает данные от пользователей Антивируса Касперского, которые его выбрали и используют. Понятно, что есть еще в разы больше пользователей, которые НЕ используют Антивирус Касперского и о них KSN ничего не знает. Мы же исследуем выборку из генеральной совокупности всех пользователей, а не только пользователей Антивируса Касперского. В этом принципиальная разница.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Повторю свою мысль. KSN собирает данные от пользователей Антивируса Касперского, которые его выбрали и используют. Понятно, что есть еще в разы больше пользователей, которые НЕ используют Антивирус Касперского и о них KSN ничего не знает. Мы же исследуем выборку из генеральной совокупности всех пользователей, а не только пользователей Антивируса Касперского. В этом принципиальная разница.

Ты сказал

@Вы не знаете, что думают об юзабилити продукта другие пользоватили.@

Зачем нам знать, что думают о юзабилити нашего продукта пользователи не наших продуктов ? Как они вообще могут что-то думать о нашем юзабилити ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
уже если тестировать то лучше консоли управления антивирусными продуктами

Корпоративные продукты, а именно консоли управления, также планируется тестировать. Но начать мы решили с более простых вещей.

Вообще дискуссия выглядит несколько странно. Такое ощищуние, что меня пытаются убедить, что антивирусу интерфейс не нужен. А если он и нужен, то все равно какой он там. Допустим это так. Тогда нафига напрягаться и каждый год говорить об улучшениях интерфейса, его оптимизации и разных украшательствах, если он не нужен? Вендоры противоречят сами себе.

Юзеру важен интерфейс, даже если он туда и заходит пару раз в год. Он знает, что если что-то понадобится, то сможет это быстро найти и сделать. Некрасивый продукт в конечном итоге никто покупать не будет. Потому что мало кто хочет платить за "галимое поделье", разработчики которого настолько не уважают пользователя, что выпускают в продажу убожество в стиле Windows 95. Нормальные люди не покупают некрасивые машины, не женятся на страшных женщинах и не ставят себе софт с убогим интерфейсом :) Каждый хочет за свои деньги качественный и красивый продукт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Дорогие читатели, а теперь квест - Угадайте, насколько один интерфейс выигрывает у другого

007_DrWeb7_01sa.png

269232-norton-antivirus-2012-advanced-interface.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Мы уперлись в две разных сути:

1. Реальное мнение конечного пользователя

2. Простота выполнения заданных задач

Проблема в том, что эти два пункта слабо связаны, но тест пытается это сделать. ИМХО зря. В тесте рассматриваются задачи, которые реальному пользователю вообще не уперлись. И реальный пользователь (точнее 6 человек) "тупит". А после этого теста больше никогда не будет снова выполнять эти задачи.

Если Сергей пойдет на переформулирования целей теста, то негативный напор сократится. Это не тест юзабилити. Для теста юзабилити нужно рассмотреть реальные взаимодействия пользователя с антивирусами (у ЛК есть такая статистика, кстати), а исходя из тех реальных задач сформировать список, по которому "прогнать" ну хотя бы эту шестерку.

Простой пример. Антивирус не требует обновить базы, даже если им уже пара месяцев (Симнтек, Касперский). Значит и пользователь не будет этого делать. А антивирус и сам обновит по необходимости. Зато вызвать окно настроек или включить и настроить Родительский контроль - это уже вполне задача для оценки.

Дорогие читатели, а теперь квест - Угадайте, насколько один интерфейс выигрывает у другого

Ох как я не люблю, когда логику iOS переносят в Win приложения. Тем более не целиком, а одним-двумя элементами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

имхо drweb однозначно выигрывает по простоте на конкретном окне, только вот для большинства все спецтермины будут непонятны и они просто поставят все галки, а раз ставят все галки, то зачем их вообще разделять, пусть будет одна кнопка посередине "Запустить проверку" которая проверит все

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
И реальный пользователь (точнее 6 человек) "тупит". А после этого теста больше никогда не будет снова выполнять эти задачи.Для теста юзабилити нужно рассмотреть реальные взаимодействия пользователя с антивирусами (у ЛК есть такая статистика, кстати), а исходя из тех реальных задач сформировать список, по которому "прогнать" ну хотя бы эту шестерку.

Выборка действий для этого теста очень важный его элемент, я согласен, но не ключевой. Если все настройки сделаны через Ж, то все равно какую из них дергать.

Простой пример. Антивирус не требует обновить базы, даже если им уже пара месяцев (Симнтек, Касперский). Значит и пользователь не будет этого делать. А антивирус и сам обновит по необходимости. Зато вызвать окно настроек или включить и настроить Родительский контроль - это уже вполне задача для оценки.

А многие ли лезут включать Родительский контроль? Вопрос будет тот же. Например я ручное обновление переодически дергаю, чтобы удостовериться что антивирус еще жив. А Родитеский контроль не включать мне даже в голову не придет на своем компьютере.

Потом тут есть еще один важный момент. Эти действия должны быть возможны в любом продукте. Тот же родительский контроль отпадает, так как он есть не у всех. Но это так, к слову.

Ох как я не люблю, когда логику iOS переносят в Win приложения. Тем более не целиком, а одним-двумя элементами.

Не ты один такой. Многие из тестовой группы на Нортоне "сломались". Хотя нарисовано все вроде как круто ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Да есть такой баг, выбор целого диска не предусмотрел.
    • PR55.RP55
      Сейчас попробовал добавить файлы и... E:\ [Error: 0x3 - The system cannot find the path specified. ] т.е. Файл > Добавить в список >  Все исполняемые файлы каталога. или пишет вышеуказанную ошибку или вешается. Это и на Win 7 и на Win 10 и с HDD дисками и с USB Диски нормально открываются т.е. доступны.
    • demkd
      А ничего с этим не сделать старые версии windows проблемные там система сама балуется внедрением потоков при очень низком уровне защиты системных процессов, а эцп вообще ничего не гарантирует когда речь заходит о внедренных потоках, зловред вполне может внедрить поток в системный процесс как с помощью подкинутой в правильное место "легитимной" dll, так и просто создав его, а тот уже в свою очередь внедрить в следующий системный и ищи концы среди вот этого вот всего.
      Все это усугубляется тем что тот же SVCHOST.EXE который был когда запущен может оказаться совсем не системным, хотя путь у него будет правильным как и файл будет иметь валидную эцп и запущен он будет якобы services.exe, в 10ке такое провернуть уже сложнее, а вот 7ке легко, потому урезать лог по принципу "оба файла имеют эцп" никак нельзя.
    • PR55.RP55
      uVS v5.0.6v x64 [http://dsrt.dyndns.org:8888]: Windows 7 Home Basic x64 (NT v6.1 SP1) build 7601 Service Pack 1 [C:\WINDOWS] (!) ПРЕДУПРЕЖДЕНИЕ: Ф зафиксировал внедрение потока C:\WINDOWS\SYSTEM32\SERVICES.EXE [428] внедрил поток [380] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [876]   C:\WINDOWS\SYSTEM32\SVCHOST.EXE [1060] внедрил поток [1276] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [336] и т.д.  А есть ли смысл выводить в лог десяток - другой аналогичных записей, если все эти файлы  в базе проверенных и у них легальная цифровая?  
    • demkd
      ---------------------------------------------------------
       5.0.6
      ---------------------------------------------------------
       o Добавлено 4 новых ключа автозапуска в список для проверки.

       o Добавлен новый статус "UWP".
         Его получают пакеты приложений универсальной платформы Windows (Universal Windows Platform Apps).

       o Добавлен новый твик #46: Отключить Windows Terminal и очистить реестр.
         Если Windows Terminal активен, в лог выдается предупреждение.
         При обнаружении подозрительных настроек Windows Terminal в конфигурационных файлах, реестре или в каталогах с фрагментами в лог выводится предупреждение.
         Если подозрительная строка найдена в JSON-файле настроек, то в список автозапуска добавляется этот файл с содержимым со статусом "подозрительный".
         В любом случае рекомендуется отключить Windows Terminal, а еще лучше немедленно удалить это из системы.
         Windows Terminal — крайне уязвимый и неоптимизированный кусок кода.

       o Улучшена функция масштабирования удаленного рабочего стола, повышено качество аппаратного апскейла, добавлен параметр "Резкость".
         (Требуется D2D и DX11 на клиентском компьютере)

       o Исправлена старая ошибка в функции отправки ответов серверной части uVS.
         Из-за ошибки в редких случаях могло происходить подвисание серверной и клиентской частей uVS при работе с удаленной системой.

       o Исправлена ошибка в функции завершения серверной части при выходе из удаленной системы.

       o Оптимизирована функция подключения к удаленной системе.

       o Оптимизирована функция сжатия фреймов для DDAL/DDAw режимов: шрифты теперь не теряют яркость, а картинка DDAL практически неотличима от DDA1/DDA2 на глаз, 
         при этом размер сжатого фрейма вырос лишь незначительно.

       o Добавлена x64 версия report_crash.

       o Обновалена функция сбора дампа при падении uVS, функция перенесена в утилиту report_crash, что позволит
         получить максимально точную информацию о произошедшей ошибке.

       o Временно добавлена аппаратная функция обнаружения разрушения списка автозапуска в памяти uVS, что позволит отлавливать сложные в обнаружении ошибки.
         Есть 5 дампов, по которым не удалось выяснить точное место ошибки и эта функция должна помочь найти проблемное место.
         Функция снижает скорость формирования списка на ~5% на современных процессорах.

       o Исправлена ошибка в функции подсчета удаленных ключей реестра.

       o Исправлена ошибка в функции записи параметров при выходе из uVS.

       o Исправлена ошибка разбора JSON-файлов.

       o Исправлена ошибка проверки переменных окружения загруженного пользователя.

       o Из списка доступных для подключения IP-адресов удалены адреса активных VPN.

       
×