Тест эргономичности персональных антивирусов

[Сергей Ильин 1538]

У нас завершен абсолютно новый для нас тест персональных антивирусов на эргономичность (удобство использования). Этот тест мы обдумывали около года и наконец сделали.

Понятие "эргономичности" весьма сложное, комплексное и во многом субъективное. Последнего мы хотели избежать, поэтому методология нашего теста получилась очень непростой, в том числе в нем используются ссылки на ГОСТы по эргономике. Ознакомиться с ней можно здесь http://www.anti-malware.ru/node/9570 Описание метода GOMS (это сокращение от английского Goals, Operators, Methods, and Selection Rules) можно прочитать в этом документе http://www.anti-malware.ru/files/GOMS_Method.doc

Схема награждения лучших с точки зрения эргономичности продуктов опубликована здесь http://www.anti-malware.ru/node/9571

Мы планируем опубликовать результаты теста в течение недели, в зависимости от скорости получения комментариев от производителей.

[strat 275]

Какова практическая цель? Сказать клиенту - "Как ты можешь пользоваться таким неэнергономичным продуктом?" или чтобы производители почесались и косяки исправили?

исправьте ошибки в методологии

В тесте учувствовали четыре персональных

представленные ниже сборки актуальны на момент начала теста - 04.06.2011)

судя по версиям там должен быть 2012 год

[jet 7]

Я тоже сомневаюсь в практичности подобного теста. Ведь не каждый день рядовой юзер лезет в настройки антивируса, если вообще туда заглядывает. Есть один вопрос, по какой причине MSE не включен в список испытуемых?

[strat 275]

в методологии написано, что список продуктов связан с долей рынка в России

[SySOPik 52]

Да , куда делся MSE ?

Кстати поддержу вопрос, что значит эргономичный ? Какие критерии эргономичности?

[Сергей Ильин 1538]

Какова практическая цель? Сказать клиенту - "Как ты можешь пользоваться таким неэнергономичным продуктом?" или чтобы производители почесались и косяки исправили?

Практических цели две:

1. Показать пользователям какой из антивирусов удобнее в использовании. Этот критерий является одним из основных при выборе продукта, наряду с эффективностью, скоростью работы и надежностью/стабильностью.

2. Дать производителям пищу для размышления и возможность внести улучшения в свои продукты.

судя по версиям там должен быть 2012 год

Все верно, поправили, была ошибка в дате.

Я тоже сомневаюсь в практичности подобного теста. Ведь не каждый день рядовой юзер лезет в настройки антивируса, если вообще туда заглядывает. Есть один вопрос, по какой причине MSE не включен в список испытуемых?

А тут речь не только о настройках. В частности фокус-группой оценивались следующие действия (в методологии это есть):

Сканирование определенной директории на наличие вредоносных программ.

Запуск полного сканирования всех дисков и областей.

Настройка сканирования по расписанию (в 12.00 каждый четверг).

Запуск обновления.

Восстановление файла из карантина.

Поиск в справке информации по работе с карантином.

Просмотр отчета о последнем сканировании и найденных угрозах.

Настройка сетевого экрана (добавить Adobe Reader в доверенные программы).

Добавление программы в исключение из проверки.

Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя».

Это типовые активности, которые большинство юзеров делают с продуктов. И тут очень часто возникают проблемы, продукт начинает бесить. То карантин невозможно найти, то сканирование не понятно как запустить ну и т.д.

Да , куда делся MSE ?

Мы взяли 5 наиболее популярных продукта. MSE в их число не попал.

Кстати поддержу вопрос, что значит эргономичный ? Какие критерии эргономичности?

Все же написано в методологии http://www.anti-malware.ru/node/9570 даже есть рисунок 1, который наглядно отвечает на ваш вопрос.

[~Джон Доу~ 45]

5. Техническая эстетика

Техническая эстетика оценивается комбинированным способом - при помощи экспертной оценки и анкетирования пользователей после работы с приложением.

Данный показатель складывается из оценки используемых в пользовательском интерфейсе шрифтов, цветов, анимации, звуковых сигналов, пиктограмм, программных элементов, группировок программных элементов.

С экспертами всё ясно.

А с пользователями - не совсем. Их самих, пользователей, тестировали на "эргономичность" (а вдруг у кого-нибудь из них бессонница была по причине зубной боли), возрастную и гендерную принадлежность и психологию, а так же - толерантность в ощущениях (вдруг они сознание перед тестом расширяли путём приёма веществ)?

Справки, заверенные нотариусом, от нарколога, психиатра и окулиста они предоставили?

Это важно! А то у всех же восприятие разное. Например, при кликании Настройки/Внешний вид/Тема и субъективном просмотре результатов (ежели у тестируемых продуктов присутствует подобный функционал конечно).

[Umnik 997]

Это типовые активности, которые большинство юзеров делают с продуктов.

Сканирование определенной директории на наличие вредоносных программ.

Запуск полного сканирования всех дисков и областей.

Настройка сканирования по расписанию (в 12.00 каждый четверг).

Запуск обновления.

Восстановление файла из карантина.

Поиск в справке информации по работе с карантином.

Просмотр отчета о последнем сканировании и найденных угрозах.

Настройка сетевого экрана (добавить Adobe Reader в доверенные программы).

Добавление программы в исключение из проверки.

Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя».

Нет связи между этими двумя цитатами. Приведенный набор - это набор задач, которые можно выполнить. Но не часто, а вообще. В моем окружении нет ни одного человека, и это я не утрирую, который бы выполнял эти задачи хотя бы один раз за последний год.

Таким образом оценка сводится к "на сколько просто выполнить такие-то задачи". Без учета, нужны ли эти задачи этому человеку.

[Сергей Ильин 1538]

Таким образом оценка сводится к "на сколько просто выполнить такие-то задачи". Без учета, нужны ли эти задачи этому человеку.

Дима, соглашусь при одном НО. Если все эти задачи никому не нужны, то зачем они существуют? И более того, производители частенько указывают мол "да вы настройте то-то, зайдите сюда и все будет ХОРОШО". А потом сами же говорят, что туда лазить не нужно. Где логика?

[Umnik 997]

Если все эти задачи никому не нужны, то зачем они существуют?

Не знаю. Я бы с удовольствием вытравил множество настроек в KIS, к примеру. Ну и в MSE изменил бы логику и настройки.

[Kartavenko M.V. 34]

С экспертами всё ясно.

А с пользователями - не совсем. Их самих, пользователей, тестировали на "эргономичность" (а вдруг у кого-нибудь из них бессонница была по причине зубной боли), возрастную и гендерную принадлежность и психологию, а так же - толерантность в ощущениях (вдруг они сознание перед тестом расширяли путём приёма веществ)?

Справки, заверенные нотариусом, от нарколога, психиатра и окулиста они предоставили?

Это важно! А то у всех же восприятие разное. Например, при кликании Настройки/Внешний вид/Тема и субъективном просмотре результатов (ежели у тестируемых продуктов присутствует подобный функционал конечно).

А у Вас есть справка от психиатра и диплом о среднем образовании, чтобы на форумах писать

Пользователями выступали студенты 3-го курса кафедры психологии ТТИ ЮФУ. Все здоровые, бодрые (исследования начиналось в 10.20), 6 М и 6 Ж.

Тут дело не в конкретных пользователях (хотя особенности конечно у всех разные). Если Вы почитаете как буржуи проводят юзабилити-тестирование, то увидите, что они просто берут 5-6 случайных пользователей, для того, чтобы выявить типичные ошибки и проблемы интерфейса.

[A. 876]

Если Вы почитаете как буржуи проводят юзабилити-тестирование, то увидите, что они просто берут 5-6 случайных пользователей, для того, чтобы выявить типичные ошибки и проблемы интерфейса.

я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

а уж про толерантность и восприятие - это настолько отдельная тема, что вот из-за некоторых стран звук свиньи приходится убирать. а вашим-то студентам конечно оно пофигу будет.

[Kartavenko M.V. 34]

я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

а уж про толерантность и восприятие - это настолько отдельная тема, что вот из-за некоторых стран звук свиньи приходится убирать. а вашим-то студентам конечно оно пофигу будет.

Если не знаете как проводят буржуи - почитайте. Это как раз гуру в этой теме.

Хорошо что Вы собираете статистику и какое отношение имеет это к обсуждению методологии.

Понятно, что все люди разные и что из этого. Один из вопросов в наших анкетах касался и звуков.

Мы не предлагаем Вам некую истину или рецепт счастья. Это просто тест, оценивающий конкретные параметры программного продукта.

[A. 876]

Мы не предлагаем Вам некую истину или рецепт счастья. Это просто тест, оценивающий конкретные параметры программного продукта.

Точно.

Точно также как кривые тесты школьников "просканировал 200 вирусов, скачанных из интернета, Касперский пропустил 10!" - тоже оценивают какие-то параметры.

Но вот за тест "200 вирусов" принято гнобить, а тут нам предлагают нечто, под брендом уважаемой лаборатории АМ.

Впрочем, если Илье так угодно - хозяин-барин.

[Сергей Ильин 1538]

Точно также как кривые тесты школьников "просканировал 200 вирусов, скачанных из интернета, Касперский пропустил 10!" - тоже оценивают какие-то параметры.

Но вот за тест "200 вирусов" принято гнобить, а тут нам предлагают нечто, под брендом уважаемой лаборатории АМ.

Все же тут параллели нельзя такие проводить. Методика теста системная и она на выходе реально показывает у кого что хромает. Что касается выборки, то тут классика фокус-групп. Берем 12 человек, которые оценивают продукты по ряду критериев. Если бы фокус-группы не работали, то их бы никто не далал. Вопрос в том, как проводить фокус-группы и что у людей спрашивать. В данном случае у меня лично есть уверенность, что мы спрашиваем правильные вещи.

Возможно, из опубликованной методологии не все понятно, так как полная ее версия представляет из себя очень объемный документ.

[Сергей Ильин 1538]

у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

Такая статистика скажет только какие функции востребованы, а какие нет. Возможно, как-то получится вытащить данные о скорости работы (как быстро юзер находит нужную настройку и фичу). Но эта статистика не скажет вам ничего о количестве ошибочных действий юзера, его субъективной удовлетворенности интерфейсом продукта. Техническую эстетику, могут оценить внутренние эксперты по юзабилити, ок.

И самое главное. Это статистика только ваших пользователей. Вы не знаете, что думают об юзабилити продукта другие пользоватили.

Таким образом, результаты этого теста не противоречат никакой статистике. Наоборот, они ее дополняют. Я даже уверен, что ваши юзабилити-эксперты оценят тест по достоинству.

[A. 876]

Но эта статистика не скажет вам ничего о количестве ошибочных действий юзера, его субъективной удовлетворенности интерфейсом продукта. Техническую эстетику, могут оценить внутренние эксперты по юзабилити, ок.

А этот тест скажет ?

И самое главное. Это статистика только ваших пользователей. Вы не знаете, что думают об юзабилити продукта другие пользоватили.

ась ? чего ?

[mvs 92]

я не знаю как там буржуи проводят, но у нас например есть статистика о том какие кнопки нажимают миллионы наших пользователей. и не только кнопки, конечно.

ооо какие подробности, а каким образом данная статистика собрана? уже не через KSN ли? или по анализам трейсов во время тестирования и обращения в саппорт?

эргономичность интерфейса есть смысл проверять на программах в которых каждый день трогают какие либо настройки и инструменты.. уже если тестировать то лучше консоли управления антивирусными продуктами.. сами антивирусы и их интерфейсы нет смысла, ну разве только если отчетов о сканировании и обнаруженных угрозах. Разработчики уделяют внимание только рюшечкам в главном окне, на остальное просто забивают - все равно там никто не лазит, и приоритеты ошибок GUI как правило низки, если они не вызывают падений продукта или некоректность работы.

[Сергей Ильин 1538]

А этот тест скажет ?

Да, покажет. Там есть разделы, которые показывают количество ошибочных действий юзера, его субъективную удовлетворенность интерфейсом продукта и оценку технической эстетики продуката.

ась ? чего ?

Повторю свою мысль. KSN собирает данные от пользователей Антивируса Касперского, которые его выбрали и используют. Понятно, что есть еще в разы больше пользователей, которые НЕ используют Антивирус Касперского и о них KSN ничего не знает. Мы же исследуем выборку из генеральной совокупности всех пользователей, а не только пользователей Антивируса Касперского. В этом принципиальная разница.

[A. 876]

Повторю свою мысль. KSN собирает данные от пользователей Антивируса Касперского, которые его выбрали и используют. Понятно, что есть еще в разы больше пользователей, которые НЕ используют Антивирус Касперского и о них KSN ничего не знает. Мы же исследуем выборку из генеральной совокупности всех пользователей, а не только пользователей Антивируса Касперского. В этом принципиальная разница.

Ты сказал

@Вы не знаете, что думают об юзабилити продукта другие пользоватили.@

Зачем нам знать, что думают о юзабилити нашего продукта пользователи не наших продуктов ? Как они вообще могут что-то думать о нашем юзабилити ?

[Сергей Ильин 1538]

уже если тестировать то лучше консоли управления антивирусными продуктами

Корпоративные продукты, а именно консоли управления, также планируется тестировать. Но начать мы решили с более простых вещей.

Вообще дискуссия выглядит несколько странно. Такое ощищуние, что меня пытаются убедить, что антивирусу интерфейс не нужен. А если он и нужен, то все равно какой он там. Допустим это так. Тогда нафига напрягаться и каждый год говорить об улучшениях интерфейса, его оптимизации и разных украшательствах, если он не нужен? Вендоры противоречят сами себе.

Юзеру важен интерфейс, даже если он туда и заходит пару раз в год. Он знает, что если что-то понадобится, то сможет это быстро найти и сделать. Некрасивый продукт в конечном итоге никто покупать не будет. Потому что мало кто хочет платить за "галимое поделье", разработчики которого настолько не уважают пользователя, что выпускают в продажу убожество в стиле Windows 95. Нормальные люди не покупают некрасивые машины, не женятся на страшных женщинах и не ставят себе софт с убогим интерфейсом Каждый хочет за свои деньги качественный и красивый продукт.

[A. 876]

Дорогие читатели, а теперь квест - Угадайте, насколько один интерфейс выигрывает у другого

[Umnik 997]

Мы уперлись в две разных сути:

1. Реальное мнение конечного пользователя

2. Простота выполнения заданных задач

Проблема в том, что эти два пункта слабо связаны, но тест пытается это сделать. ИМХО зря. В тесте рассматриваются задачи, которые реальному пользователю вообще не уперлись. И реальный пользователь (точнее 6 человек) "тупит". А после этого теста больше никогда не будет снова выполнять эти задачи.

Если Сергей пойдет на переформулирования целей теста, то негативный напор сократится. Это не тест юзабилити. Для теста юзабилити нужно рассмотреть реальные взаимодействия пользователя с антивирусами (у ЛК есть такая статистика, кстати), а исходя из тех реальных задач сформировать список, по которому "прогнать" ну хотя бы эту шестерку.

Простой пример. Антивирус не требует обновить базы, даже если им уже пара месяцев (Симнтек, Касперский). Значит и пользователь не будет этого делать. А антивирус и сам обновит по необходимости. Зато вызвать окно настроек или включить и настроить Родительский контроль - это уже вполне задача для оценки.

Дорогие читатели, а теперь квест - Угадайте, насколько один интерфейс выигрывает у другого

Ох как я не люблю, когда логику iOS переносят в Win приложения. Тем более не целиком, а одним-двумя элементами.

[strat 275]

имхо drweb однозначно выигрывает по простоте на конкретном окне, только вот для большинства все спецтермины будут непонятны и они просто поставят все галки, а раз ставят все галки, то зачем их вообще разделять, пусть будет одна кнопка посередине "Запустить проверку" которая проверит все

[Сергей Ильин 1538]

И реальный пользователь (точнее 6 человек) "тупит". А после этого теста больше никогда не будет снова выполнять эти задачи.Для теста юзабилити нужно рассмотреть реальные взаимодействия пользователя с антивирусами (у ЛК есть такая статистика, кстати), а исходя из тех реальных задач сформировать список, по которому "прогнать" ну хотя бы эту шестерку.

Выборка действий для этого теста очень важный его элемент, я согласен, но не ключевой. Если все настройки сделаны через Ж, то все равно какую из них дергать.

Простой пример. Антивирус не требует обновить базы, даже если им уже пара месяцев (Симнтек, Касперский). Значит и пользователь не будет этого делать. А антивирус и сам обновит по необходимости. Зато вызвать окно настроек или включить и настроить Родительский контроль - это уже вполне задача для оценки.

А многие ли лезут включать Родительский контроль? Вопрос будет тот же. Например я ручное обновление переодически дергаю, чтобы удостовериться что антивирус еще жив. А Родитеский контроль не включать мне даже в голову не придет на своем компьютере.

Потом тут есть еще один важный момент. Эти действия должны быть возможны в любом продукте. Тот же родительский контроль отпадает, так как он есть не у всех. Но это так, к слову.

Ох как я не люблю, когда логику iOS переносят в Win приложения. Тем более не целиком, а одним-двумя элементами.

Не ты один такой. Многие из тестовой группы на Нортоне "сломались". Хотя нарисовано все вроде как круто