Методология теста эргономичности персональных антивирусов

Введение

Методология и инструменты для данного тестирования были разработана на кафедре психологии ТТИ ЮФУ и в информационно-аналитическом центре ЮФУ. В ее создании принимали участие два кандидата психологических наук, в качестве экспертов выступали преподаватели и магистры данной кафедры, имеющие два высших образования (техническое и психологическое) или образование в области инженерной психологии.

В качестве пользователей выступали студенты третьего курса кафедры психологии, 6 мужчин и 6 женщин, средний возраст – 20 лет.

В тесте учувствовали четыре персональных антивируса класса Internet Security тех компаний, которые по результатам анализа рынка антивирусной защиты в России за 2010-2012 годы показали наибольший процент присутствия на рынке. Также решено было добавить версию Internet Security одного из самых популярных в России антивирусов – Avast.

В исследовании принимали участие версии продуктов с русским интерфейсом, чтобы избежать возможного влияния "языкового барьера" у пользователей, принимавших участие в тестировании.

В таблице 1 представлены участвовавшие в тестировании антивирусные программы (представленные ниже сборки актуальны на момент начала теста - 04.06.2012).

Таблица 1. Тестируемые антивирусные продукты и их версии

Показатели эргономичности

Проведенный анализ большого числа используемых показателей и метрик показал, что для оценки антивирусов можно использовать пять показателей — скорость выполнения операций пользователями (далее — скорость работы), количество совершаемых ошибок, скорость обучения пользователей, субъективную удовлетворенность пользователей и визуальную привлекательность пользовательского интерфейса (или иначе — показатели технической эстетики). Измерение пяти данных показателей позволяет получить комплексную оценку удобства использования.

Рисунок 1. Показатели эргономичности

Для оценки показателей используется два метода - юзабилити-тестирование и экспертная оценка.

В юзабилити-тестировании принимало участие 12 человек (по мнению экспертного сообщества для выявления 90% ошибочных ситуаций при работе с приложениями достаточно группы от 5 до 12 человек). В экспертной оценке принимало участие 5 экспертов: два кандидата психологических наук и три магистра, обучающихся по специальности инженерная психология.

Рассмотрим содержание каждого оцениваемого параметра и способ его обработки.

1. Скорость работы пользователей

Оценка скорости выполнения типовых действий пользователя может проводиться при помощи экспертной оценки. Наиболее распространен метод экспертной оценки, опирающийся на методы моделирования действий пользователей (GOMS, CPM, KLM, NGOMSL, CMN-GOMS и т. д.). Их суть состоит в том, что выделяются типовые действия при работе с приложением, строятся алгоритмы этих действий и оценивается среднее время выполнения каждого алгоритма. В процессе оценки каждый алгоритм разбивается на ряд простейших операций (нажатие на кнопку, перевод курсора на экране, анализ дальнейших действий и т. д.), для которых существуют временные значения, полученные на большом количестве пользователей. Для персональных антивирусов оценивалось время выполнения следующих 10 действий:

1. Сканирование определенной директории на наличие вредоносных программ.
2. Запуск полного сканирования всех дисков и областей.
3. Настройка сканирования по расписанию (в 12.00 каждый четверг).
4. Запуск обновления.
5. Восстановление файла из карантина.
6. Поиск в справке информации по работе с карантином.
7. Просмотр отчета о последнем сканировании и найденных угрозах.
8. Настройка сетевого экрана (добавить Adobe Reader в доверенные программы).
9. Добавление программы в исключение из проверки.
10. Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя».

2. Количество ошибок пользователей

Количество ошибок оценивается при помощи юзабилити-тестирования, проводимого на группе пользователей. В процессе тестирования пользователи должны выполнить те же действия, которые использовались для оценки времени работы типовых действий экспертами. Выполнение действий на экране монитора фиксируются на видео и, после проведения тестирования, строятся алгоритмы выполнения всех действий. Ошибкой считается не выполнение действия и отклонения в алгоритмах действий у пользователя и у эксперта. Результатом измерения является количество ошибок по всем действиям в целом и по каждому действию в отдельности. Полученные ошибки группируются по типам (моторные ошибки, опечатки, не понимание логики работы программы и т.д.) или результатам их возникновения (критические, некритические).

3. Скорость обучения пользователей

Скорость обучения связана с наличием качественных средств обучения и целостной, непротиворечивой информационной моделью приложения. Для средств обучения оценивается качество и полнота программной документации (описание типовых действий, настроек, возникающих ошибок и т. д.), наличие средств обучения в пользовательском интерфейсе (поиск, контекстная справка) и дополнительных средств поддержки (специализированные форумы, обучающие материалы на официальных сайтах компаний и т.д.).

Под информационной моделью понимается структура программного обеспечения, которая содержит информацию о его состоянии и функционировании. При оценке информационной модели анализируется такие показатели, как:

1. Наличие структурирования пользовательского интерфейса, настроек, документации и отчетов приложения.
2. Наличие в пользовательском интерфейсе в каждый момент времени информации о результатах действий пользователя, реакции приложения на действия пользователя и состоянии приложения.
3. Наличие симметричности в программных элементах, выполняющих однотипные функции (например, кнопки принятия решения или кнопки для перехода между программными окнами).
4. Отсутствие дублирования функций, настроек, программных окон и элементов управления в разных компонентах приложения.
5. Отсутствие нефункциональных программных окон, «битых» ссылок и некорректной терминологии.

Для оценки обучающих материалов и информационной модели используются анкеты, которые заполняют эксперты после работы с программой.

4. Субъективная удовлетворенность

Субъективная удовлетворенностьоценивается на основе анкетирования пользователей после работы с приложением.

Анкета направлена на выявление того, насколько пользователям было удобно работать с приложением. В анкету входят как общие вопросы («Было ли Вам легко работать с программой?»), так и частные, выявляющие удобство работы с разными инструментами программы — антивирусными компонентами, справкой, отчетами, настройками и т. д.

Также пользователям предъявлялись открытые вопросы («Опишите в свободной форме возникающие в процессе работы с программой неудобства», «Какие предложения по улучшению программы Вы бы могли предложить»).

5. Техническая эстетика

Техническая эстетика оценивается комбинированным способом - при помощи экспертной оценки и анкетирования пользователей после работы с приложением.

Данный показатель складывается из оценки используемых в пользовательском интерфейсе шрифтов, цветов, анимации, звуковых сигналов, пиктограмм, программных элементов, группировок программных элементов. Экспертная оценка позволяет выявить ошибки, связанные с нарушением правил проектирования визуального и звукового оформления пользовательского интерфейса, а анкетирование пользователей позволяет получить информацию о привлекательности реализованных решений, их понятности и удобстве использования. Критерии для экспертной оценки показателей технической эстетики опираются на требования ГОСТов по эргономике в части проектирования и оценки пользовательских интерфейсов. Например, оценка читаемости шрифтов экспертами может проводиться на соответствие требованиям к размеру знаков по ГОСТ Р ИСО 9355-2-2009 на распространенных разрешениях экрана. А при анкетировании пользователей оценка технической эстетики проводится при помощи вопросов «Все надписи в пользовательском интерфейсе легко читались?», «Были ли понятны используемые в программе пиктограммы?» и т.д.

Условие и порядок проведения теста

Перед проведением исследования была сформирована группа пользователей и группа экспертов. Исследование каждого продукта проводилось в 2 этапа:

1. юзабилити-тестирование;
2. экспертная оценка.

Для исключения случайных факторов при проведении юзабилити-тестирования и экспертной оценки выполнялись следующие требования: исследование проводится в одном и том же помещении, в одно и то же время суток, на однотипных персональных компьютерах. Для уменьшения эффекта социальной желательности при проведении исследования все инструкции были представлены в печатном виде, регламент исследования был выведен на плазменной панели, инструктор только предоставлял материалы перед началом исследования и указывал время окончания каждого этапа.

Юзабилити-тестирование каждого продукта проводилось на группе пользователей в течение 100 минут: 10 минут пользователи знакомились с инструкциями и заполняли анкеты, 60 минут знакомились с продуктом и 30 минут выполняли действия с продуктами. По окончании исследования пользователи заполняли анкеты на определение субъективной удовлетворенности при работе с продуктом и визуальной привлекательности продукта.

Во избежание наложения оценок при работе с разными продуктами, в один день проводилось тестирование только одного продукта.

Экспертная оценка каждого продукта выполнялась всеми экспертами независимо друг от друга.

Каждый эксперт знакомился с работой каждого продукта в течение трех часов и, после этого, заполнял анкеты по оценки обучающих материалов, информационной модели и технической эстетике.

Отдельно три эксперта совместно оценивали скорость выполнения пользователями действий при помощи методики GOMS, а также анализировали видео с действиями всех пользователей и подсчитывали количество совершаемых ошибок.

Обработка и анализ результатов

Все полученные значения нормировались и приводились к диапазону от 0 до 100%. В зависимости от типа измеряемых параметров обработка имеет свои особенности:

1. Измерение времени типовых операций

Производится суммирование минимального времени выполнения для каждого действия и принимается за время работы с «идеальным» продуктом (100%). Увеличение общего времени действий каждого продукта относительно времени идеального продукта на 1 с уменьшает его итоговую оценку на 0,5%.

2. Измерение количества ошибок

За 100% берется нулевое количество ошибок. После этого суммируется количество ошибок по всем действия на группе пользователей. Каждая критическая ошибка уменьшает итоговую оценку на 1%, а некритическая ошибка – на 0,5%.

3. Скорость обучения

Отдельно считаются результаты по двум анкетам — для оценки обучающих материалов и для оценки информационной модели программы. Полученные значения усредняются.

Анкеты обрабатываются следующим образом — за выполнение каждого требования начисляется значение равное 100/n, где n – это количество требований в анкете. За частичное выполнение требования начисляется значение равное 100/(2*n). Таким образом, оценка по каждой анкете будет нормирована в диапазоне от 0 до 100.

4. Субъективная удовлетворенность

После обработки анкеты для каждого пользователя получаются значения в диапазоне от 0 до 50 (10 вопросов по 5 градаций ответа в каждом). Полученное значение для каждого пользователя нормируется, после чего считается среднее значение оценки для всей группы пользователей, которое и является итоговым значением по данному показателю.

5. Техническая эстетика

Отдельно считаются результаты по двум анкетам — полученные при оценке пользовательского интерфейса пользователями и экспертами. Анкета пользователей обрабатывается по аналогии с анкетой на субъективную удовлетворенность, анкета экспертов — по аналогии с анкетами на скорость обучения.

Полученные данные по анкетам для пользователей и экспертов усредняются.

После проведения обработки по каждому оцениваемому показателю получается 5 нормированных значений. Итоговый показатель рассчитывается следующим способом:

E:= ∑Ai*Bi, (1)

где E – значение эргономичности;

Ai — весовые коэффициенты для каждого оцениваемого показателя;

Bi — значения каждого оцениваемого показателя.

В общем случае весовые коэффициенты принимаются равными 0,2. Однако многие эксперты указывают, что для разных типов приложений какие-либо два критерия всегда являются ведущими (наиболее важными), а остальные менее важными. Проведенный среди преподавателей и магистров кафедры психологии ТТИ ЮФУ опрос позволил проранжировать важность используемых показателей для персональных антивирусов и выделить более дифференцированные весовые коэффициенты:

• скорость работы — 0.15,
• количество ошибок — 0.15,
• скорость обучения — 0.2,
• субъективная удовлетворенность — 0.25,
• техническая эстетика — 0.25.

Библиография

1. Зинченко В.П., Мунипов В.М. Основы эргономики. – М.: Логос, 2001.
2. Головач В.В. Дизайн пользовательского интерфейса. 2001 – 141 с.
3. ГОСТ Р МЭК 60073-2000 Интерфейс человекомашинный. Маркировка и обозначение органов управления и контрольных устройств. Правила кодирования информации
4. ГОСТ Р ИСО 9355-1-2009 Эргономические требования к проектированию дисплеев и механизмов управления. Часть 1. Взаимодействия с человеком.
5. ГОСТ Р ИСО 9355-2-2009 - Эргономические требования к проектированию дисплеев и механизмов управления. Часть 2. Дисплеи
6. ГОСТ Р ИСО 9241-11-2010 Эргономические требования к проведению офисных работ с использованием видеодисплейных терминалов (VDT). Часть 11. Руководство по обеспечению пригодности использования
7. ГОСТ Р ИСО 9241-110-2009 Эргономика взаимодействия человек-система. Часть 110. Принципы организации диалога.
8. ГОСТ Р ИСО 14915-1-2010 Эргономика мультимедийных пользовательских интерфейсов. Часть 1. Принципы проектирования и структура.
9. ГОСТ Р ИСО 10075-2-2009 Эргономические принципы обеспечения адекватности умственной нагрузки. Часть 2. Принципы проектирования.
10. Раскин Д., Интерфейс: новые направления в проектировании компьютерных систем. — Пер. с англ. – СПб: Символ-Плюс, 2004. – 272
11. Пономарев И.А. Методы оценки качества пользовательского интерфейса. http://it-claim.ru/Library/Books/ITS/wwwbook/ist6/ponomarev2/ponomarev2.htm
12. Мандел Т. Дизайн интерфейсов. – М.: ДМК Пресс, 2005.
13. Kieras D. A Guide to GOMS Model Usability Evaluation using GOMSL and GLEAN3 – University of Michigan (ftp.eecs.umich.edu/people/kieras), 2002.