Тест эргономичности персональных антивирусов

[A. 876]

С сравнивал с первым место KIS, у которого 86%.

на какие-то жалкие пункты отстав от суперсовременного интерфейса мирового лидера.

ты нам льстишь

[Сергей Ильин 1538]

Интерфейс Norton у многих вызывает неоднозначные впечатления, как оказалось. Мне лично их фейс нравится, все понятно. Но многим так не кажется. OlegAndr, например, он взбесил. Да и желто-черные цвета очень многим не нравятся, все же это цвета опасности (пчелы, змеи, разные хищники).

[Valery Ledovskoy 1082]

Да и желто-черные цвета очень многим не нравятся, все же это цвета опасности

Плюс цвета немецкого флага, плюс флаги монархических российских движений. Вообще цвета тяжеловатые. Нужны более светлые, прозрачные фейсы для таких сложных продуктов.

[Сергей Ильин 1538]

Плюс цвета немецкого флага, плюс флаги монархических российских движений.

Не, Валер, не путай. На флагах есть еще третий цвет, а это уже большая разница. Даже оттенки одного цвета имеют значение. Например, мне не раз говорили, что у того же Доктора зеленый слишком ядовитый, отталкивает. Женщины вообще реагируют негативно, по крайней мере моя фокус-группа Им не нравится ядовитый зеленый и пауки.

[Valery Ledovskoy 1082]

Не, Валер, не путай.

Не, я не путаю Я свои ассоциации честно изложил

Например, мне не раз говорили, что у того же Доктора зеленый слишком ядовитый, отталкивает. Женщины вообще реагируют негативно, по крайней мере моя фокус-группа smile.gif Им не нравится ядовитый зеленый и пауки.

Спасибо за объяснение. А я всё думал, почему у меня до сих пор на работе висит флаг Доктора метр на два Теперь снова не хочу снимать

А коробки с сиреневыми пауками различных проверяющих не отталкивают, случайно?

[SySOPik 52]

Не знаю, кажется некоторые еще питают иллюзии, что брежневским интерфейсом можно еще кого-то удовлетворить

При Брежневе колбаса была дешевая и вкусная.... Нормальный интерфейс. Простоват и аскетичен, ака автомобили ВАЗ. Жить будет.

[Сергей Ильин 1538]

Простоват и аскетичен, ака автомобили ВАЗ. Жить будет.

Если следовать аналогии. Павел Плотников свою Ладу Калину уже создал или она еще впереди?

[K_Mikhail 807]

Если следовать аналогии. Павел Плотников свою Ладу Калину уже создал или она еще впереди?

Навеяло...

Ключевое: "-- Вы хоть представляете себе, как это всё будет ездить? -- А это ещё и должно ездить?! Вам что, не картинки были нужны?"

[SySOPik 52]

Если следовать аналогии. Павел Плотников свою Ладу Калину уже создал или она еще впереди?

Я полагаю, вебом пользуются те, кому на интерфейс наплевать по большому, главное работает и ловит всякую "нечисть". А рюшечки и свистоперделки дело десятое. Хотя с другой стороны, количество настроек и выводимой информации на сегодня уже маловато, пора уже и облагородить интерфейс.

PS. Не мог не удержатся, вставить свои 5 копеек. Новый слоган : Dr-web и Ваз - святость традиций

[K_Mikhail 807]

Всё тот же FIAT 124...

[Kopeicev 94]

Привет!

Вобще, я честно не могу понять необходимость этого теста, в том плане, что он показывает. 95% пользователей окно антивируса не открывают вовсе, ну а если кто то откроет, то для одного действия раз в полгода. Пользователь одного продукта раз в полгода потратит 3 секунды, другой 5 секунд. Этот факт нуждается в полном тестировании? Я сомневаюсь, ну это опять же моё личное мнение. Я убеждён, что если пользователь придёт в магазин, спросит совета у продавца "какой мне антивирус купить" и получит ответ "этот хорошо защищает, а у этого окна красивые" - это будет смешно.

Ну да ладно. Хочу предметно порассуждать по методологии. Илья, помнишь, мы в своё время обсуждали, что в тестах не может иметь место какая то доля субъективных оценок и суждений? Ну вот это как раз в эту тему.

Группа испытуемых:

12 человек и все студенты. Мне одному кажется, что 12 человек это слишком мало? Да все как на подбор студенты. Учатся вместе на одну специальность. Это я к тому, что скорее всего образ мышления у большинства из них сходен, к примеру, если я возьму человека лет 40, с образованием лётчика и работающего преподавателем. Он себя также будет вести при работе с интерфейсом продукта? Это первый момент, есть второй момент: где гарантии, что перед тем как тестировать продукт одного вендора группа студентов вместе не готовилась к зачёту или что либо отмечала? На следующий день они конечно же долго делали каждое действие в GUI и много ошибались, продукту был записан плохой результат, а на следующий день студенты были уже отдохнувшие и следующего вендора протестировали без проблем. Обязательно брать большую группу людей разного возраста и рода деятельности. А так получается, что у нас все 100% пользователей студенты - психологи. Как вы пишите "буржуи" берут 6 человек, ну пусть так, но сами же вы пишите, что это шесть случайных человек.

Едем дальше...

Список типовых действий ничем не подкреплён, да и если честно, выглядит смешно.

"Настройка типа реагирования на обнаруженную угрозу – «Добавлять в карантин» или «Спрашивать у пользователя»." - вот, к примеру, я знаю где в интерфейсе это находится, но использовать мне это не приходилось ниразу, просто необходимости не было, при том, что я взаимодействую с AV "чуть" больше, чем обычные пользователи. Скажите, где в этом списке такие действия, которые действительно делают все пользователи:

- Настройка при установке (юзабильность инсталятора).

- Выбор действий на алертах.

- Включение и отключение защиты (!!! кстати использует большинство моих знакомых, когда у них какой то кряк детектится или просто ресурсы высвободить системе нужно, кстати, пункт очень показательный, у некоторых АВ одна большая удобная кнопка, а у некоторых нужной каждый компонент в настройках найти и выключить, чтобы прекратил ресурсы жрать).

Это три пункта, которые я придумал за 3 минуты. Не понимаю с чего были взяты некоторые пункты, присутствующие в методологии. Хоть бы тех же студентов опросили, что они делают с антивирусом, неужели так сложно было.

Далее мой взгляд упал на пункт, название которого мне пришлось перечитать 3 раза, я не поверил, что действительно такое я могу найти в тесте "Субъективная удовлетворенность". Действительно, оказался самый худший вариант:

"Субъективная удовлетворенность оценивается на основе анкетирования пользователей после работы с приложением.".

Большинство пользователей имеют в голове кучу стереотипов вроде "Касперский тормозит" - что им мешало просто хорошо написать про "любимый" антивирус, а тому, который им просто по жизни не нравится испортить результат? Это же субъективное их мнение о продукте, так? Вы сможете доказать, что оно составлено на основе общения с GUI в период проведения теста и только? Больше тут комментировать не стану, иду дальше...

"Техническая эстетика"

Почему в методологии не указано, какая локализация продуктов бралась? Я помню, что на AM существует универсальное правило для всех тестов: брать с Global сайтов вендоров английские локализации, потому как они как правило самые свежие.

Тогда я после просмотра результатов теста и методологии имею все основания говорить, что в тесте могли принимать участие английские локализации продуктов.

Тогда возникает вопрос, вы их что, по ГОСТам оценивали? С чего взято, что не Российские локализации, которые соответственно не в РФ поставляются, должны отвечать требованиям ГОСТа РФ о технической эстетики? Локализация должна картинками, анимацией, шрифтами и т.д. отвечать требованиям той страны, где она используется. Это либо большой фэйл всего теста, либо большое упущение в методологии.

Ну и так далее, я думаю, понятно, насколько неприлично для теста, данный материал изобилует субъективными оценками.

Этот критерий является одним из основных при выборе продукта, наряду с эффективностью, скоростью работы и надежностью/стабильностью.

вот нифига себе оказывается, действительно, в магазине спрашивают про GUI, а в интернете смотрят скриншоты окон и выбирают что купят? Илья, прости конечно, но конкретно эта фраза - бред.

[Kopeicev 94]

не ставят себе софт с убогим интерфейсом Каждый хочет за свои деньги качественный и красивый продукт.

Смотря какой софт, а хочу, чтобы у меня всякие аськи\скайпы\браузеры выглядели красиво т.е. те приложения, которые я долго держу открытыми и работаю в их интерфейсах постоянно, антивирус к ПО требующему постоянного компания в интерфейсе не относится. Я конечно же имею в виду продукты для обычных пользователей, которые были протестированы. Если антивирус не требует моего вмешательства (а большинство пользователей не вмешивается в его работу) пусть будет не супер-пупер интерфейс, я переживу.

[Сергей Ильин 1538]

вот нифига себе оказывается, действительно, в магазине спрашивают про GUI, а в интернете смотрят скриншоты окон и выбирают что купят? Илья, прости конечно, но конкретно эта фраза - бред.

Слава, реально в четверке юзабилити. Просто как минимум половина человечества любит глазами А вторая половина тоже знает толк в красивых вещах и формах.

Илья, помнишь, мы в своё время обсуждали, что в тестах не может иметь место какая то доля субъективных оценок и суждений? Ну вот это как раз в эту тему.

Группа испытуемых:

Да, субъективность в этом тесте максимальная из всех тестов, которые мы делали. Никуда тут от человеческого фактора не уйти, к большому сожалению.

Обязательно брать большую группу людей разного возраста и рода деятельности. А так получается, что у нас все 100% пользователей студенты - психологи. Как вы пишите "буржуи" берут 6 человек, ну пусть так, но сами же вы пишите, что это шесть случайных человек.

Если бы взяли бабушек и дедушек, то разброс был бы больше просто, вот и все. По части критерий была бы просадка, это очевидно. Например, по скорости действий, а также по кол-ву ошибок. Возможно несколько сместились данные по субъективной удовлетворенности, но не сильно, так как дедушек и бабушек много также брать было бы неправильно. В итоге, я уверен, результаты были бы примерно такие же с погрешностью +/- 5%.

- Выбор действий на алертах.

Не уверен. А в чем там юзабельность? Половина аверов просто показывает попап и все. Ничего там сделать нельзя. Выбора не представляется.

- Настройка при установке (юзабильность инсталятора).

Спорно, так как инсталлятор реально только 1 раз запускается и так никто не думая кликает да-да-да....

- Включение и отключение защиты

Согласен. Это надо было взять.

Смотря какой софт, а хочу, чтобы у меня всякие аськи\скайпы\браузеры выглядели красиво т.е. те приложения, которые я долго держу открытыми и работаю в их интерфейсах постоянно, антивирус к ПО требующему постоянного компания в интерфейсе не относится. Я конечно же имею в виду продукты для обычных пользователей, которые были протестированы. Если антивирус не требует моего вмешательства (а большинство пользователей не вмешивается в его работу) пусть будет не супер-пупер интерфейс, я переживу.

Ну я например не переживу. Мне нужно что антивирус тоже был красивым, по крайней мере не убогим Когда машину покупаю мне также важно, чтобы под капотом у нее также все было красиво и аккуратно сделано. Для меня это класс производителя. Если в салоне все круто, а под капотом полный бардак, такую тачку точно не стоит брать. Это интуитивно понятно. С антивирусами ровно тоже самое.

[Сергей Ильин 1538]

Почему в методологии не указано, какая локализация продуктов бралась? Я помню, что на AM существует универсальное правило для всех тестов: брать с Global сайтов вендоров английские локализации, потому как они как правило самые свежие. Тогда я после просмотра результатов теста и методологии имею все основания говорить, что в тесте могли принимать участие английские локализации продуктов.

В данном тесте, конечно же, брали русские версии. Иначе было бы нерепрезентативно, так как мы на русских людях тестировали, а уровень английского у всех разный. В методологии добавили строчку об этом, чтобы не было разночтений, а то думали это и так понятно будет всем.

[Kopeicev 94]

Если бы взяли бабушек и дедушек, то разброс был бы больше просто, вот и все. По части критерий была бы просадка, это очевидно. Например, по скорости действий, а также по кол-ву ошибок. Возможно несколько сместились данные по субъективной удовлетворенности, но не сильно, так как дедушек и бабушек много также брать было бы неправильно. В итоге, я уверен, результаты были бы примерно такие же с погрешностью +/- 5%.

Причём бабушек и дедушек? Цитирую сам себя "людей разного возраста и рода деятельности", чтобы были и бабушки и студенты и т.д.

[Kopeicev 94]

Не уверен. А в чем там юзабельность? Половина аверов просто показывает попап и все. Ничего там сделать нельзя. Выбора не представляется.

Спорно, так как инсталлятор реально только 1 раз запускается и так никто не думая кликает да-да-да....

Алёрт - это то что с выбором действий по определению, есть вендоры, которые туда постят 100500 строк текста, не слишком юзабильно. Ну да ладно.

Зато через это действие проходит каждый пользователь.

[Сергей Ильин 1538]

Kopeicev, тут такая штука, что действия должны быть возможны во всех тестируемых антивирусах. А у кого-то, как я написал выше, никакого выбора в попапе оповещения об угрозе нет. В MSE, например, просто сообщается, что угроза ликвидирована и все. А если действие можно проверить не во всех тестируемых продуктах, то методология рушится.

[Kopeicev 94]

Kopeicev, тут такая штука, что действия должны быть возможны во всех тестируемых антивирусах. А у кого-то, как я написал выше, никакого выбора в попапе оповещения об угрозе нет. В MSE, например, просто сообщается, что угроза ликвидирована и все. А если действие можно проверить не во всех тестируемых продуктах, то методология рушится.

Ну ок, инсталятор у всех есть?

[Сергей Ильин 1538]

Ну ок, инсталятор у всех есть?

Удобство инсталяторя можно будет оценить, согласен.

[Kapral 311]

Первый блин комом

Как предложение на будущее, (часть озвучена выше)

1. использовать не только типичные задачи с точки зрения людей причастных к АВ, но и реально типичные/часто используемы действия (реакцию на алерты - ну и флаг с ними что реально действий предпринимать не надо... Но все таки народ напрягается при виде оных...)

например моя мать из всего многообразия КИСулиных аллертов видит только один - базы устарели и у неё первых месяца 2-3 был единственный способ отреагировать - позвонить мне ))))

Теперь запомнила - если включила ноут - то сразу выйти в интернет и полазить там в одноклассиках там минимум 2 часа - что бы обновки закачались ))))

2. использовать более разношерстую тест-группу, в т.ч. и опытных, пользователей, но использующих продукцию другого вендора. Например мне, как пользователю продукции ЛК - очень напрягает интерфейс НИС, в тоже время якобы устаревший интерфейс дрВеба - с моей точки зрения наглядный и дружелюбный. продукция ESET тоже "на ощупь" не вызывает ощущения выпученных глаз, с раздумьями - "ээээ... а это что такое, и куда они засунули то что я хочу найти, и вообще как оно называется в терминах Симантека... вообще где этот блин КСН по Симантековски (я конечно утрирую, как раз доступ к облачным функциям и репутации в НИС у меня проблем не вызвал)

Можно даже разделить - на

Обычные пользователи - стандартные действия

Опытные пользователи - стандартные действия

Обычные пользователи - реальные действия

опытные пользователи - реальные действия

3. Не сколько тестирование, сколько отчет об этом... Субъективная удовлетовренность - было частично озвучено и усреднено... хотелось бы услышать полное мнение каждого тестера, что же именно ему понравилось/не понравилось

[Сергей Ильин 1538]

хотелось бы услышать полное мнение каждого тестера, что же именно ему понравилось/не понравилось

Мы можем сформировать подробные отчеты по каждому вендору, включая комментарии фоку-группы и экспертов. Но это не бесплатно будет уже, так как все требует доп. времени.

Kapral, спасибо за саммари! Постараемся все это учесть в будущих тестах. Единственное, сложно будет разделять на опытные/неопытные, так как все это опять же серьезно повышает стоимость теста. По сути надо будет делать в два/четыре раза больше работы.

[Kapral 311]

По сути надо будет делать в два/четыре раза больше работы.

И то только если учитывать моё весьма скромное предложение

Сама идея сбора субъективного мнения - требует бОльшего количества респондентов

На самом деле субъективизм при выборе любого продукта играет далеко не поледнюю роль

Например цвет - не будем вспоминать Генри Форда и его идеи к выбору окраски авто

Мы можем сформировать подробные отчеты по каждому вендору,

Лично меня бы устроила просто публикация не обработанной инфы, вида

Тестер 1 - Субъективное мнение - 3.5; не понравилась расцветка

Тестер 2 - Субъективное мнение - 5; Прелесть, развожу арахнидов - так что - это мой антвирус

[Сергей Ильин 1538]

Лично меня бы устроила просто публикация не обработанной инфы, вида

Тестер 1 - Субъективное мнение - 3.5; не понравилась расцветка

Тестер 2 - Субъективное мнение - 5; Прелесть, развожу арахнидов - так что - это мой антвирус

Only for you my friend!

http://www.anti-malware.ru/files/personal_..._test_2012.xlsx

Информация по каждому респонденту и эксперту, кто какие оценки ставил, была доступна сразу же.

[Kapral 311]

Спасибо, грешен от природы ©, проворонил этот отчет

Жаль что нет краткого пояснения вида

не понравилась расцветка

[Сергей Ильин 1538]

Жаль что нет краткого пояснения вида

Цитата

не понравилась расцветка

Вот это уже в отдельном отчете за деньги можем сделать кому нужно