Перейти к содержанию
Сергей Ильин

Тест эргономичности корпоративных антивирусов

Recommended Posts

Сергей Ильин

Уважаемые коллеги, недавно мы провели тест эргономичности персональных антивирусов. Несмотря на ряд замечаний, тест вызвал интерес и мы хотим провести данный тест для корпоративных антивирусов. В общем-то проверка юзабилити корпоративных продуктов и было изначальной целью тестов этого класса.

За основу методологии к данному тесту предлагается брать методологию к теста персональных версий, внеся в нее ряд существенных изменений:

1. В исследовании будут принимать участие только эксперты, обычные пользователи не участвуют. Причина – сложность оцениваемых приложений. Для экспертов администрация anti-malware предлагает прочесть несколько лекций по особенностям работы с корпоративными антивирусами, а после провести тестирование из знаний и умений. Это позволит снять сомнения в квалификации экспертов. Также предлагается увеличить количество экспертов с 5 до 7 человек.

2. Изменяется список оцениваемых действий при работе с антивирусом.

3. В связи с большим количеством критики для корпоративного теста предлагается субъективную удовлетворенность экспертов при работе с антивирусом оценивать, но не используется для расчета итогового значения. Полученные результаты по данному показателю отразить в отчете все равно.

4. Изменить веса критериев на следующие: скорость выполнения действий – 0.3, устойчивость к ошибкам – 0.3, скорость обучения – 0.2, техническая эстетика – 0.2.

Для анализа нужно выбрать не менее 10 действий, которые значимы для работы администратора. При этом нужно, чтобы эти действия можно было бы выполнять во всех антивирусах. Мы проанализировали похожие исследований лаборатории Tolly (tolly.com) и Cascadia Lab и сформировали предварительный список действий. Хотим услышать Ваши замечания/предложения:

1. Развертка антивируса на защищаемых станциях через консоль (на 1 или 5 ПК).

2. Создание политики для клиента.

3. Создание задачи обновления.

4. Создание задачи для сканирования по расписанию.

5. Создание политики для реагирования при обнаружении новой угрозы. Например, правила по изоляции сегмента сети, запуск сканирования.

6. Настройка фаервола. Например, включение определенных настроек и закрытие определенных портов.

7. Получение информации о файле, помещенном в карантин ( как вариант – получить сам файл).

8. Генерация централизованного отчета о работе АВ за N дней. Например, статистика по инцидентам.

9. Настройка политики управления устройствами.

10. Инвентаризация программного обеспечения на клиентах.

11. Поиск в справке конкретной информации.

12. Создание отчетов о состоянии всех защищенных машинах по требованию (автоматически\по расписанию).

И последнее. В качестве участников мы зарезервировали четыре места для продуктов, которые наиболее представлены на российском рынке – Kaspersky, Eset, Dr.Web, Symantec. Еще два места свободно (всего будет 6 продуктов в тесте). Кандидаты такие:

- Trend Micro

- McAfee

- AVG

Нужно выбрать 2 из 3. Голосуем и высказываемся по этому поводу.

Итого к три вопроса к сообществу:

1. Предлагаемые изменения в методологии тестирования. Поддерживаете ли указанные нами изменения? Хотите ли внести свои предложения?

2. Какие действия при работе с антивирусами стоит использовать в тесте?

3. Какие продукты должны учувствовать в тестировании?

P.S. Нужны конструктивные предложения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
MORDRED

Trend Micro - протух и завонял, ибо невидно не слышно. Берите авг и макафее ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Никого не нужно, тест уныл и бесполезен и неадекватен более чем полностью.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
petr

Соглашусь. Я думаю, вендоры не готовы к такому тесту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Соглашусь. Я думаю, вендоры не готовы к такому тесту.

А чем определяется их готовность в данном случае? И почему они к тестам Tolly или Cascadia готовы, а к нашему тесту нет ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Вопрос следующий.

Эргономичность для корпоративных администраторов может затеряться только после того как администратор интерфейс изучил. Такие вещи как очевидность в корпоративных решениях уже не катят.

Можно посчитать количество кликов для того чтобы сделать что-то, конечно.

"

скорость выполнения действий – 0.3, устойчивость к ошибкам – 0.3, скорость обучения – 0.2, техническая эстетика – 0.2."

Скорость выполнения в каком смысле? Это будет субъективная оценка?

Устойчивость к ошибкам как будет замеряться?

Скорость обучения - нерелевантна

Техническая эстетика - субъективно. Некоторым вон и Windows 8 нравится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mvs

есть вообще то стандарты ... ISO 9241-10-98, ISO 9241-14-1997, ISO/IEC 11581-(1999-2000) на основе их можно было бы тестировать эргономичность

ну и учесть и принять во внимание основные принципы создания пользовательского интерфейса

+ госты ГОСТ Р ИСО/МЭК 12119-2000, ГОСТ Р ИСО МЭК 9126-93

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
petr
А чем определяется их готовность в данном случае? И почему они к тестам Tolly или Cascadia готовы, а к нашему тесту нет ...

У меня впечатление такое субъективное сложилось - Интерфейс корпоративных антивирусов еще недостаточно проработан.

Многие операции сделаны крайне странно и трудоемко. Это касается и известных вендоров. Поэтому такой тест даст весьма спорные результаты во всех отношениях.

Вот пример http://www.sophos.com/en-us/medialibrary/P...0a9&dl=true (утащено отсюда http://www.sophos.com/en-us/security-news-...ise-review.aspx )

В данном тесте большой акцент сделан на количестве шагов и времени выполнения операций. Пожалуй, проверяемые операции кажутся наиболее востребованными. Тогда отчего же такой разброс у продуктов? Причем, в зависимости от операции - с совершенно разный разброс. Складывается впечатление, что вендоры не четко понимают, что нужно пользователю впервую очередь, чтобы сделать самые востребованные функции проще в использовании. И это лишь касается характеристик, которые вроде легко измерить. А как измерить понимание и толкование интерфейса?

Однако, если объективный провал подтолкнет к улучшениям в продуктах. Тогда я за.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я отключал вообще взаимодействие пользователя с интерфейсом. Бухов не нужно было пугать и о чем-то им сообщать. То есть никто даже не видел, как выглядит АВ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Зайцев Олег

Как админ безопасности с многолетним стажем могу сказать, что такой тест не выйдет ... дело в том, что:

1. Админ (если он в своем уме) никогда не делает "на скорость" такие вещи, как политики антивируса. Более того, политики обычно делаются один раз, и потом как максимум немного уточняются (у меня они годами не меняются). Как следствие, показатель "скорость" вообще не критичен и не важен. Далее берем устойчивость к ошибкам - это как ? Например, я указал периодичность обновления раз в месяц - это ошибка или нет ?

2. Работа с корпоративным антивирусом требует подготовки и изучения продукта, создания тестовых политик и задач ... следовательно, как оценить "обучение" или поиск чего-то в справке (админ должен не F1 жать по каждому поводу, а изучить документацию, прежде чем что-то делать).

3. Cкорость обучения крайне субъективна: что лучше, сложный и требующий обучения функционал (но в итоге дающий большую гибкость и кучу возможностей), или красивый интерфейс с тремя кнопками, который можно изучить за минуту, но не получить в итоге больших возможностей и гибкости ?? Аналогично с созданием отчета - я могу потратить кучу времени (как на настройку отчета, так и на обучение), но получить тот отчет, что мне нужен. Или тремя кликами получить отчет, который не нужен :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
petr
Я отключал вообще взаимодействие пользователя с интерфейсом. Бухов не нужно было пугать и о чем-то им сообщать. То есть никто даже не видел, как выглядит АВ.

В данном тесте под пользователем понимается - администратор сети.

Бухгалтерам по идее и знать не надо, что у них антивирус развернут. Так же как не надо знать о мощности автоматов защиты в распределительном щитке на этаже.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
petr
2. Работа с корпоративным антивирусом требует подготовки и изучения продукта, создания тестовых политик и задач ... следовательно, как оценить "обучение" или поиск чего-то в справке (админ должен не F1 жать по каждому поводу, а изучить документацию, прежде чем что-то делать).

Это смотря из какой категории пользователь. Если из организации, где есть штатные специалисты и работа организована - то конечно да. А если из малого бизнеса, где администрированием занимаются случайные люди. Документация вряд ли поможет - они ее не читают. Не зря же Windows доминирует в корпоративном секторе, вытеснив более совершенные, но сложные системы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Я отключал вообще взаимодействие пользователя с интерфейсом. Бухов не нужно было пугать и о чем-то им сообщать. То есть никто даже не видел, как выглядит АВ.

Дима, ты о чем вообще? Речь об консолях управления корпоративной антивирусной защитой идет. Клиенты никто тестировать не собирается, это бессмысленно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Зайцев Олег
Это смотря из какой категории пользователь. Если из организации, где есть штатные специалисты и работа организована - то конечно да. А если из малого бизнеса, где администрированием занимаются случайные люди. Документация вряд ли поможет - они ее не читают. Не зря же Windows доминирует в корпоративном секторе, вытеснив более совершенные, но сложные системы.

Тогда смысл теста получается "насколько удобен корпоративный продукт для случайного человека, конторый администрировать не умеет и не читает инструкции" ? :) В этом то и состояло мое изначальное сомнение в необходимости теста и тех 10 позициях ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Тогда смысл теста получается "насколько удобен корпоративный продукт для случайного человека, конторый администрировать не умеет и не читает инструкции" ? В этом то и состояло мое изначальное сомнение в необходимости теста и тех 10 позициях ...

Я для себя вижу смысл теста немного по-другому. Я как администратор системы понимаю, что я в любом случае прочитаю документацию, настрою политики и задачи, я профессионал и это лишь вопрос временных затрат. Но я хочу понимать, с каким продуктам мне придется хлебнуть по полной и убить сутки на простейшие операции, а с каким я все прекрасно настрою за пару часов без лишнего убийства нервных клеток и сяду делать цепочки из скрепок :)

В качестве примера. Наш сайт на Drupal, я эту систему знаю достаточно хорошо, но она многими вещами не перестает меня бесить. Чувство что ты работает с системной которая тебя регулярно бесит достаточно неприятное. Это как ездить на неудобной машине или сидеть на неудобным столом.

Тогда смысл теста получается "насколько удобен корпоративный продукт для случайного человека, конторый администрировать не умеет и не читает инструкции" ? В этом то и состояло мое изначальное сомнение в необходимости теста и тех 10 позициях ...

Я для себя вижу смысл теста немного по-другому. Я как администратор системы понимаю, что я в любом случае прочитаю документацию, настрою политики и задачи, я профессионал и это лишь вопрос временных затрат. Но я хочу понимать, с каким продуктам мне придется хлебнуть по полной и убить сутки на простейшие операции, а с каким я все прекрасно настрою за пару часов без лишнего убийства нервных клеток и сяду делать цепочки из скрепок :)

В качестве примера. Наш сайт на Drupal, я эту систему знаю достаточно хорошо, но она многими вещами не перестает меня бесить. Чувство что ты работает с системной которая тебя регулярно бесит достаточно неприятное. Это как ездить на неудобной машине или сидеть на неудобным столом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Sansero.ee

Если возьмётесь за AVG, то что выберите, AVG CloudCare или AVG Internet Security Business Edition? В случае с последним я бы не спешил :) его ещё не перевели на 2012 версию, но уже вот вот... хотя конечно и сроки подбивать под кого то одного - та ещё бяка :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kapral
Это смотря из какой категории пользователь. Если из организации, где есть штатные специалисты и работа организована - то конечно да. А если из малого бизнеса, где администрированием занимаются случайные люди. Документация вряд ли поможет - они ее не читают. Не зря же Windows доминирует в корпоративном секторе, вытеснив более совершенные, но сложные системы.

Намекаю, собираются тестировать мордочку, а не отделять козлищ от ангцев ой... Одминов от Админов

А вообще полностью поддерживаю возражения Олега

И вообще мое повседневное общение с управляющим центром обычно ограничивается чтением отчетов пришедших по факту всяких, подозрительных событий

чаще всего дальнейшие действия ограничиваются вправлением назад вывихнутой от зевания челюсти :D

Вот это эргономика нормальная ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

А может лучше сделать тест юзабилити DLP-систем? Вот там как раз очень много разных кейсов, плюс подразумевается, что офицер безопасности пользуется им ежедневно.

Соглашусь с мнениями выше, тестировать продукты, где единственная роль - администратор бессмысленно, победит консоль, а вот продукты где есть неадминские роли совсем другое дело.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kartavenko M.V.
Как админ безопасности с многолетним стажем могу сказать, что такой тест не выйдет ... дело в том, что:

1. Админ (если он в своем уме) никогда не делает "на скорость" такие вещи, как политики антивируса. Более того, политики обычно делаются один раз, и потом как максимум немного уточняются (у меня они годами не меняются). Как следствие, показатель "скорость" вообще не критичен и не важен. Далее берем устойчивость к ошибкам - это как ? Например, я указал периодичность обновления раз в месяц - это ошибка или нет ?

2. Работа с корпоративным антивирусом требует подготовки и изучения продукта, создания тестовых политик и задач ... следовательно, как оценить "обучение" или поиск чего-то в справке (админ должен не F1 жать по каждому поводу, а изучить документацию, прежде чем что-то делать).

3. Cкорость обучения крайне субъективна: что лучше, сложный и требующий обучения функционал (но в итоге дающий большую гибкость и кучу возможностей), или красивый интерфейс с тремя кнопками, который можно изучить за минуту, но не получить в итоге больших возможностей и гибкости ?? Аналогично с созданием отчета - я могу потратить кучу времени (как на настройку отчета, так и на обучение), но получить тот отчет, что мне нужен. Или тремя кликами получить отчет, который не нужен :)

Спасибо за комментарий.

1. Скорость это обратная величина времени выполнения. Данным критерием показывается, сколько времени нужно на выполнения пользователем каких-либо действий. Например, действие 1 продукте А выполняется за 10 секунд, а в продукте В за 140 секунд. Следовательно в продукте А работать будет удобнее.

2-3. Обучение оценивается косвенно - по полноте справки и документации, наличии средств помощи и обучения в пользовательском интерфейсе, наличию дополнительных средств обучения и непротиворечивости информационной модели ПО. Экспериментально изучать время изучения на конкретных пользователях это достаточно противоречивая и сложная задача, естественно.

Тут интересно именно насколько продукт "помогает" администратору в понимании своего устройства.

есть вообще то стандарты ... ISO 9241-10-98, ISO 9241-14-1997, ISO/IEC 11581-(1999-2000) на основе их можно было бы тестировать эргономичность

ну и учесть и принять во внимание основные принципы создания пользовательского интерфейса

+ госты ГОСТ Р ИСО/МЭК 12119-2000, ГОСТ Р ИСО МЭК 9126-93

Да, техническую эстетику и предполагается измерять на соответствие требованиям ряда ГОСТов по эргономике. В предыдущей методологии, в списке литературы, часть ГОСТов была приведена: http://www.anti-malware.ru/node/9570

Вопрос следующий.

Эргономичность для корпоративных администраторов может затеряться только после того как администратор интерфейс изучил. Такие вещи как очевидность в корпоративных решениях уже не катят.

Можно посчитать количество кликов для того чтобы сделать что-то, конечно.

"

скорость выполнения действий – 0.3, устойчивость к ошибкам – 0.3, скорость обучения – 0.2, техническая эстетика – 0.2."

Скорость выполнения в каком смысле? Это будет субъективная оценка?

Устойчивость к ошибкам как будет замеряться?

Скорость обучения - нерелевантна

Техническая эстетика - субъективно. Некоторым вон и Windows 8 нравится.

Ну да, в этом тесте как раз и предполагается использовать только экспертную оценку, исключив пользователей.

Подробно про критерии и способы их оценки написано в методологии к предыдущему аналогичному тесту: http://www.anti-malware.ru/node/9570

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kapral
1. Скорость это обратная величина времени выполнения. Данным критерием показывается, сколько времени нужно на выполнения пользователем каких-либо действий. Например, действие 1 продукте А выполняется за 10 секунд, а в продукте В за 140 секунд. Следовательно в продукте А работать будет удобнее.

А если так для человека который недавно взялся за этот продукты А и Б

Действие 1 в продукте А - 30 сек, в Б - 45 сек

Действие 2 в продукте Б - 30 сек, в Б - 40 сек

Вроде как А получше, так?

А для того кто давно знаком Б,

Действие 1 в продукте А - 30 сек, в Б - 10 сек

Действие 2 в продукте А - 30 сек, в Б - 3 сек.

2-3. Обучение оценивается косвенно - по полноте справки и документации,

Тут интересно именно насколько продукт "помогает" администратору в понимании своего устройства.

Хм... проверить все возможности и насколько они будут полно описаны

И понимание что этот флажок делает во включенном и чот во выключенном

И в каком случае нажимать эту БОЛЬШУЮ КРАСНУЮ кнопку

что-то мне кажется что время на тестирование будет гораздо больше чем планируется

ЗЫ. а если еще учитывать возможность сделать развесистое дерево с политиками и оценитьчто же получим в результате если применится вот ЭТА цепочка политик, и почему она для данного конкретного случая лучше чем соседняя

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft

Солидерен с А.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kartavenko M.V.
А если так для человека который недавно взялся за этот продукты А и Б

Действие 1 в продукте А - 30 сек, в Б - 45 сек

Действие 2 в продукте Б - 30 сек, в Б - 40 сек

Вроде как А получше, так?

А для того кто давно знаком Б,

Действие 1 в продукте А - 30 сек, в Б - 10 сек

Действие 2 в продукте А - 30 сек, в Б - 3 сек.

Хм... проверить все возможности и насколько они будут полно описаны

И понимание что этот флажок делает во включенном и чот во выключенном

И в каком случае нажимать эту БОЛЬШУЮ КРАСНУЮ кнопку

что-то мне кажется что время на тестирование будет гораздо больше чем планируется

ЗЫ. а если еще учитывать возможность сделать развесистое дерево с политиками и оценитьчто же получим в результате если применится вот ЭТА цепочка политик, и почему она для данного конкретного случая лучше чем соседняя

Есть методы оценки времени выполнения действий. Аналитически вычисляется время выполнения цепочки операций. В этом случае знание продуктов не учитывается. Это некоторое упрощение, однако оно позволяет сравнивать несколько продуктов между собой.

Тест действительно занимает много времени, требует учета большого количество параметров. А так как используется экспертная оценка, то все оценки делается группой экспертов. Что вместе с учетом большого количества критериев и параметров и позволяет уменьшить субъективность.

Во многом по этому в тесте участвуют 5-6 продуктов, а не 15-20 как во многих других тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kapral

Kartavenko M.V. Я не спорю, что можно получить некоторые показатели по эргономике корпоративных продуктов

только мне кажется, что в оценке покупателями что же именно выбрать данный показатель не столь уж важен

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Trend Micro - протух и завонял, ибо невидно не слышно. Берите авг и макафее ;)

Это в корпоративном секторе он "протух и завонял"?

А может лучше сделать тест юзабилити DLP-систем? Вот там как раз очень много разных кейсов, плюс подразумевается, что офицер безопасности пользуется им ежедневно.

А что это за должность - "офицер безопасности"? Речь не об офицерах ФСБ? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mvs
А что это за должность - "офицер безопасности"? Речь не об офицерах ФСБ? :)

обычная должность, на многих предприятиях есть... :) у нас есть и офицер по безопасности и администратор по ИБ

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • AM_Bot
      Компания «АВ Софт» является российским производителем средств обеспечения информационной безопасности, которые вендор разрабатывает с 2010 г. Портфель продуктов включает в себя систему защиты от целевых атак ATHENA, программный комплекс для имитации корпоративной инфраструктуры LOKI, антивирусный мультисканер OCTOPUS, корпоративный мессенджер BOND и другие продукты, уже зарекомендовавшие себя у российских заказчиков.    ВведениеПозиционирование вендора на рынкеСектор рынкаATHENALOKIOCTOPUSBONDCRIMLABNFIКатегории заказчиковНовые продуктыЗарубежные проектыГибкость и адаптация решенийПартнёрская сетьСертификацияПодведение итоговВыводыВведениеБренд «АВ Софт» придумал Антон Чухнов, основатель компании, имея скромное желание изменить индустрию информационной безопасности в России. Сердце потребителей планировалось пронзить стрелой чего-то нового и оригинального.В 2010 году системы на базе технологии «песочницы» обладали слабой гравитацией на рынке, многим идея казалась неперспективной и странной. Антон пришел от неё в восторг и объединил в первом прототипе системы ATHENA возможность анализировать поведение программного обеспечения с антивирусным мультисканером. Единство технологий принесло первый коммерческий успех, который стал отправной точкой для набора команды и развития продукта.В 2016–2019 гг. палитра предложений компании существенно увеличилась. В ней появились классы решений по маскировке операционных систем, защите мобильных устройств и мониторингу компрометации сетевых устройств. Каждое разработанное решение имеет свой стиль и концептуальное преподнесение. Система ATHENA стала флагманским продуктом и гибко адаптировалась под различные инфраструктурные пожелания заказчиков. Компания стала участником ассоциации АРПП «Отечественный софт», резидентом инновационного центра «Сколково», выиграла несколько конкурсов по инновациям в сфере ИТ и безопасности.В 2020 г. компания «АВ Софт» стала лауреатом гранта российского фонда РФРИТ по разработке системы ложных распределённых целей на базе технологии «deception». Новое решение позволит имитировать ИТ-инфраструктуру организации и заманивать злоумышленников в «ловушки», оберегая реальные устройства от кибератак. Система ATHENA была выбрана для участия в отечественном мультисканере (аналоге VirusTotal), который уже активно проходит тестирование. Также компании удалось развить партнёрскую сеть и реализовать ряд научно-технологических проектов.В команде есть всё необходимое для развития и роста: концентрация идей, потенциал для создания новых продуктов и самый важный бриллиант для любого вендора — доверие заказчиков.Позиционирование вендора на рынкеОбъективная оценка вендора на рынке играет важную роль для потребителей продуктов и услуг в области информационной безопасности. Управление рисками при выборе поставщика решений для защиты ИТ-инфраструктуры требует высоких профессиональных компетенций. Базовая оценка контрагента, выполняемая финансовым отделом, может упустить важные аспекты этой весьма наукоёмкой сферы.Можно выделить следующие направления анализа организаций, специализирующихся на разработке программного обеспечения и оказании услуг в области информационной безопасности:сектор рынка,категории заказчиков,создание новых продуктов,зарубежные проекты,гибкость и адаптация решений,партнёрская сеть,сертификация.Оценка всегда предполагает градацию её уровней, поэтому была разработана шкала присвоения веса по каждому параметру оценки. Таблица 1. Параметры оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию Сектор рынкаЗдесь важно учесть возможность не только начитаться маркетинговых материалов на сайте, но и получить пробную версию или возможность организации «пилота», который не потерпит крушение, что достоверно подтвердит наличие самих продуктов.У компании «АВ Софт» есть следующие направления решений:антивирусный мультисканер,песочница (sandbox),ловушки (deception),контроль сетевого взаимодействия устройств,криминалистический анализ,безопасная коммуникация.Разнообразие направлений продуктов в компании даёт представление о системном охвате рынка, развитии смежных компетенций у специалистов и потенциальной возможности построения сложных конструкций в ИТ-инфраструктуре.Пробные версии показывают возможности продуктов компании, о которых будет рассказано далее.ATHENAФлагманский продукт по защите от целенаправленных атак AVSOFT ATHENA SANDBOX с помощью методов поведенческого анализа и искусственного интеллекта способен проверять всю входящую в компанию информацию на наличие опасного и вредоносного содержимого.Внутри системы ATHENA присутствует множество инструментов проверки, которые можно разделить на два больших блока анализа: статический и динамический. Рисунок 1. Интерфейс системы ATHENA При прохождении файлом или веб-ссылкой статического вида анализа выполняется проверка контента на наличие известных сигнатур множеством локальных антивирусных ядер, синтаксическими анализаторами (парсерами) и искусственным интеллектом, а также осуществляется сбор информации по исследуемому объекту во внешних репутационных базах данных.При динамической проверке осуществляется анализ поведения файла в имитационной среде — «песочнице» (она может быть как виртуальной, так и физической), которая соответствует реальному рабочему месту пользователя или серверу компании. В ней происходят запуск файла, провоцирование его на вредоносные действия, сбор событий о его поведении и вынесение вердикта на основе результатов аналитического блока и поведенческих сигнатур, которые разработаны командой аналитиков «АВ Софт».Стоит отметить, что в системе ATHENA присутствует широкая линейка поддерживаемых в песочницах операционных систем, включающая отечественные ОС:Microsoft Windows;Linux:Astra Linux,RedOS,Alt Linux,Red Hat Enterprise Linux,Debian,Ubuntu,openSUSE,CentOS;Android.После завершения всех видов анализа система ATHENA отображает подробный отчёт. Рисунок 2. Отчёт по проверке в системе ATHENA Рисунок 3. Отчёт по проверке сетевого трафика в системе ATHENA Важно обращать внимание на современность и удобство интерфейсов систем, которые вы берёте попробовать. Сейчас уже вполне устойчиво сформировались общепризнанные требования и правила по эргономике, грамотному использованию цветовых палитр, а также интерактивным возможностям современного программного обеспечения. Если вы осознаёте, что интерфейс часто вводит вас в заблуждение или недоумение, т. е. вы не понимаете, куда нужно двигаться и что делать, и вместо службы доставки вкусного ужина пытаетесь дозвониться до службы поддержки вендора, то что-то идёт не так. Любое нарушение графическими интерфейсами устоявшихся сценариев поведения пользователей тормозит бизнес-процессы компании.LOKIПрограммный комплекс AVSOFT LOKI DECEPTION имитирует корпоративную инфраструктуру на базе технологии «deception» и позволяет виртуально моделировать на различном уровне любое устройство в организации, включая оборудование IoT и IIoT (контроллеры АСУ ТП). Рисунок 4. Интерфейс системы LOKI Имитация устройств осуществляется с помощью ловушек (honeypot) и песочниц (sandbox). На рабочих местах сотрудников и серверах разворачиваются приманки, которые ведут в ловушки и песочницы, уводя вектор атаки от реальных устройств.Использовать систему LOKI несложно, достаточно сделать 4 шага:Просканировать подсети для определения состава активных устройств.Система сама предложит ловушки к ним, можно будет просто согласиться с её выбором.Развернуть ловушки в выбранной подсети одной кнопкой.Скачать приманки на рабочие места и установить их. Рисунок 5. Панель статистики системы LOKI Сейчас линейка имитируемых устройств в системе LOKI уже включает в себя большой список типов и моделей, который активно пополняется: рабочие станции, серверы, маршрутизаторы, межсетевые экраны, IP-телефоны, IP-камеры, принтеры и сканеры, PoS-терминалы, ЧПУ-станки. Рисунок 6. Карта сети ловушек и реальных устройств в системе LOKI При работе с программным продуктом не стоит забывать о простоте его использования, чтобы любой шаг был естественен и логично следовал из предыдущего. В системе LOKI есть эта особенность, хотя изначально концепция идеи может сформировать представление о чём-то громоздком и сложном. Конечно, комплексы, автоматизирующие процессы в информационной безопасности, имеют большие функциональные возможности, но продукт должен стараться исключать людей из процесса, выполняя по максимуму всё самостоятельно, т. к. человеческий фактор — это всегда риск.OCTOPUSСистема AVSOFT OCTOPUS MULTISCANNER — это антивирусный мультисканер, который может быстро обрабатывать большие объёмы трафика и подходит в том числе для небольших компаний за счёт невысокой стоимости.Внутри системы — больше 20-ти локальных антивирусных ядер, при желании можно добавить и больше. Помимо этого есть модули статического анализа файлов, модели на базе машинного обучения, интеграция с внешними репутационными сервисами.Можно отправить на проверку самые разнообразные типы файлов: исполняемые, офисные, скрипты, мобильные приложения, архивы, включая многотомные и закрытые паролем, и др. Рисунок 7. Страница проверки файлов в системе OCTOPUS При оценке любой современной системы важно учитывать скорость обработки данных; если вендор предлагает решить её только за счёт «железа», то это — порочная практика, т. к. она всегда ставит перед заказчиком вопрос о дополнительных затратах. Важно уточнять у вендора, как происходит обработка очередей и больших объёмов задач, чтобы подстраховать себя от незапланированных финансовых потоков во внешний мир.BONDAVSOFT BOND MESSENGER — мессенджер для безопасного корпоративного общения. Он позволяет управлять всей коммуникацией в компании через собственный сервер. После развёртывания мессенджера в инфраструктуре никто кроме уполномоченных администраторов из персонала заказчика не имеет доступа к серверу, включая самих разработчиков программы. Рисунок 8. Интерфейс мессенджера BOND Получение быстрого доступа к продукту, как в случае с мессенджером, который можно просто скачать и поставить, даёт возможность сразу оценить его характеристики и принять решение. Если приходится пройти сражение с драконом или спасти принцессу, чтобы получить «пилот» или пробный доступ, то стоит задуматься, стоит ли ввязываться в этот бой, поскольку так же сложно могут быть выстроены и другие процессы, связанные с поддержкой или инсталляцией в инфраструктуру.CRIMLABКриминалистическая лаборатория AVSOFT CRIMLAB ANALYTICS предоставляет инструменты для детального анализа файлов и разнообразной агрегации собранных данных: сравнение исследований, создание коллекций, формирование базы знаний и др. Решение актуально для центров мониторинга информационной безопасности (SOC) и компаний, которые хотят развить компетенции своих специалистов в данной области. Рисунок 9. Схема работы CRIMLAB Решение позволяет проводить детальный анализ содержимого любого типа файлов, изучать его поведение в виртуальных и физических песочницах, тонко индивидуализировать параметры среды исследования и добавлять инструменты исследований, а также осуществлять ретроспективный анализ. Рисунок 10. Подробный отчёт по файлу Возможность тонкой индивидуализации внутренних функций и настроек системы всегда говорит о её гибкости и адаптивности, это уже стало базовым качеством многих современных программных продуктов. Не стоит забывать, что осуществление индивидуализации не должно быть сложным или запутанным, т. к. это повышает риск ошибок, система должна запрещать пользователю выполнять заведомо некорректные настройки.NFIНебольшой программно-аппаратный комплекс AVSOFT NFI контролирует взаимодействие сетевых устройств с внешней сетью (интернетом). NFI представляет собой устройство, которое берёт в кольцо сетевые пакеты, работая на 3-м уровне модели OSI. Инспектор способен оперативно выявить и заблокировать компрометацию любого сетевого устройства и оповестить об этом службу безопасности. Рисунок 11. Схема работы AVSOFT NFI NFI имеет графический интерфейс, в котором можно задавать правила фильтрации и управлять устройством. Рисунок 12. Интерфейс программно-аппаратного устройства NFI Итак, компанией охвачены востребованные направления на рынке информационной безопасности и этих направлений больше 5-ти, что даёт основание присвоить ей 3 балла по принятой методике оценки.Категории заказчиковДля вендора большую роль играет получение опыта с разными категориями заказчиков. Все осознают, что государственные и коммерческие организации — это два больших разных «королевства» со своими требованиями и правилами. Непрерывная реконструкция и анализ многогранных кейсов с клиентами может помочь пересмотреть процесс реализации новых проектов. Заказы от коммерческих компаний преимущественно ориентированы на скорость и оптимизацию затрат, от государственных структур — на соблюдение требований регуляторов, а качество, конечно, интересует всех.Компания «АВ Софт» работает как с государственными, так и с коммерческими заказчиками. Веер направлений деятельности клиентов включает в себя промышленность, транспорт, оказание услуг по безопасности и задачи связанные с обороной. Не присутствуют пока зарубежные заказчики, что позволяет поставить по методике оценки 2 балла.Новые продуктыОриентация на создание новых продуктов — обязательный талисман для всех, кто планирует расти. Сфера кибератак развивается со скоростью гепарда, поэтому вендорам важно не упускать шанса моделировать инструменты охоты, которых ни у кого нет или которым есть куда стремиться по уровню качества. Конкуренты всегда помогают в развитии, никогда не сидят спокойно и ждут возможности забрать себе кусочек того, что кто-то потерял, потому что отстал в развитии. Если компания постоянно генерирует новые идеи и не жалеет ресурсов на развитие новых продуктов, то это выделяет её с точки зрения планирования долгосрочной стратегии.Команда «АВ Софт» почти каждый год выпускает новый продукт, и основная концепция компании как таковая базируется на непрерывном выпуске новых продуктов. По методике можно присвоить ей 3 балла.Зарубежные проектыКогда вендор вращается только в своей домашней зоне, это не даёт ему возможности развиться до уровня международных конкурентов, и тем самым он обрекает себя на стагнацию, которая наступит рано или поздно. Очень важно стремиться расширять круг заказов за границами комфортного «стеклянного шара», адаптируя свои решения под требования заказчиков из других стран.Опыта зарубежных проектов компания «АВ Софт» пока не имела шанса получить, поэтому по методике ей ставим 0 баллов.Гибкость и адаптация решенийСпособность продуктов гибко трансформироваться не всегда удобна вендорам, потому что это влечёт за собой дополнительные ресурсы на поддержку и сопровождение. Но желания заказчиков никто не отменял, и пока они не удовлетворены — это всегда отличный повод для действия. Клиентоориентированный подход уже пронизывает все сферы рынка и требует покориться ему в том числе и от поставщиков решений по информационной безопасности.Индивидуализация продуктов компании «АВ Софт» возможна и является одним из обязательных условий работы с заказчиками, взятых на себя командой. Высокая адаптивность продуктов — это всегда отчасти и риск, но при должной оптимизации этого процесса он даёт гораздо больше, чем ограничения клиентов. Формируется совершенно иной уровень доверия, появляется возможность реализовать действительно полезные проекты. По методике мы можем поставить в данной категории 3 балла.Партнёрская сетьРазвитая партнёрская сеть свидетельствует о доверии и устойчивой позиции вендора на рынке. Если среди партнёров есть крупные интеграторы и дистрибьюторы, то это показывает, что компания получила признание у сильных игроков.У компании «АВ Софт» — больше 15-ти партнёров, что даёт основание выставить ей по методике ещё 3 балла.СертификацияПолучение сертификации — ювелирная работа, которая требует в первую очередь стабильности продуктов и чёткого их соответствия заявленным требованиям. При наличии лицензий можно сделать вывод о том, что присутствует баланс между разработкой новых функций и их устойчивым состоянием.Часть продуктов компании «АВ Софт» имеет сертификацию, остальные находятся в процессе её получения, поэтому в нашей финальной метрике мы можем выставить 2 балла.Подведение итоговВ итоговой таблице компания «АВ Софт» получает 16 баллов, что вполне неплохо, но значит, что есть куда стремиться. Цветом выделены баллы, которые компания получила в результате прохождения оценки в рамках настоящего материала. Таблица 2. Методика оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию ВыводыОценка вендора может быть адаптирована под потребности конкретной организации и особенности защиты её ИТ-инфраструктуры. Рекомендуется также выстраивать управление рисками в части поставки решений по информационной безопасности и методику оценки качества продуктов и услуг вендора. Читать далее
    • mirkosmetik
      Спасибо, полезно.  
    • andery777
    • Guffy
    • andery777
      Только для 10? Как думаете с 7 совместима?
×