Критерии оценки антивирусов - Выбор домашних средств защиты - Форумы Anti-Malware.ru Перейти к содержанию
AM_Bot

Критерии оценки антивирусов

Recommended Posts

AM_Bot

Друзья, постоянно приходится слышать и читать в различных форумах о критериях оценки антивирусов, что тут только не приводится в качестве параметром ...

Меня сейчас очень озадачил вопрос выработки списка критериев оценки антивирусов, но именно с точки зрения конечного пользователя (не специалиста).

В идеале посмотрев это должны бытьтакие критерии, чтобы простой пользователь посмотрев результат оценки (цифры по шкале) понял, подходящий это для него продукт или нет, стоит ли его покупать/ставить и т.д.

Понимаю, задача сложная, но решать ее надо (рассчитываю на вашу помощь). Для начала предлагаю выработать такие криетрии для персональных продуктов. :)

Вот какой список поучился у меня:

1. Эффективность работы (качество проверки)

2. Функциональность

3. Скорость работы

4. Требования к ресурсам

5. Надежность работы

6. Интерфейс и настройки

7. Простота использования

8. Цена

Пункты 6 и 7 являются взаимозаменяющими по сути, нужны сразу два, потому как некоторым юзерам важны настройки, а другим простота работы и оба подхода имеют право на жизнь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB
Друзья, постоянно приходится слышать и читать в различных форумах о критериях оценки антивирусов, что тут только не приводится в качестве параметром ...

Меня сейчас очень озадачил вопрос выработки списка критериев оценки антивирусов, но именно с точки зрения конечного пользователя (не специалиста).

В идеале посмотрев это должны бытьтакие критерии, чтобы простой пользователь посмотрев результат оценки (цифры по шкале) понял, подходящий это для него продукт или нет, стоит ли его покупать/ставить и т.д.

Понимаю, задача сложная, но решать ее надо (рассчитываю на вашу помощь). Для начала предлагаю выработать такие криетрии для персональных продуктов. :)

Вот какой список поучился у меня:

1. Эффективность работы (качество проверки)

2. Функциональность

3. Скорость работы

4. Требования к ресурсам

5. Надежность работы

6. Интерфейс и настройки

7. Простота использования

8. Цена

Пункты 6 и 7 являются взаимозаменяющими по сути, нужны сразу два, потому как некоторым юзерам важны настройки, а другим простота работы и оба подхода имеют право на жизнь.

Я бы еще добавил наличие и простота общения со службой тех поддержки в том или ином регионе, так как что толку мне (в Киеве) от наличия тех поддержки в США?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
Я бы еще добавил наличие и простота общения со службой тех поддержки в том или ином регионе, так как что толку мне (в Киеве) от наличия тех поддержки в США?

Скорее не простота общения, а наличие локальной (местной) службы технической поддержки.

В этом плане компания TrendMicro сделал очень умный шаг. По партнерскому соглашению, первая линия технической поддержки оказывается самим партнером компании TrendMicro, продавшим ПО заказчику.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AM_Bot

На счет техподдержки я думал, тут могут бысть непонятки.

1. Как ее оценивать

2. Оценка техподдрежки будет предвзята изначально.

Поясню на примерах.

Возьмем две модели техподдержки ЛК и Тренд Микро. У первых она оказывается центральным офисом, у вторых - партнером, продавающим продукт. Какая из моделей них лучше? Для одних (персональщиков) - наверное первая, для корпораторов - скорее вторая.

Но может быть и наоборот в зависимости из личных предпочтений. Скажем не любит человек звонить по межгороду, хоть и на бесплатный номер, или в компании партнере не могут качественно решить его проблему.

Кто-то оказывает поддержку толкьо по e-mail, а другие по e-mail и телефону.

Кому то техподдержка Доктора Веба нравится, а другой будет считать ее хамской и оценит на 2-ку. :?

Можно это продолжать. Вот и получается сильно предвзято в случае эксперсной оценки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Тем не менее, в сравнениях, наличие локально технической поддержки необходимо отмечать (как она организуется и т.п.). И пусть конечный клиент сам выбирает, что ему по душе ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB
Тем не менее, в сравнениях, наличие локально технической поддержки необходимо отмечать (как она организуется и т.п.). И пусть конечный клиент сам выбирает, что ему по душе ...

согласен! А о хамской поддержке Др Веб не будем. Не хочу о грустном!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Я бы еще добавил наличие и простота общения со службой тех поддержки в том или ином регионе, так как что толку мне (в Киеве) от наличия тех поддержки в США?

Мысль правильная, так как поддержки у разных вендоров могут быть разные, но есть продукты, которые можно, например, купить в Интернет-магазине в штатах и потом не иметь возможности получить консультацию по-русски в принципе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Меня сейчас очень озадачил вопрос выработки списка критериев оценки антивирусов, но именно с точки зрения конечного пользователя (не специалиста).

Кто будет оценивать? Эксперт(ы) или голосованием?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AM_Bot
Меня сейчас очень озадачил вопрос выработки списка критериев оценки антивирусов, но именно с точки зрения конечного пользователя (не специалиста).

Кто будет оценивать? Эксперт(ы) или голосованием?

Возможна как эксперстная оценка, так и оценка пользователями в ходе голосования. Второй вариант требует детальной проработки, чтобы свести к минимуму различные спикуляции и искажение результатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Второй вариант требует детальной проработки, чтобы свести к минимуму различные спикуляции и искажение результатов.

Я именно этим и интересовался. Тогда все дело в формулировках вопросов:

1. Эффективность работы (качество проверки)

Вопрос: Сколько раз за последние пол года вы обнаруживали опасные файлы, которые не обнаруживал ваш антивирус?

2. Функциональность

Есть ли какие-то функции, которых вам не хватает в вашем продукте?

3. Скорость работы

Чуствуете ли вы замедление работы при включенном антивирусном мониторе?

4. Требования к ресурсам

Хватает ли аппаратной конфигурации вашего компьютера для работы с данным антивирусом?

5. Надежность работы

Сколько раз за последние пол года вы сталкивались со сбоями, которые "лечились" выгрузкой резидентного монитора?

6. Интерфейс и настройки

Понимаете ли вы смысл всех опций продукта?

7. Простота использования

Приходилось ли вам при использовании продукта обращатся в тех. поддержку или читать документацию?

8. Цена

Считаете ли вы, что продукт, который вы используете стоит потраченных на него денег? (укажите сумму)

Примечание: Это нулевое приближение

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Прибочий Михаил

Все дело в формулировках вопросов

Именно в правильных критериях оценки!

На всех семинарах бывает такая картина: сидит противный человек и на все рассказы докладчика о новых предлагаемых его компанией сервисах/услугах/продуктах бормочет (или же во весь голос заявляет): "А вот у меня этого нет, и мне не надо, все и так работает. И нафига оно тогда нужно, глупости эти ваши?!". Считаю, что если уж браться за такую сложную тему как оценка эффективности работы продуктов, необходим не субъективно-личный (к чему мы скатимся, если мер не примем), а несколько более формальный подход.

В качестве "первого", а не "нулевого" приближения:

1. Эффективность работы (качество проверки)

Вопрос: Сколько раз за последние пол года вы обнаруживали опасные файлы, которые не обнаруживал ваш антивирус?

Замечание: шпионов на своей машине средний юзер или "так себе" админ не обнаружит. Да что там, сейчас вирус-червь-троянец стал недеструктивным на машине-носителе и непосвещенному не будет заметен. Определение методом опроса в данном случае гарантировано не может быть объективным.

2. Функциональность

Есть ли какие-то функции, которых вам не хватает в вашем продукте?

Та же ситуация. Когда угрозы неочевидны, недостаток функций может не ощущаться. Некоторые, вообще, на шлюз решений не предлагают. При этом красиво доказывают бесполезность подобного решения. И кто то верит.. Ау, есть среди нас поклоники Nod32?

3. Скорость работы

Чуствуете ли вы замедление работы при включенном антивирусном мониторе?

Предлагаю дополнить: "...при включении (и перечислить некий базовый минимальный набор) функций". Иначе самый распоследний тормоз-антивирус "со снятыми галочками" покажет неплохие результаты.

4. Требования к ресурсам

Хватает ли аппаратной конфигурации вашего компьютера для работы с данным антивирусом?

5. Надежность работы

Сколько раз за последние пол года вы сталкивались со сбоями, которые "лечились" выгрузкой резидентного монитора?

6. Интерфейс и настройки

Понимаете ли вы смысл всех опций продукта?

Будет ли кому то легче, если окажется, что кто-то недопонимает необходимость той или иной опции некоего вендора? Разъяснять непонятное - в том числе и для этого существют службы технической поддержки. Может, необходимо обсудить явно высососаные из пальца (бывают такие! или, может, я их недопонял?) опции?

7. Простота использования

Приходилось ли вам при использовании продукта обращатся в тех. поддержку или читать документацию?

Странно немного. Если продукт корпоративный, документацию к нему всегда неплохо было бы почитать. Может лучше так: Считаете ли Вы необходимым внешнее обучение данному продукту?

8. Цена

Считаете ли вы, что продукт, который вы используете стоит потраченных на него денег? (укажите сумму)

Может, поскольку все соглашаются, что ТСО важнее цены, введем доп. околоценовые критерии? Кол-во администраторов на 100 р/ст, затраты на администрирование (человеко-часов в месяц), стоимоть/необходимость/длительность обучения, возможность автоматизации типично ручных работ (остановка процессов запущенных вирусом, чистка реестра после заражения и пр.), возможность удаленного централизованного и пр. администрирования?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

Может обратим одновременно внимание на антиспамовые решения..

Назовём спам текстовым вирусом (такое определения я прочитал на сайте касперского) и начнём оценивать по предложенным критериям..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

О тех поддержке..

Был случай, столкнулся я с необходимостью в премиум саппорте (продуктов тренд микро)

Компания реселлер заявила, что такую поддержку оказывает центральный офис, у нас такой возможности нет..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AM_Bot
О тех поддержке..

Был случай, столкнулся я с необходимостью в премиум саппорте (продуктов тренд микро)

Компания реселлер заявила, что такую поддержку оказывает центральный офис, у нас такой возможности нет..

Именно, так об этом говорилось в другой ветке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

у нас кто-нибудь предоставляет премиум поддержку?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AM_Bot
у нас кто-нибудь предоставляет премиум поддержку?

Я так понял, что - нет. Михаил Кондрашин может прокоментировать точнее.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

ну а если всё таки отвлечся от идеального продукта?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
у нас кто-нибудь предоставляет премиум поддержку?

Если "у нас" и "предоставляет" означает возможность получить в России, то да, но в настоящий момент от инженера из Германии или Филипин, то есть по-английски.

Если "предоставляет", означает "имеются прецеденты", то да. Мне как-то звонили из российского представительства одной французкой компании.

Если "кто-нибудь" означает российских интеграторов, то нет по определению Premium Support. С другой стороны многие партнеры Trend Micro представлют различные пакеты тех. поддержки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
ну а если всё таки отвлечся от идеального продукта?

Что вы называете Премиум-поддержкой? Для Trend Micro --- это вполне определенная позиция в прайс-листе и контракт, где зафиксировано время решения проблем, время реации на вирус, штраф за несоблюдение сроков и т.п.

Нужно собрать по больше представителей других вендоров в этом фруме, чтобы узнать , что из сервиса можно купить напрямую.

Что скажут те, кто уже присутствуют?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

это определение дали мне представители тренд-микро

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Все дело в формулировках вопросов

Именно в правильных критериях оценки!

На всех семинарах бывает такая картина: сидит противный человек и на все рассказы докладчика о новых предлагаемых его компанией сервисах/услугах/продуктах бормочет (или же во весь голос заявляет): "А вот у меня этого нет, и мне не надо, все и так работает. И нафига оно тогда нужно, глупости эти ваши?!".

Это на семинарах такой "товарисч" сильно мешает. В опросе его отдельное мнение "потонет".

Замечание: шпионов на своей машине средний юзер или "так себе" админ не обнаружит. Да что там, сейчас вирус-червь-троянец стал недеструктивным на машине-носителе и непосвещенному не будет заметен. Определение методом опроса в данном случае гарантировано не может быть объективным.

Нужно просто менять формулировку: Случалось ли так, что проверка вашего компьютера другим проудктом выявляля зараженность серьезным вирусом?

2. Функциональность

Есть ли какие-то функции, которых вам не хватает в вашем продукте?

Та же ситуация. Когда угрозы неочевидны, недостаток функций может не ощущаться.

Если не ощущаются, значит и не нужно. Не это ли правда последней инстанции? Но опять же можно сформулировать иначе:

О каких функциях других продуктов вы знаете, которые вам бы хотелось видеть в используемом у вас?

3. Скорость работы

Чуствуете ли вы замедление работы при включенном антивирусном мониторе?

Предлагаю дополнить: "...при включении (и перечислить некий базовый минимальный набор) функций". Иначе самый распоследний тормоз-антивирус "со снятыми галочками" покажет неплохие результаты.

Я предлагаю учесть это при общете результатов. То есть посмотреть что пишут про непойманые вирусы и что про быстродействие.

В принципе с замечанием я согласен, но сичтаю что это можно учесть в формулировке дополнительного вопроса:

Оптимизировали ли вы нстройку антивирусного монитора, или используете уонфигурацию по-умолчанию? Что вас сподвигло на переконфигурирование? (быстродействие?)

6. Интерфейс и настройки

Понимаете ли вы смысл всех опций продукта?

Будет ли кому то легче, если окажется, что кто-то недопонимает необходимость той или иной опции некоего вендора? Разъяснять непонятное - в том числе и для этого существют службы технической поддержки. Может, необходимо обсудить явно высососаные из пальца (бывают такие! или, может, я их недопонял?) опции?

Давайте дополним. Приходилось ли вам обращатся в тех. поддержку для выяснения смысла опций продукта? Успешно ли?

Лично меня интересует, насколько то, что у иностранных продуктов английский интерфейс вводит в заблуждение пользователей. С другой стороны, если все написано по-русски, насколько это облегчает жизнь.

7. Простота использования

Приходилось ли вам при использовании продукта обращатся в тех. поддержку или читать документацию?

Странно немного. Если продукт корпоративный, документацию к нему всегда неплохо было бы почитать. Может лучше так: Считаете ли Вы необходимым внешнее обучение данному продукту?

Я предлагаю букет вопросов:

1. Читали ли вы документацию?

2. Приходилсоь ли вам читать документацию для выяснения каких-либо аспектов продукта?

3. На каком языке вы читали документацию?

4. Насколько полно она написана?

Разумеется про обучение вопрос тоже имеет смысл.

8. Цена

Считаете ли вы, что продукт, который вы используете стоит потраченных на него денег? (укажите сумму)

Может, поскольку все соглашаются, что ТСО важнее цены, введем доп. околоценовые критерии? Кол-во администраторов на 100 р/ст, затраты на администрирование (человеко-часов в месяц), стоимоть/необходимость/длительность обучения, возможность автоматизации типично ручных работ (остановка процессов запущенных вирусом, чистка реестра после заражения и пр.), возможность удаленного централизованного и пр. администрирования?

Все это очень сложно.

Согласись, что цена продукта, это очень важный параметр, хотя не самый важный.

Лучше про TCO задать отдельные вопросы. Про зарплату администраторов, непосредственно занимающихся антивирусов. Про запрдату администраторов занимающихся частично антивирусом. "Частично" --- что бы в процентах.

Потом можно умножать количество указанных выше вирусных инцидентов на зарплаты и проводить прочую аналитику. Это делается в Excel очень просто.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Я согласен, очень многое зависит от правильных формулировок, спросить одно и тоже можно по-разному.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Я согласен, очень многое зависит от правильных формулировок, спросить одно и тоже можно по-разному.

Важно, чтобы результаты поддавались прозрачной, статистической интерпретации. Например, можно было бы найти корреляцию между характером ответов на определенный вопрос и количеством компьютеров в сети. Или оценить TCO умножив зарплаты на инциденты и прибавив стоимость лицензии. Разумеется со всякими коэффициентами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Важно, чтобы результаты поддавались прозрачной, статистической интерпретации. Например, можно было бы найти корреляцию между характером ответов на определенный вопрос и количеством компьютеров в сети. Или оценить TCO умножив зарплаты на инциденты и прибавив стоимость лицензии. Разумеется со всякими коэффициентами.

Конечно, иначе неинтересно вообще заморачиваться с этим.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      ESET Online Scanner был обновлён до версии 4.0.1. Приложение теперь работает только в 64-разрядной ОС.
    • Ego Dekker
      ESET Cyber Security был обновлён до версии 9.0.6700.
    • AM_Bot
      Теория звучит убедительно, но работает ли она на практике? Мы внимательно изучили Phishman 2.35 и решили не останавливаться на описании её возможностей. Вместо этого протестировали платформу на собственных сотрудниках и удивились, к каким результатам это привело.      1. Введение2. Методология тестирования Phishman 2.353. Первичное тестирование3.1. Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылки3.2. Тестирование доставки и отражения результатов в статистике3.3. Результаты атак4. Обучение4.1. Формирование учебной группы4.2. Составление образовательной программы по повышению киберкультуры4.3. Процесс обучения и его результаты5. Повторное тестирование5.1. Результаты атак6. Подведение итогов6.1. Сложности, с которыми мы столкнулись7. Впечатления от проекта команды «АМ Медиа»7.1. Реакция сотрудников7.2. Реакция организаторов7.3. Сотрудничество с вендором8. ВыводыВведениеPhishman 2.35 — это система повышения осведомлённости пользователей в сфере ИБ. Она помогает развивать киберкультуру и формировать у сотрудников устойчивые навыки безопасной работы с информацией, цифровыми сервисами и корпоративными ресурсами. В процессе обучения сотрудники учатся распознавать актуальные сценарии атак, закрепляют правильные модели поведения и в результате реже становятся причиной инцидентов, связанных с человеческим фактором.В первой части обзора Phishman 2.35 мы рассмотрели платформу с точки зрения её возможностей. Теперь пришло время проверить, как всё это работает на практике. За время проекта мы не только оценили эффективность различных сценариев, но и столкнулись с рядом особенностей, которые невозможно увидеть в документации. Одни из них влияли на ход тестирования, другие оказались скорее организационными нюансами, о которых стоит знать заранее.Методология тестирования Phishman 2.35В процессе работы с киберкультурой «АМ Медиа» мы будем использовать следующие метрики:Обученность. Отражает уровень знаний сотрудников в области ИБ. Показатель растёт, когда сотрудники осваивают темы: реагирование на инциденты, защита от социальной инженерии и другие критически важные компетенции.Иммунность. Показывает, как сотрудники применяют знания на практике. Она повышается, когда демонстрируется способность распознавать угрозы и правильно на них реагировать в реальных сценариях.Киберосознанность — итоговая метрика. Объединяет знания и практические навыки, показывая, насколько сотрудники в целом устойчивы к киберугрозам и действуют корректно при их возникновении.Прежде чем оценивать эффективность работы системы, необходимо определить отправную точку. Первичное тестирование определит, на какие сценарии реагирует каждый сотрудник, где чаще всего допускаются ошибки и какие темы требуют дополнительного развития. На основе этих данных формируется индивидуальная программа обучения: сотрудники проходят персонализированные курсы, выполняют практические задания и тесты, которые помогают устранить выявленные пробелы и закрепить необходимые навыки. В процессе обучения повышается уровень обученности, а закрепление знаний через практику влияет на показатель иммунности. После завершения обучения мы проведём повторное тестирование, которое покажет, какие изменения произошли по всем ключевым метрикам.Заключительный этап — сравнение результатов первичного и повторного тестирования. Здесь станет понятно, насколько вырос уровень киберкультуры сотрудников: изменилось ли их отношение к вопросам ИБ, стали ли они увереннее распознавать угрозы и чаще принимать безопасные решения в ситуациях, где раньше могли допустить ошибку.В качестве основного канала для рассылки фишинга выбрали электронную почту. Причина очевидна: именно она остаётся основным способом первичного контакта злоумышленников с сотрудниками и доставки фишинговых сценариев. По имеющимся оценкам, более 90 % успешных кибератак начинаются с электронного письма, поэтому исключать этот канал из подобных проверок было бы некорректно.Первичное тестированиеРеальные фишинговые атаки почти никогда не строятся по универсальному шаблону: злоумышленники адаптируют содержание писем под роль человека в компании, его рабочие процессы и типовые задачи. Поэтому при выборе целевой аудитории мы разделили сотрудников по функциям и уровню доступа к корпоративным данным, а сам проект разбили на 3 последовательные волны с разным уровнем сложности.Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылкиПосле определения целевой аудитории был проведён анализ структуры подразделений и рабочих процессов сотрудников. На этом этапе изучались:должностные обязанности;распределение зон ответственности;характер внутреннего взаимодействия между отделами;используемые адреса электронной почты;формат повседневной служебной переписки.Это позволило понять, какие сценарии коммуникации являются для сотрудников привычными и не вызывают подозрений.На основе собранных данных были подготовлены сценарии фишинговых сообщений. При разработке содержимого учитывались тематика рабочих задач, стиль корпоративного общения, оформление внутренних уведомлений и типовые причины отправки писем внутри организации. Основная задача заключалась в том, чтобы письмо воспринималось как стандартное рабочее сообщение, соответствующее реальным бизнес-процессам заказчика.Волна 1. Первая волна была построена как массовый фишинг. Сценарий — сверка графика отпусков. Для атаки создавали и настраивали пользовательский шаблон. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки.На этом этапе проверялась базовая реакция сотрудников на привычные рабочие триггеры и способность распознавать типовые признаки фишинга без привязки к конкретному подразделению. Рисунок 1. Шаблон для первой волны Рисунок 2. Вид фишингового письма из первой волны в почте Волна 2. Для каждого отдела были подготовлены письма, основанные на реальных рабочих процессах, характерных запросах и ситуациях, с которыми сотрудники регулярно сталкиваются в своей деятельности. Для атаки создали и настроили пользовательский шаблон, где-то добавили немного визуального оформления. Время начала рассылки — по запланированному времени. Рисунок 3. Пример шаблона из второй волны для отдела «Продажи» Рисунок 4. Вид фишингового письма из второй волны для отдела «Продажи» Волна 3. Здесь моделировались уже более сложные сценарии целевого фишинга (spear phishing). В письмах использовались специальные формулировки, элементы корпоративного брендирования. На этом этапе проверялась не только внимательность сотрудников, но и способность замечать менее очевидные признаки атаки в условиях, максимально приближённых к реальной целевой компрометации.За основу брали системный брендированный шаблон «Яндекс ID», добавили фишинговую форму и скорректировали немного её содержание. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 5. Пример шаблона из третьей волны Рисунок 6. Вид фишингового письма из третьей волны При переходе по ссылке открывалась фишинговая страница. Рисунок 7. Фишинговая страница Тестирование доставки и отражения результатов в статистикеДалее была подготовлена инфраструктура рассылки. После её настройки проводилось тестирование доставки сообщений. Проверялась доставка писем во входящие сообщения почтовых клиентов, анализировалась реакция антиспам-механизмов в почте, а также контролировалась корректность работы механизмов отслеживания действий пользователей. Рисунок 8. Результаты тестирования доставки и отображения сообщений в почте Тестирование прошло успешно.После завершения проверки была сформирована последовательность отправки сообщений по заранее определённым волнам. Такой подход позволил распределить нагрузку, контролировать ход тестирования и отслеживать реакцию сотрудников на различных этапах проведения проверки. Рисунок 9. Активные мероприятия Результаты атакБыли получены следующие результаты:Иммунность — 81 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 71 %.Уровень риска — 8, средний. Устойчивость формируется, но есть ещё риски. Рисунок 10. Общая информация после проведения первичного тестирования Самый низкий уровень иммунности — около 50 %, после первых двух волн атак. Рисунок 11. График иммунности во время первичного тестирования Далее — сформировали в системе отчёт по скомпрометированности сотрудников, на основании которого выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Рисунок 12. Отчёт по скомпрометированности всех сотрудников в Phishman 2.35 Таблица 1. Результаты первичного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот04,76 %4,76 %Продажи04,76 %9,52 %Продюсеры 0023,8 %Редакция0019,04 %Руководитель000 ОбучениеПервичное тестирование завершено, поэтому следующим этапом стало определение группы риска и формирование программы обучения.Формирование учебной группыНа этапе отбора рассматривались два варианта формирования учебной группы. Первый предполагал использование показателя иммунности сотрудников. Второй вариант заключался в создании правила, автоматически формирующего список сотрудников, которые были скомпрометированы в ходе проведённых проверок. Этот подход позволял сразу получить выборку пользователей, продемонстрировавших наибольшую подверженность атакам, без ожидания обновления показателей.Был выбран второй вариант. На основании созданного правила была сформирована группа для обучения: в неё вошли люди, которые были скомпрометированы в ходе первичного тестирования. Рисунок 13. Создание правила для выявления группы риска Рисунок 14. Отчёт по отработанному правилу для выявления группы риска Отдельно была сформирована группа сотрудников, успешно распознавших фишинговую атаку, для участия в обучении, направленном на поддержание киберкультуры.Составление образовательной программы по повышению киберкультурыПопавшиеся сотрудники были включены в отдельную учебную группу, для которой сформировали персональную образовательную траекторию. В неё вошли 3 микрокурса по фишингу и 1 курс по информационной безопасности. Содержание траектории было направлено на повышение устойчивости к методам социальной инженерии и снижение вероятности компрометации учётных данных. Рисунок 15. Заполнение параметров обучения сотрудников Рисунок 16. Составление учебной программы Отдельно была запущена программа обучения для сотрудников, которые не попали в выборку по результатам правила.Процесс обучения и его результатыПервый отчёт мы сформировали через 2 дня после запуска обучения, что позволило получить предварительную оценку вовлечённости сотрудников. Анализ данных показал, что наибольшую активность на начальном этапе продемонстрировали сотрудники, которые попались на фишинг. Рисунок 17. Промежуточный анализ обучения Через неделю после запуска обучения провели повторный анализ прогресса, включая оценку прохождения курсов и выявление участников, не приступивших к обучению. Рисунок 18. Отчёт по динамике обучения в Phishman 2.35 Анализ показал, что часть сотрудников не завершила обучение в установленный срок. Для обеспечения максимального охвата было принято решение о продлении сроков прохождения курсов. Рисунок 19. Продление и корректировка процесса обучения В результате фактическая продолжительность обучения составила 2 недели, что превысило первоначально установленный срок в одну неделю. Но и этого времени не хватило нашим сотрудникам. Чтобы узнать, кто оказался более ответственным, воспользовались возможностями правил. Рисунок 20. Пример настройки правила по выявлению сотрудников, прошедших обучение В результате была получена информация о сотрудниках, полностью и частично прошедших обучение. Рисунок 21. Отчёт по сработанному правилу по выявлению сотрудников, прошедших обучение Рисунок 22. Отчёт по сработанному правилу по выявлению сотрудников, частично прошедших обучение Результаты обучения:полностью прошли обучение — 52 %;частично — 22 %;не прошли обучение — 26 %.Мы проанализировали список сотрудников, не приступивших к обучению, и выяснили, что это те, кто не попался на фишинг во время первичного тестирования.Среди сотрудников, которые попались на фишинг, 80 % прошли обучение, остальные — прошли его частично. Рисунок 23. Результаты обучения сотрудников «АМ Медиа» Вместе с тем за этот период были зафиксированы положительные изменения в ключевых показателях: уровень обученности достиг 9 319 баллов, а показатель киберосознанности — 7 561 баллов. Несмотря на положительную динамику, полученные значения оставались гораздо ниже целевых ориентиров, что свидетельствует о необходимости дальнейшей работы по повышению вовлечённости сотрудников и развитию киберкультуры.Повторное тестированиеПовторное тестирование проводилось по тем же этапам, что и первичное: подготовка шаблонов, тестирование и проведение атак. Как и на первом этапе, основной задачей было сделать письмо максимально похожим на стандартную рабочую переписку, соответствующую реальным бизнес-процессам нашей компании.Подготовительный этап повторного тестирования потребовал дополнительных временных затрат, связанных с регистрацией новых доменов и расширением сценариев атак с учётом результатов первичного тестирования.Волна 1. Сценарии формировались не только для отдельных подразделений, но и адресно для конкретных сотрудников, что позволило повысить реалистичность и точность имитации фишинговых атак. Запустили несколько атак, для каждой из них были разработаны индивидуальные шаблоны электронных писем и соответствующие фишинговые формы. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 24. Пример фишингового письма для первой волны Рисунок 25. Пример фишинговой формы для письма из первой волны Волна 2. Вторая волна представляла собой массовую фишинговую кампанию. Для неё был создан и настроен пользовательский шаблон, основанный на триггерах срочности и страхе финансовых потерь. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки. Рисунок 26. Пример фишингового письма для второй волны Тестирование доставки писем и корректности отражения результатов в статистике прошло успешно.Результаты атакВ повторном тестировании приняли участие уже 23 человека. Увеличение числа участников на 2 человека связано с подключением новых сотрудников к нашему эксперименту. Резких скачков иммунности здесь не наблюдалось. Рисунок 27. График иммунности во время повторного тестирования Для дополнительной оценки мы и здесь также выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Таблица 2. Результаты повторного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот000Продажи008,7 %Продюсеры 008,7 %Редакция8,7 %08,7 %Руководитель000 Мы также посмотрели, как себя показали сотрудники, которые не прошли обучение, в повторном фишинговом тесте. По данным отчёта, в первой волне повторного тестирования на фишинг попались 40% из всех, кто не обучался. Рисунок 28. Поиск информации о сотруднике в отчёте по атакам Подведение итогов После завершения всех этапов эксперимента мы получили следующие показатели:Иммунность — 76 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 91,3 %.Уровень риска — 7, средний. Рисунок 29. Информационная панель Phishman 2.35 после завершения эксперимента После обучения и повторного тестирования добавились другие показатели:Обученность — 11 / 100. Знания отсутствуют, обучение следует начать с базового уровня.Киберосознанность — 10 / 100. Низкий уровень, сотрудники не знают, как действовать в случае угроз.Часть результатов сравнили и представили их в таблице ниже. Таблица 3. Сравнение показателей киберкультуры до и после обученияПоказательДо обученияПосле обученияОбученность09319Иммунность81 %76 %Киберосознанность 07561Охват аудитории (повторно попались на фишинг)71 %91,3 %Уровень риска87 Также проанализировали действия сотрудников после обучения и сравнили их с результатами первичного тестирования. Таблица 4. Сравнение действий сотрудников до обучения и послеОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДо обученияПосле обученияДо обученияПосле обученияДо обученияПосле обученияДокументооборот004,76 %04,76 %0Продажи004,76 %09,52 %8,7 %Продюсеры 000023,8 %8,7 %Редакция08,7 %0019,04 %8,7 %Руководитель000000 Рисунок 30. Процент попавшихся на фишинг до обучения и после по отделам Если во время первичного тестирования попалось 22 % участников, то после обучения этот показатель уменьшился и стал 12 %. Рисунок 31. Общий процент попавшихся на фишинг до обучения и после Результаты повторного тестирования показали, что, несмотря на заметное снижение количества взаимодействий с фишинговыми письмами, часть сотрудников по-прежнему выполняет действия, свидетельствующие о подверженности атакам. Это ожидаемый результат, поскольку киберкультуру невозможно сформировать за столь короткое время. Речь идёт о длительном процессе, который требует регулярной работы как со стороны специалистов по информационной безопасности, так и со стороны самих сотрудников.Наш эксперимент позволил проверить знания сотрудников, провести обучение и затем оценить, насколько полученные знания закрепились на практике. Однако с точки зрения развития киберкультуры — это лишь один из этапов работы, а не её завершение.Сложности, с которыми мы столкнулисьОсобенность нашего эксперимента — организация предварительного тестирования. Перед запуском каждой атаки мы проверяли её работу на собственном аккаунте, чтобы убедиться в корректной отработке сценария на стороне пользователя. Такие проверки попадали в общую статистику системы и оказывали влияние на итоговые показатели. Возможность исключить подобные события из расчётов отсутствует. Согласно комментариям вендора, для этих целей следует использовать отдельный тестовый стенд. Поэтому мы вели дополнительно самостоятельный анализ результатов эксперимента.Отдельные сложности возникли на этапе обучения сотрудников. Завершить обучение в установленные сроки не удалось из-за человеческого фактора. Не все участники смогли своевременно пройти назначенные материалы, что потребовало увеличения периода обучения и дополнительного контроля за его прохождением.Впечатления от проекта команды «АМ Медиа»Проведение тестирования не вызвало негативной реакции со стороны сотрудников. Хотя фишинговые сообщения активно обсуждались внутри коллектива, жалоб руководству или недовольства вида «зачем вообще было устраивать такую проверку» не возникло. Основной интерес был сосредоточен вокруг самих писем и попыток понять, что именно происходит.Реакция сотрудниковОдним из самых любопытных наблюдений стала реакция сотрудников после первой волны первичного тестирования. Полученные фишинговые сообщения быстро стали предметом обсуждения: сотрудники пересылали их друг другу, задавали вопросы коллегам и пытались разобраться, что происходит.Некоторые пошли ещё дальше и вступали в переписку с отправителем, воспринимая фишинговые письма как реальные рабочие сообщения. Это наглядно показало не только убедительность используемых сценариев, но и то, что практическое столкновение с угрозой вовлекает сотрудников в тему ИБ гораздо сильнее, чем абстрактные примеры из учебных материалов. Во время повторного тестирования такой реакции уже не возникло.Реакция организаторовЕсли для большинства сотрудников тестирование выглядело как неожиданно появившиеся письма в почте, то для команды, которой было поручено тестирование Phishman 2.35 этот проект сопровождался совсем другими эмоциями. Подготовка сценариев, запуск атак и ожидание результатов вызывали ощутимое волнение. Оказалось, что смотреть на ситуацию глазами злоумышленника не так просто, как может показаться со стороны. Приходилось постоянно задавать себе вопросы: какой сценарий покажется правдоподобным, что привлечёт внимание сотрудника, а что, наоборот, вызовет подозрения.Самыми напряжёнными были дни первой волны тестирования. На этом этапе ещё не было понимания, как сотрудники отреагируют на рассылки, насколько убедительными окажутся сценарии и не вызовет ли проверка негативной реакции внутри коллектива. С каждой новой зафиксированной активностью интерес смешивался с тревогой, а результаты ожидались едва ли не с большим нетерпением, чем сам запуск кампании.После завершения эксперимента стало легче: всё задуманное удалось реализовать, результаты были получены и проанализированы. Тем не менее полностью избавиться от мыслей о проделанной работе не получилось. Время от времени возвращаешься к отдельным этапам и задаёшься вопросом: а стоило ли сделать именно так? Может быть, какой-то сценарий можно было построить иначе, а какие-то решения принять по-другому?Наверное, это естественная часть любого практического проекта. Когда работа заканчивается, появляется возможность посмотреть на неё со стороны и критически оценить собственные решения. Именно в такие моменты часто приходят идеи, которые помогают сделать следующие проекты лучше.Сотрудничество с вендоромВ ходе подготовки и проведения эксперимента иногда возникали вопросы, связанные с настройкой платформы, особенностями реализации отдельных сценариев и интерпретацией результатов. Для их решения использовались как переписка, так и рабочие созвоны. Запросы обрабатывались оперативно, что позволяло своевременно получать необходимую информацию и не допускать задержек в выполнении работ. Поддержка была доступна не только в рабочее время, но и в выходные дни.ВыводыПовторное тестирование показало, что тщательно подготовленные и персонализированные фишинговые атаки значительно эффективнее. При наличии качественной разведки злоумышленники способны подобрать убедительный сценарий практически для любого сотрудника. А если специалист может ошибиться, то сотруднику, который не занимается вопросами ИБ каждый день, сделать это ещё проще.Работа в сфере информационной безопасности или информационных технологий сама по себе не защищает человека от фишинга, социальной инженерии и других современных атак. Мы убедились в этом на собственном опыте: даже профильные знания не гарантируют, что человек не попадется на хорошо продуманную атаку. Злоумышленники постоянно меняют сценарии, поэтому знания, полученные однажды, быстро устаревают.При помощи эксперимента мы не только проверили, насколько сотрудники готовы распознавать атаки, но и поняли, как с помощью Phishman 2.35 можно сделать работу по развитию киберкультуры системной. Вместо отдельных курсов появился понятный цикл: смоделировать атаку, оценить реакцию, провести обучение и проверить, изменилось ли поведение участников. При необходимости — повторить или скорректировать процесс при помощи рекомендаций платформы. Результаты фиксируются автоматически, поэтому можно видеть, какие темы требуют больше внимания, и развивать киберкультуру на основе реальных данных, а не предположений.Читать далее
    • PR55.RP55
    • santy
      RP55, есть у тебя ТГ?
×