Сравнительный анализ антивирусного ПО - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Valery Ledovskoy

Сравнительный анализ антивирусного ПО

Recommended Posts

Valery Ledovskoy
А Dr.Web ниразу не попал в TOP-5 (а в большинстве случаев и в TOP-10). Странно?

Несовершенство методики, несовершенство выбора критериев, несовершенство тестов, которые были выбраны для подсчётов. Не более.

100%-но объективных тестов... если есть, то не много. Когда же мы начинаем "интегрировать", влияние этих несовершенств на порядок увеличивается. Вот и размышляю сейчас, как добиться объективности. Ибо не могу сказать, что 100% доверяю тестам VB (это само собой), тестам Клементи, тестам Маркса, а менее известным тестам вообще доверия меньше, т.к. там могли использоваться методологии типа изначальной методологии Ивана для этого "интегрального" теста, которая может дать +/- 50% к результату в зависимости от погоды на Марсе.

Объективно Dr.Web в 5-ку по-любому должен попадать, ибо ничем не хуже того же НОДа, который не может справиться с активными вирусами почти никак. Что он делает на первых местах, если не может с руткитами ничего сделать практически? Вот смотрю IT спец за ноябрь со статьёй vaber'а "Анализ антируткит-эффективности современных антивирусов" и вижу, что НОД взял только 2 руткита из 8. В купе с 4-6 часами реакции на новые образцы это получается, что пользователям такого продукта на компьютер с большой вероятностью пролезает очередной новый руткит, потому что "руткитовость" - это "норма жизни" вирусов на данный момент, по словам из той же статьи vaber'a (кстати, рекомендую прочитать - статья толковая). А НОД с этим руткитом потом сделать ничего не может. И чем этому пользователю поможет то, что НОД входит в 5-ку и у него один из лучших детектов? Значит, что-то делаем, всё-таки, не так.

Поэтому и захотелось отвлечься от субъективности и как-то двигаться в сторону объективности. У Вас, Dr.Golova, есть мысли по поводу того, как этого добиться?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива! Иван порадовал нас очередной публикацией на эту тему

http://www.computerra.ru/gid/344637/

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit

Иван молодец! Доходчивый русский язык. Все по полочкам, IMHO.

Заметил веселую очепятку: "Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Иван молодец! Доходчивый русский язык. Все по полочкам

Согласен, хорошая статья получилась. Чувствуется перо гуру :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Мде,..хорошо, очень, теперь только протокнуть бы это все глубоко в массы и до глубокого сознания людей. Спасибо Иван.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit

Правда, когда читаю "интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт" снова вспоминается "средняя температура по больнице - 36,6" :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива!

Ничего живого не вижу. Один к одному передрано с того, что было опубликовано и ранее, с точностью до опечатки. С теми же серьёзными недостатками. Принципиально так интегрировать нельзя. Доказывал уже ранее.

Заметил веселую очепятку: "Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения - это команда российского портала Anti-Malware.ru".

Да-да, после предыдущей публикации анализа я её упоминал.

Мде,..хорошо, очень, теперь только протокнуть бы это все глубоко в массы и до глубокого сознания людей.

Никогда в жизни. Вы читали мои доводы против таких тестов выше по топику?

Правда, когда читаю "интегрированная оценка - какое место в среднем по всем тестам занимает тот или иной продукт" снова вспоминается "средняя температура по больнице - 36,6" Wink

+1.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

+1 к Валерию.

"Если результаты разных тестировщиков отличаются на порядок, то это астрология какая то, а не научный подход."

из комментов на секлабе

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
При этом пользователи зачастую не понимают, что конкретно и каким образом проверялось в данном тесте.

Они этого не понимают и после просмотра результатов этого "анализа". И уж никогда в жизни не вникнут в недостатки его методологии. Таким образом, можно сказать, что данная статья ведёт пользователя по ложному следу.

Цель данной статьи - "разоблачить" тесты различных исследовательских лабораторий

Разоблачают обычно шпионов или других преступников. А тут мы слепо доверяем всем тестам из выбранного набора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Идея интегрированного сравнительный анализа антивирусов по результатам различных тестов жива! Иван порадовал нас очередной публикацией на эту тему

http://www.computerra.ru/gid/344637/

никого я не радовал, попросили статью - я дал

а вот остальные участники дискуссии выше долго рассказывали мне ранее в чем я не прав и как надо, предлагали как надо сделать и нехрена до сих пор не сделали :D

подождем еще :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Иван, это не анализ - выбрать всю доступную кучу тестов, сложить результаты и разделить на количество.

Проведите подобный анализ на последних различных тестах antimalware.ru, которые делались разными людьми, и Вы получите совершенно другой результат "интегрального теста", причём методология останется той же, а результат будет другой.

Ваша методика неустойчива к входящему набору тестов.

А поэтому неверна.

Если было бы всё так просто, и результаты такого анализа отражали бы что-то реальное, то подобную методику давно бы использовали все ведущие компьютерные печатные издания.

предлагали как надо сделать и нехрена до сих пор не сделали Very Happy

Я пытался (честно) выудить из Вашей идеи что-то полезное, даже предложил сделать автоматический подбор антивируса. Но после длительных размышлений на этот счёт пришёл к выводу, что идея всё же дохлая, а не живая.

Это всё равно что Вы говорите, что крупные раки лучше мелких, потому что так решило большинство печатных изданий для гурманов. А я, как потребитель раков, могу сказать, что лучше те раки, которые правильно приготовлены, на основе собственных интегральных многолетних исследований, на основе пробы раков на вкус, приготовленных разными людьми. А третий человек может считать, что лучше те раки, которые водятся в реке, которая в паре километров от его дома.

Вы же пытаетесь доказать, что Ваша интегральная точка зрения является единственно правильной. Ну, или с небольшой погрешностью правильной. Это совершенно не так. И Вы пытаетесь эту точку зрения навязать пользователю, сказать, что она основана на всех известных тестированиях. Но если Ваши рассуждения даже основаны на "правильных" тестах (предположим), то это не значит, что Вы используете правильную методику и получите правильные результаты.

Возможно, что не существует на данный момент такой методики, которая хорошо интегрирует результаты тестов антивирусов. И вряд ли такая методика когда-нибудь появится. Но это совсем не значит, что нужно такой анализ делать бездумно и безответственно, без обоснования выбранной методики, без проверки устойчивости и достоверности полученных результатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Валерий, я с Вами уже давно не спорю, еще с прошлого захода. И не наставиваю на своей правоте. Вы с кем спорите то?

Я просто хочу напомнить Вам это http://www.antimalware.ru/phpbb/viewtopic....30bfcc3a4#27698

я уже не спорю с Вами, я лишь говорю что не вижу развития Ваших идей изложенных по ссылке

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Пользователю компьютера в настоящее время весьма сложно сделать выбор антивируса для своего компьютера. Компьютерные издания пестрят разнообразными тестами, суть которых малопонятна и повторить которые среднему пользователю не под силу. Поэтому в последнее время совершаются попытки влиять на выбор пользователя с помощью так называемого интегрального анализа всех доступных тестов.

В данной статье автор решил проверить, каким образом работает одна из методологий, предложенная для таких интегральных оценок антивируса одним из постоянных авторов популярного портала http://anti-malware.ru , посвящённого информационной безопасности Ивана Стогова. Суть данной методологии изложена в следущей статье:

http://www.pcmag.ru/library/sub_detail.php?ID=11171

В указанной статье делался анализ тестов зарубежных исследователей антивирусов, проверить или спросить которых российский средний пользователь не может, хотя бы из-за незнания иностранных языков. Поэтому для анализа был взят альтернативный набор тестов, который проводили авторы портала antmalware.ru в последние месяцы. Все вопросы по данным тестам можно адресовать их непосредственным авторам, поэтому к данным тестам у российского пользователя больше доверия, нежели к импортным их аналогам, которые характеризуются непрозрачностью и изъянами методологии, невозможностью повторить результаты, недоступностью авторов для общения. Автор обращает внимание, что данные тесты проводились разными людьми, точки зрения которых на процесс тестирования может не совпадать, к тому же портал http://anti-malware.ru ценится своей непредвзятостью к оценке продуктов. Т.к. исследуются только антивирусы, то в расчётах не учитываются показатели антируткитов. Для тех продуктов, которые участвовали в тестах, но данная функциональность не заявлена вендором, результаты не учитывались.

Для интегральной оценки были взяты 5 последних тестов, результаты которых были озвучены порталом http://anti-malware.ru :

1. Тест антивирусов и антируткитов на обнаружение и удаление современных руткитов

2. Тест проактивной антивирусной защиты

3. Тест антивирусов на лечение активного заражения

4. Тест самозащиты антивирусов

5. Тест антивирусов на поддержку упаковщиков

Ранжируем антивирусы по местам, занятым в этих тестах.

1. Тест антивирусов и антируткитов на обнаружение и удаление современных руткитов (детект концептов не учитывается)

Dr.Web - 1

Ksapersky - 2

Symantec - 3

BitDefender - 4

McAfee - 5

F-Secure - 6

NOD32 - 6

Trend Micro - 6

Avira - нет

Sophos - нет

Avast - нет

VBA32 - нет

AVG - нет

Panda - нет

2. Тест проактивной антивирусной защиты

Avira - 1

BitDefender - 2

NOD 32 - 3

Dr.Web - 4

Sophos - 5

Avast - 6

VBA32 - 7

Kaspersky - 8

McAfee - 9

Symantec - 10

AVG - 11

F-Secure - 12

Trend Micro - 13

Panda - 14

3. Тест антивирусов на лечение активного заражения

Dr.Web - 1

Kaspersky - 2

Symantec - 3

Panda - 4

Avast - 5

AVG - 6

McAfee - 7

TrendMicro - 7

Avira - 8

F-Secure - 9

NOD32 - 9

Sophos - 9

BitDefender - 10

VBA32 - 10

4. Тест самозащиты антивирусов (провалившихся в данном тесте не учитываем, т.к. у этих продуктов самозащита не рекламируется и не реализована должным образом, т.е. тестировать особо нечего)

Kaspersky - 1

VBA32 - 2

Symantec - 3

F-Secure - 4

Panda - 5

McAfee - 6

NOD32 - 7

Trend Micro - 8

Dr.Web - нет

BitDefender - нет

Avira - нет

Sophos - нет

Avast - нет

AVG - нет

5. Тест антивирусов на поддержку упаковщиков

Kaspersky - 1

BitDefender - 2

Dr.Web - 3

NOD32 - 4

McAfee - 5

Avira - 5

AVG - 5

Symantec - 6

Sophos - 6

Avast - 6

VBA32 - 6

Panda - 6

Trend Micro - 6

И, наконец, интегральная оценка.

Вверху - лучший по всем тестам антивирус, внизу - худший.

Как и в указанном выше анализе Ивана Стогова, для каждого антивируса складываем результаты по всем тестам и делим на количество тестов.

Dr.Web - 2,25

Kaspersky - 2,8

BitDefender - 4,5

Avira - 4,67

Symantec - 5

Avast - 5, 67

NOD32 - 5,8

VBA32 - 6,25

F-Secure - 6,4

McAfee - 6,4

Sophos - 6,67

Panda - 7,25

AVG - 7,34

Trend Micro - 8,2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, я с Вами уже давно не спорю, еще с прошлого захода. И не наставиваю на своей правоте.

Т.е. Вы заявляете, что были неправы? Тогда зачем тиражировать статью?

я лишь говорю что не вижу развития Ваших идей изложенных по ссылке

Тогда идея мне показалась интересной. Действительно, было бы здорово ту задумку реализовать. И доказать теорему Ферма. И решить задачу о квадратуре круга. Но увы, я углубился в расчёты, и понял, что результаты получаются слишком субъективные, очень неточные. Т.е. непригодные для использования их неподготовленными потенциальными пользователиями антивирусов.

Вы с кем спорите то?

Я спорю с Вами как с автором анализа, который основан на дырявой методике и как человека, продолжающего распространять результаты своего анализа среди пользователей через СМИ.

http://www.anti-malware.ru/phpbb/viewtopic.php?t=4082

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Валерий, вы у DrWeb оценку на 4 делили или на 5 ? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, вы у DrWeb оценку на 4 делили или на 5 ? Smile

На 4, конечно. По Dr.Web один из результатов не брался, т.к. самозащиты нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Я вам еще раз повторяю игнорирование концептов в первом тесте - глупое выхолащивание результатов теста. Защита не может быть половинчатой!

На 4? Вы слишком много себе позволяете. Если у Dr.Web нет номарльной самозащиты то это ЕГО проблемы, тут балы надо вычитать а не прибавлять.

Ваша предвзятость и неприкрытое манипулирование результатами тестов видны невооруженным взглядом и понятны даже ребенку. Чего не скажешь о работе Ивана. Хотя и с его методикой можно поспорить

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Валерий, вы у DrWeb оценку на 4 делили или на 5 ? Smile

На 4, конечно. По Dr.Web один из результатов не брался, т.к. самозащиты нет.

Если у антивируса нет самозащиты - первое место в тесте на лечение активного заражения - фикция.

Если у антивируса нет самозащиты - это слабость и за это надо вычитать баллы. Либо мы сравниваем все антивирусы по единому набору тестовпараметровкритериев - либо тех у кого хоть чего-то нет - выкидываем напрочь. Защита не должна быть частичной.

Далее - я не согласен с оценками-градациями. Почему в одном месте у антивирусов занявших последние места - стоит оценка 6, а у других за такие же последние места - 14 ? Надо придумать некий общий знаменатель и по нему ставить оценки.

Сейчас предложу свой вариант подсчета.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Mr. Justice, так это и есть пародия. Правда, пародия серьёзная. Пародия на такой же результат Ивана, в котором он тоже что хотел, то и творил. Если можно ему, почему мне нельзя?

Ваша предвзятость и неприкрытое манипулирование результатами тестов видны невооруженным взглядом и понятны даже ребенку.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

Добавлено спустя 2 минуты 3 секунды:

A., правда неприятно читать такие результаты?

Мне тоже было раньше неприятно :)

Либо мы сравниваем все антивирусы по единому набору тестовпараметровкритериев - либо тех у кого хоть чего-то нет - выкидываем напрочь.

Во. А я Ивану говорил, что так нельзя. А у него куча прочерков в таблице.

Сейчас предложу свой вариант подсчета.

Давайте. Посмеёмся ещё :)

Добавлено спустя 3 минуты 20 секунд:

Я вам еще раз повторяю игнорирование концептов в первом тесте - глупое выхолащивание результатов теста.

Тем не менее, мне разрешили использовать отдельно результаты по реальным семплам, если я этого пожелаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Вот первый вариант пересчета.

Тем антивирусам, которые в каком либо тесте не участвовали - за соответствующий тест выставлено 14 баллов - что равно последнему месту при 14-и участниках (у нас всего 14 продуктов).

В пятом тесте - F-Secure я поставил 1 как за первое место - потому что несмотря на неучастие в этом тесте - в данном случае я УВЕРЕН в совпадении финских результатов и KAV (1 место). Но не критично - можете выкинуть и поставить им 14 - мне все равно.

Подчеркиваю, что считаю систему выставления разных оценок за последние места (и все прочие) - не совершенной. Надо либо как-то разбить все 14 возможных значений либо ввести некий процентный коэффициент. Думаю.

Итоги:

Kaspersky 2.8

Drweb 4.6

Symantec 5

NOD32 5.8

BitDefender 6.4

McAfee 6.4

F-Secure 6.4

VBA32 7.8

Avira 8.4

Panda 8.6

Avast 9

Trend Micro 9.6

Sophos 9.6

AVG 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

A., спасибо, интересно получилось :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Mr. Justice, так это и есть пародия. Правда, пародия серьёзная.

Никакая это не пародия, это просто пустословие. Вы бы хотя потрудились "подтасовать" результаты так, что бы это по крайней мере, выглядело правдоподобно, что бы анализ хотя бы в приблизительно напоминал, серьезное рассуждение.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

У Ивана было пусть неправильное, но объективное исследование. У вас видна явная предвзятость, которую вы даже не отрицаете.

[

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
так это и есть пародия. Правда, пародия серьёзная. Пародия на такой же результат Ивана, в котором он тоже что хотел, то и творил. Если можно ему, почему мне нельзя?

Можно. В соответствующем разделе - для флуда и офтопика. Рядом с Веталегом.

Так и у Ивана также. Только никто меня не хотел слушать, пока я Dr.Web на первое место не поставил. Думали, наверное, что это невозможно. Возможно, в математике всё возможно. И синус в военное время до 4 может доходить.

Слушали. И я с вашей оценкой "тестов" Ивана согласился, кстати. Только непонятно - чего вы хотели от Ивана и от нас всех ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Валерий ну не хорошо передергивать тесты так, как вам нравится :D

в руткитах вы вдруг концепты не считаете

в тестах на активное заражение вам нравится как бета доктора себя вела - вы там доктора учитываете, на самозащиту не нравится - вы почему-то говорите что доктор не участвовал - ну мелко как-то даже

самому то не стыдно? Вы меня упрекаете в неверной методе, а сами результаты тестов представляете как Вам нравятся - передергиваете

и не надо рассказывать нам опять про то что зря взяли бету тестировать и что концепты надо брать отдельно - это все ваше личное мнение - надо опираться на результаты тестов как они есть, а они такие:

ue_508.png

руткиты

1 Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

2 Dr.Web 4.44 (5 из 8 баллов)

3 Symantec Anti-Virus 2008 (4.5 из 8 баллов)

4 F-Secure Anti-Virus 2008 (4 из 8 баллов)

5 BitDefender Antivirus 2008 (3 из 8 баллов)

6 McAfee VirusScan Plus 2008 (1.5 из 8 баллов)

7 Eset Nod32 Anti-Virus 3.0 (1 из 8 баллов)

8 Trend Micro Antivirus plus Antispyware 2008 (1 из 8

проактивка

1 Avira AntiVir Personal Edition Premium 7.0 (71%)

2 BitDefender Antivirus 2008 (65%)

3 Eset Nod32 Anti-Virus 3.0 (59%)

4 Dr.Web 4.44 (57%)

5 Sophos Anti-Virus 7.0 (56%)

6 Avast! Professional Edition 4.7 (52%)

7 VBA32 Antivirus 3.12 (48%)

8 Kaspersky Anti-Virus 7.0 (45%)

9 McAfee VirusScan Plus 2008 (43%)

10 Symantec Anti-Virus 2008 (38%)

11 AVG Anti-Virus Professional Edition 7.5 (37%)

12 F-Secure Anti-Virus 2008 (36%)

13 Trend Micro Antivirus plus Antispyware 2008 (30%)

14 Panda Antivirus 2008 (20%)

15 Agnitum Outpost Security Suite 2008 (12%)

активное заражение

1 Dr.Web Anti-Virus 4.44 Beta (82%)

2 Kaspersky Anti-Virus 7.0 (71%)

2 Symantec Norton AntiVirus 2007 (71%)

3 Panda Antivirus 2008 (59%)

4 Avast! Professional Edition 4.7.1029 (53%)

5 AVG Anti-Virus 7.5 (47%)

6 McAfee VirusScan 2007 (29%)

6 Trend Micro Internet Security 2007 (29%)

7 Avira AntiVir PE Premium 7.0 (24%)

8 F-Secure Anti-Virus 2007 7.0 (18%)

8 Eset NOD32 Antivirus 2.7 (18%)

8 Sophos Anti-Virus 6.5 (18%)

9 Dr.Web Anti-Virus 4.33 (12%)

10 BitDefender Antivirus 10 (6%)

11 VBA32 Antivirus 3.12 (6%)

самозащита

1 Kaspersky Internet Security 7.0 (97%)

2 VBA32 Antivirus 3.11 (71%)

2 Symantec Internet Security 2007 (71%)

3 F-Secure Internet Security 2007 (61%)

4 ZoneAlarm Internet Security 7.0 (58%)

5 Panda Internet Security 2007 (48%)

6 McAfee Internet Security 2007 (47%)

7 Eset Smart Security 3.0 Beta (44%)

8 Trend Micro PC-Cillin 2007 (42%)

9 Avast! Professional Edition 4.7 (33%)

9 Avira Premium Security Suite 7.0 (33%)

9 Sophos Anti-Virus 6.5 (33%)

10 DrWeb 4.44 Beta (32%)

10 Microsoft Windows Live OneCare 1.6 (32%)

10 BitDefender Internet Security 10 (30%)

упаковщики

1 F-Secure Anti-Virus 2006 (81%)

1 Kaspersky Anti-Virus 6.0 (81%)

2 BitDefender 9 Professional Plus (76%)

2 Dr.Web Anti-Virus 4.33 (76%)

3 Eset NOD32 Antivirus 2.5 (57%)

4 AVG Anti-Virus 7.1 (10%)

4 Avira AntiVir PE 7.0 (10%)

4 CA eTrust EZ Antivirus r8 (10%)

4 Clam AntiVirus 0.88 (10%)

4 McAfee VirusScan 2006 (10%)

5 avast! Professional Edition 4.7 (5%)

5 Panda Platinum Internet Security 2006 (5%)

5 Sophos Anti-Virus 6.0 (5%)

5 Symantec Norton AntiVirus 2006 (5%)

5 VBA32 Antivirus 3.11 (5%)

6 Trend Micro PC-Cillin 2006 (0%)

6 UNA 1.8 (0%)

____________.png

post-10-1200519922.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Только непонятно - чего вы хотели от Ивана и от нас всех?

Я хотел, чтобы все признались, что методика не работает. Даже если брать Ваш "неподтасованный" результат. У Ивана не результат, а фикция, которая ничего не показывает. При этом не нравится, что продолжается тиражирование его идеи через СМИ. Тем самым не только рекламируются определённые продукты, но и страдает репутация сообщества antimalware.ru. Мне постоянная реанимация этого "исследования" не нравится, и я буду обращать на это внимание столько раз, сколько эта интегральная оценка будет всплывать.

Добавлено спустя 3 минуты 3 секунды:

Иван, а теперь сравните свои свежие результаты по тестам antimalware.ru с теми, что у Вас в статье. Разницу, надеюсь, не нужно описывать на 3 абзаца?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      ESET Online Scanner был обновлён до версии 4.0.1. Приложение теперь работает только в 64-разрядной ОС.
    • Ego Dekker
      ESET Cyber Security был обновлён до версии 9.0.6700.
    • AM_Bot
      Теория звучит убедительно, но работает ли она на практике? Мы внимательно изучили Phishman 2.35 и решили не останавливаться на описании её возможностей. Вместо этого протестировали платформу на собственных сотрудниках и удивились, к каким результатам это привело.      1. Введение2. Методология тестирования Phishman 2.353. Первичное тестирование3.1. Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылки3.2. Тестирование доставки и отражения результатов в статистике3.3. Результаты атак4. Обучение4.1. Формирование учебной группы4.2. Составление образовательной программы по повышению киберкультуры4.3. Процесс обучения и его результаты5. Повторное тестирование5.1. Результаты атак6. Подведение итогов6.1. Сложности, с которыми мы столкнулись7. Впечатления от проекта команды «АМ Медиа»7.1. Реакция сотрудников7.2. Реакция организаторов7.3. Сотрудничество с вендором8. ВыводыВведениеPhishman 2.35 — это система повышения осведомлённости пользователей в сфере ИБ. Она помогает развивать киберкультуру и формировать у сотрудников устойчивые навыки безопасной работы с информацией, цифровыми сервисами и корпоративными ресурсами. В процессе обучения сотрудники учатся распознавать актуальные сценарии атак, закрепляют правильные модели поведения и в результате реже становятся причиной инцидентов, связанных с человеческим фактором.В первой части обзора Phishman 2.35 мы рассмотрели платформу с точки зрения её возможностей. Теперь пришло время проверить, как всё это работает на практике. За время проекта мы не только оценили эффективность различных сценариев, но и столкнулись с рядом особенностей, которые невозможно увидеть в документации. Одни из них влияли на ход тестирования, другие оказались скорее организационными нюансами, о которых стоит знать заранее.Методология тестирования Phishman 2.35В процессе работы с киберкультурой «АМ Медиа» мы будем использовать следующие метрики:Обученность. Отражает уровень знаний сотрудников в области ИБ. Показатель растёт, когда сотрудники осваивают темы: реагирование на инциденты, защита от социальной инженерии и другие критически важные компетенции.Иммунность. Показывает, как сотрудники применяют знания на практике. Она повышается, когда демонстрируется способность распознавать угрозы и правильно на них реагировать в реальных сценариях.Киберосознанность — итоговая метрика. Объединяет знания и практические навыки, показывая, насколько сотрудники в целом устойчивы к киберугрозам и действуют корректно при их возникновении.Прежде чем оценивать эффективность работы системы, необходимо определить отправную точку. Первичное тестирование определит, на какие сценарии реагирует каждый сотрудник, где чаще всего допускаются ошибки и какие темы требуют дополнительного развития. На основе этих данных формируется индивидуальная программа обучения: сотрудники проходят персонализированные курсы, выполняют практические задания и тесты, которые помогают устранить выявленные пробелы и закрепить необходимые навыки. В процессе обучения повышается уровень обученности, а закрепление знаний через практику влияет на показатель иммунности. После завершения обучения мы проведём повторное тестирование, которое покажет, какие изменения произошли по всем ключевым метрикам.Заключительный этап — сравнение результатов первичного и повторного тестирования. Здесь станет понятно, насколько вырос уровень киберкультуры сотрудников: изменилось ли их отношение к вопросам ИБ, стали ли они увереннее распознавать угрозы и чаще принимать безопасные решения в ситуациях, где раньше могли допустить ошибку.В качестве основного канала для рассылки фишинга выбрали электронную почту. Причина очевидна: именно она остаётся основным способом первичного контакта злоумышленников с сотрудниками и доставки фишинговых сценариев. По имеющимся оценкам, более 90 % успешных кибератак начинаются с электронного письма, поэтому исключать этот канал из подобных проверок было бы некорректно.Первичное тестированиеРеальные фишинговые атаки почти никогда не строятся по универсальному шаблону: злоумышленники адаптируют содержание писем под роль человека в компании, его рабочие процессы и типовые задачи. Поэтому при выборе целевой аудитории мы разделили сотрудников по функциям и уровню доступа к корпоративным данным, а сам проект разбили на 3 последовательные волны с разным уровнем сложности.Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылкиПосле определения целевой аудитории был проведён анализ структуры подразделений и рабочих процессов сотрудников. На этом этапе изучались:должностные обязанности;распределение зон ответственности;характер внутреннего взаимодействия между отделами;используемые адреса электронной почты;формат повседневной служебной переписки.Это позволило понять, какие сценарии коммуникации являются для сотрудников привычными и не вызывают подозрений.На основе собранных данных были подготовлены сценарии фишинговых сообщений. При разработке содержимого учитывались тематика рабочих задач, стиль корпоративного общения, оформление внутренних уведомлений и типовые причины отправки писем внутри организации. Основная задача заключалась в том, чтобы письмо воспринималось как стандартное рабочее сообщение, соответствующее реальным бизнес-процессам заказчика.Волна 1. Первая волна была построена как массовый фишинг. Сценарий — сверка графика отпусков. Для атаки создавали и настраивали пользовательский шаблон. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки.На этом этапе проверялась базовая реакция сотрудников на привычные рабочие триггеры и способность распознавать типовые признаки фишинга без привязки к конкретному подразделению. Рисунок 1. Шаблон для первой волны Рисунок 2. Вид фишингового письма из первой волны в почте Волна 2. Для каждого отдела были подготовлены письма, основанные на реальных рабочих процессах, характерных запросах и ситуациях, с которыми сотрудники регулярно сталкиваются в своей деятельности. Для атаки создали и настроили пользовательский шаблон, где-то добавили немного визуального оформления. Время начала рассылки — по запланированному времени. Рисунок 3. Пример шаблона из второй волны для отдела «Продажи» Рисунок 4. Вид фишингового письма из второй волны для отдела «Продажи» Волна 3. Здесь моделировались уже более сложные сценарии целевого фишинга (spear phishing). В письмах использовались специальные формулировки, элементы корпоративного брендирования. На этом этапе проверялась не только внимательность сотрудников, но и способность замечать менее очевидные признаки атаки в условиях, максимально приближённых к реальной целевой компрометации.За основу брали системный брендированный шаблон «Яндекс ID», добавили фишинговую форму и скорректировали немного её содержание. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 5. Пример шаблона из третьей волны Рисунок 6. Вид фишингового письма из третьей волны При переходе по ссылке открывалась фишинговая страница. Рисунок 7. Фишинговая страница Тестирование доставки и отражения результатов в статистикеДалее была подготовлена инфраструктура рассылки. После её настройки проводилось тестирование доставки сообщений. Проверялась доставка писем во входящие сообщения почтовых клиентов, анализировалась реакция антиспам-механизмов в почте, а также контролировалась корректность работы механизмов отслеживания действий пользователей. Рисунок 8. Результаты тестирования доставки и отображения сообщений в почте Тестирование прошло успешно.После завершения проверки была сформирована последовательность отправки сообщений по заранее определённым волнам. Такой подход позволил распределить нагрузку, контролировать ход тестирования и отслеживать реакцию сотрудников на различных этапах проведения проверки. Рисунок 9. Активные мероприятия Результаты атакБыли получены следующие результаты:Иммунность — 81 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 71 %.Уровень риска — 8, средний. Устойчивость формируется, но есть ещё риски. Рисунок 10. Общая информация после проведения первичного тестирования Самый низкий уровень иммунности — около 50 %, после первых двух волн атак. Рисунок 11. График иммунности во время первичного тестирования Далее — сформировали в системе отчёт по скомпрометированности сотрудников, на основании которого выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Рисунок 12. Отчёт по скомпрометированности всех сотрудников в Phishman 2.35 Таблица 1. Результаты первичного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот04,76 %4,76 %Продажи04,76 %9,52 %Продюсеры 0023,8 %Редакция0019,04 %Руководитель000 ОбучениеПервичное тестирование завершено, поэтому следующим этапом стало определение группы риска и формирование программы обучения.Формирование учебной группыНа этапе отбора рассматривались два варианта формирования учебной группы. Первый предполагал использование показателя иммунности сотрудников. Второй вариант заключался в создании правила, автоматически формирующего список сотрудников, которые были скомпрометированы в ходе проведённых проверок. Этот подход позволял сразу получить выборку пользователей, продемонстрировавших наибольшую подверженность атакам, без ожидания обновления показателей.Был выбран второй вариант. На основании созданного правила была сформирована группа для обучения: в неё вошли люди, которые были скомпрометированы в ходе первичного тестирования. Рисунок 13. Создание правила для выявления группы риска Рисунок 14. Отчёт по отработанному правилу для выявления группы риска Отдельно была сформирована группа сотрудников, успешно распознавших фишинговую атаку, для участия в обучении, направленном на поддержание киберкультуры.Составление образовательной программы по повышению киберкультурыПопавшиеся сотрудники были включены в отдельную учебную группу, для которой сформировали персональную образовательную траекторию. В неё вошли 3 микрокурса по фишингу и 1 курс по информационной безопасности. Содержание траектории было направлено на повышение устойчивости к методам социальной инженерии и снижение вероятности компрометации учётных данных. Рисунок 15. Заполнение параметров обучения сотрудников Рисунок 16. Составление учебной программы Отдельно была запущена программа обучения для сотрудников, которые не попали в выборку по результатам правила.Процесс обучения и его результатыПервый отчёт мы сформировали через 2 дня после запуска обучения, что позволило получить предварительную оценку вовлечённости сотрудников. Анализ данных показал, что наибольшую активность на начальном этапе продемонстрировали сотрудники, которые попались на фишинг. Рисунок 17. Промежуточный анализ обучения Через неделю после запуска обучения провели повторный анализ прогресса, включая оценку прохождения курсов и выявление участников, не приступивших к обучению. Рисунок 18. Отчёт по динамике обучения в Phishman 2.35 Анализ показал, что часть сотрудников не завершила обучение в установленный срок. Для обеспечения максимального охвата было принято решение о продлении сроков прохождения курсов. Рисунок 19. Продление и корректировка процесса обучения В результате фактическая продолжительность обучения составила 2 недели, что превысило первоначально установленный срок в одну неделю. Но и этого времени не хватило нашим сотрудникам. Чтобы узнать, кто оказался более ответственным, воспользовались возможностями правил. Рисунок 20. Пример настройки правила по выявлению сотрудников, прошедших обучение В результате была получена информация о сотрудниках, полностью и частично прошедших обучение. Рисунок 21. Отчёт по сработанному правилу по выявлению сотрудников, прошедших обучение Рисунок 22. Отчёт по сработанному правилу по выявлению сотрудников, частично прошедших обучение Результаты обучения:полностью прошли обучение — 52 %;частично — 22 %;не прошли обучение — 26 %.Мы проанализировали список сотрудников, не приступивших к обучению, и выяснили, что это те, кто не попался на фишинг во время первичного тестирования.Среди сотрудников, которые попались на фишинг, 80 % прошли обучение, остальные — прошли его частично. Рисунок 23. Результаты обучения сотрудников «АМ Медиа» Вместе с тем за этот период были зафиксированы положительные изменения в ключевых показателях: уровень обученности достиг 9 319 баллов, а показатель киберосознанности — 7 561 баллов. Несмотря на положительную динамику, полученные значения оставались гораздо ниже целевых ориентиров, что свидетельствует о необходимости дальнейшей работы по повышению вовлечённости сотрудников и развитию киберкультуры.Повторное тестированиеПовторное тестирование проводилось по тем же этапам, что и первичное: подготовка шаблонов, тестирование и проведение атак. Как и на первом этапе, основной задачей было сделать письмо максимально похожим на стандартную рабочую переписку, соответствующую реальным бизнес-процессам нашей компании.Подготовительный этап повторного тестирования потребовал дополнительных временных затрат, связанных с регистрацией новых доменов и расширением сценариев атак с учётом результатов первичного тестирования.Волна 1. Сценарии формировались не только для отдельных подразделений, но и адресно для конкретных сотрудников, что позволило повысить реалистичность и точность имитации фишинговых атак. Запустили несколько атак, для каждой из них были разработаны индивидуальные шаблоны электронных писем и соответствующие фишинговые формы. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 24. Пример фишингового письма для первой волны Рисунок 25. Пример фишинговой формы для письма из первой волны Волна 2. Вторая волна представляла собой массовую фишинговую кампанию. Для неё был создан и настроен пользовательский шаблон, основанный на триггерах срочности и страхе финансовых потерь. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки. Рисунок 26. Пример фишингового письма для второй волны Тестирование доставки писем и корректности отражения результатов в статистике прошло успешно.Результаты атакВ повторном тестировании приняли участие уже 23 человека. Увеличение числа участников на 2 человека связано с подключением новых сотрудников к нашему эксперименту. Резких скачков иммунности здесь не наблюдалось. Рисунок 27. График иммунности во время повторного тестирования Для дополнительной оценки мы и здесь также выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Таблица 2. Результаты повторного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот000Продажи008,7 %Продюсеры 008,7 %Редакция8,7 %08,7 %Руководитель000 Мы также посмотрели, как себя показали сотрудники, которые не прошли обучение, в повторном фишинговом тесте. По данным отчёта, в первой волне повторного тестирования на фишинг попались 40% из всех, кто не обучался. Рисунок 28. Поиск информации о сотруднике в отчёте по атакам Подведение итогов После завершения всех этапов эксперимента мы получили следующие показатели:Иммунность — 76 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 91,3 %.Уровень риска — 7, средний. Рисунок 29. Информационная панель Phishman 2.35 после завершения эксперимента После обучения и повторного тестирования добавились другие показатели:Обученность — 11 / 100. Знания отсутствуют, обучение следует начать с базового уровня.Киберосознанность — 10 / 100. Низкий уровень, сотрудники не знают, как действовать в случае угроз.Часть результатов сравнили и представили их в таблице ниже. Таблица 3. Сравнение показателей киберкультуры до и после обученияПоказательДо обученияПосле обученияОбученность09319Иммунность81 %76 %Киберосознанность 07561Охват аудитории (повторно попались на фишинг)71 %91,3 %Уровень риска87 Также проанализировали действия сотрудников после обучения и сравнили их с результатами первичного тестирования. Таблица 4. Сравнение действий сотрудников до обучения и послеОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДо обученияПосле обученияДо обученияПосле обученияДо обученияПосле обученияДокументооборот004,76 %04,76 %0Продажи004,76 %09,52 %8,7 %Продюсеры 000023,8 %8,7 %Редакция08,7 %0019,04 %8,7 %Руководитель000000 Рисунок 30. Процент попавшихся на фишинг до обучения и после по отделам Если во время первичного тестирования попалось 22 % участников, то после обучения этот показатель уменьшился и стал 12 %. Рисунок 31. Общий процент попавшихся на фишинг до обучения и после Результаты повторного тестирования показали, что, несмотря на заметное снижение количества взаимодействий с фишинговыми письмами, часть сотрудников по-прежнему выполняет действия, свидетельствующие о подверженности атакам. Это ожидаемый результат, поскольку киберкультуру невозможно сформировать за столь короткое время. Речь идёт о длительном процессе, который требует регулярной работы как со стороны специалистов по информационной безопасности, так и со стороны самих сотрудников.Наш эксперимент позволил проверить знания сотрудников, провести обучение и затем оценить, насколько полученные знания закрепились на практике. Однако с точки зрения развития киберкультуры — это лишь один из этапов работы, а не её завершение.Сложности, с которыми мы столкнулисьОсобенность нашего эксперимента — организация предварительного тестирования. Перед запуском каждой атаки мы проверяли её работу на собственном аккаунте, чтобы убедиться в корректной отработке сценария на стороне пользователя. Такие проверки попадали в общую статистику системы и оказывали влияние на итоговые показатели. Возможность исключить подобные события из расчётов отсутствует. Согласно комментариям вендора, для этих целей следует использовать отдельный тестовый стенд. Поэтому мы вели дополнительно самостоятельный анализ результатов эксперимента.Отдельные сложности возникли на этапе обучения сотрудников. Завершить обучение в установленные сроки не удалось из-за человеческого фактора. Не все участники смогли своевременно пройти назначенные материалы, что потребовало увеличения периода обучения и дополнительного контроля за его прохождением.Впечатления от проекта команды «АМ Медиа»Проведение тестирования не вызвало негативной реакции со стороны сотрудников. Хотя фишинговые сообщения активно обсуждались внутри коллектива, жалоб руководству или недовольства вида «зачем вообще было устраивать такую проверку» не возникло. Основной интерес был сосредоточен вокруг самих писем и попыток понять, что именно происходит.Реакция сотрудниковОдним из самых любопытных наблюдений стала реакция сотрудников после первой волны первичного тестирования. Полученные фишинговые сообщения быстро стали предметом обсуждения: сотрудники пересылали их друг другу, задавали вопросы коллегам и пытались разобраться, что происходит.Некоторые пошли ещё дальше и вступали в переписку с отправителем, воспринимая фишинговые письма как реальные рабочие сообщения. Это наглядно показало не только убедительность используемых сценариев, но и то, что практическое столкновение с угрозой вовлекает сотрудников в тему ИБ гораздо сильнее, чем абстрактные примеры из учебных материалов. Во время повторного тестирования такой реакции уже не возникло.Реакция организаторовЕсли для большинства сотрудников тестирование выглядело как неожиданно появившиеся письма в почте, то для команды, которой было поручено тестирование Phishman 2.35 этот проект сопровождался совсем другими эмоциями. Подготовка сценариев, запуск атак и ожидание результатов вызывали ощутимое волнение. Оказалось, что смотреть на ситуацию глазами злоумышленника не так просто, как может показаться со стороны. Приходилось постоянно задавать себе вопросы: какой сценарий покажется правдоподобным, что привлечёт внимание сотрудника, а что, наоборот, вызовет подозрения.Самыми напряжёнными были дни первой волны тестирования. На этом этапе ещё не было понимания, как сотрудники отреагируют на рассылки, насколько убедительными окажутся сценарии и не вызовет ли проверка негативной реакции внутри коллектива. С каждой новой зафиксированной активностью интерес смешивался с тревогой, а результаты ожидались едва ли не с большим нетерпением, чем сам запуск кампании.После завершения эксперимента стало легче: всё задуманное удалось реализовать, результаты были получены и проанализированы. Тем не менее полностью избавиться от мыслей о проделанной работе не получилось. Время от времени возвращаешься к отдельным этапам и задаёшься вопросом: а стоило ли сделать именно так? Может быть, какой-то сценарий можно было построить иначе, а какие-то решения принять по-другому?Наверное, это естественная часть любого практического проекта. Когда работа заканчивается, появляется возможность посмотреть на неё со стороны и критически оценить собственные решения. Именно в такие моменты часто приходят идеи, которые помогают сделать следующие проекты лучше.Сотрудничество с вендоромВ ходе подготовки и проведения эксперимента иногда возникали вопросы, связанные с настройкой платформы, особенностями реализации отдельных сценариев и интерпретацией результатов. Для их решения использовались как переписка, так и рабочие созвоны. Запросы обрабатывались оперативно, что позволяло своевременно получать необходимую информацию и не допускать задержек в выполнении работ. Поддержка была доступна не только в рабочее время, но и в выходные дни.ВыводыПовторное тестирование показало, что тщательно подготовленные и персонализированные фишинговые атаки значительно эффективнее. При наличии качественной разведки злоумышленники способны подобрать убедительный сценарий практически для любого сотрудника. А если специалист может ошибиться, то сотруднику, который не занимается вопросами ИБ каждый день, сделать это ещё проще.Работа в сфере информационной безопасности или информационных технологий сама по себе не защищает человека от фишинга, социальной инженерии и других современных атак. Мы убедились в этом на собственном опыте: даже профильные знания не гарантируют, что человек не попадется на хорошо продуманную атаку. Злоумышленники постоянно меняют сценарии, поэтому знания, полученные однажды, быстро устаревают.При помощи эксперимента мы не только проверили, насколько сотрудники готовы распознавать атаки, но и поняли, как с помощью Phishman 2.35 можно сделать работу по развитию киберкультуры системной. Вместо отдельных курсов появился понятный цикл: смоделировать атаку, оценить реакцию, провести обучение и проверить, изменилось ли поведение участников. При необходимости — повторить или скорректировать процесс при помощи рекомендаций платформы. Результаты фиксируются автоматически, поэтому можно видеть, какие темы требуют больше внимания, и развивать киберкультуру на основе реальных данных, а не предположений.Читать далее
    • PR55.RP55
    • santy
      RP55, есть у тебя ТГ?
×