Итоги апрельского теста журнала C'T - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Виталий Я.

Итоги апрельского теста журнала C'T

Recommended Posts

Виталий Я.

На Security@Interop - событии, совершенно незаслуженно обойденном вниманием портала, можно было взять пилотный (апрельский) номер журнала C'T-Россия, что я с радостью сделал. Теперь он ходит по рукам всей компании :)

Нашлось в C'T очень интересное и вдумчивое сравнительное тестирование 15 антивирусных программ. Руки дошли наконец до "обработки" этого очень "вкусного" контента. Приведу здесь только вводную часть про методологию и выводы. Это-то и есть тот самый будет комплексный анализ, на основании которых в последнее время модно (а теперь и можно) ругать или хвалить продукты разных вендоров.

Считаю, что для команды нового журнала о компьютерной технике проведение настолько комплексного теста - это большая заявка на лидерство, ведь тесты не хуже тех, что проводит Нейл Рубенкинг из PC Magazine. Теперь есть что почитать и в России - сделанное руками тестирование, человеческим языком описанное и беспристрастно поданное, что вместе является "фишкой" C'T. Настоятельно рекомендуется Сергею Ильину перенять ;)

Понравились мне и слова главреда про аудиторию и миссию журнала:

Мы не занимаемся ерундой. Мы делаем самый профессиональный компьютерный журнал в России ...для тех, кому нужна честная и правдивая информация.

Респект Павлу Шошину, автору обзора, и главреду Андрею Кокоурову, перешедшим из CHIPа. У меня раньше не было такой уверенности в их профессионализме, но, как оказалось, в CHIPе все решал формат "easy reading", на который в последнее время слишком многие СМИ и тестлабы давят.

В общем, дифирамбы журналу я отпел, можно переходить ко чтению. ;)

Большая охота

ct1.jpg

Трояны, шпионское ПО, боты — здесь вроде бы все по-прежнему, но, тем не менее, уже по-другому: каждый час вирусный «зоопарк» антивирусных лабораторий пополняют более тысячи новичков. И судя по результатам тестирования 15 антивирусных программ, все большая часть из них проскальзывает сквозь антивирусную защиту.

Наряду с корифеями антивирусной отрасли наше тестирование прошли и некоторые экзотические программы: Avast Antivirus Pro, AVG Anti-Malware, Avira AntiVir Personal Edition Premium, BitDefender, CA Antivirus Plus, ClamWin, Dr.Web, F-Secure Antivirus, McAfee VirusScan, Microsoft OneCare, и Trend Micro Antivirus + Antispyware.

Основным механизмом обнаружения вредоносных программ по-прежнему остается поиск файлов по известным цепочкам символов. Качество такого сигнатурного распознавания определяется проверкой набора ITW-вирусов (от англ. In The Wild - вирусы, представляющие реальную опасность для пользователей на момент тестирования). Однако такой подход не стал доминирующим хотя бы потому, что в нем совершенно не представлен самый активный на данный момент класс вредоносных программ — трояны. Кроме того, этот перечень вирусов пополняется не так часто, постоянно устаревает, да и сам список, состоящий примерно из 1400 экземпляров, слишком мал. Поэтому ITW-тестирование в данном случае проводилось только ради полноты эксперимента, и его результаты не учитывались при подведении итогов.

Тот факт, что Avast! и «Антивирус Касперского» показали себя не самым лучшим образом, хотя при сканировании по требованию все вирусы из ITW-набора были обнаружены, а на лету оба пакета пропустили по одному файлу, что свидетельствует о проблемах, связанных с качеством сканирования. А вот ClamWin и Dr.Web допустили более существенные промахи, пропустив 25 и 7 вирусов соответственно.

В случае нашего собственного тестирования антивирусные программы должны были произвести проверку базы вирусов, насчитывающей более миллиона червей, бэкдоров, ботов и троянов. При этом использовались только те вредоносные коды, которые действительно были активны за прошедшие полгода; вымершие динозавры времен DOS и Windows 95 не учитывались.

При тестировании желательно было получить наиболее высокий процент распознавания, однако мы понимали, что ни один из способов сканирования не сможет выявить абсолютно все вирусы. В частности, продукт Avira приблизился к идеалу с впечатляющим результатом — свыше 99% распознавания. Результат в 95%, необходимый для положительной оценки, получили еще три продукта: Avast!, AVG и BitDefender. Кроме ClamWin и Dr.Web, которые, как уже упоминалось, не очень хорошо показали себя в этом тестировании, слабо выглядел CA Antivirus с результатом 55% - явно недостаточно для надежной защиты.

Неплохие результаты были получены при выявлении рекламного и шпионского ПО, тестовая база которого насчитывала 25 000 программ. Если раньше для борьбы с ним нужны были специальные антишпионские утилиты, то сейчас разработчики включают в сигнатуры данные и этой категории вредоносного ПО. Мы не ошиблись, термин «вредоносное» здесь вполне уместен: утилиты, способные выуживать секретные сведения или составлять списки интересов пользователей и пересылать их по сети, вполне заслуживают такого звания. Кстати говоря, программы, хорошо справившиеся с вирусным «зоопарком», отлично проявили себя и в испытаниях с обнаружением шпионского ПО. Неудачно выступили в этом тесте CA Antivirus и Norton Antivirus.

Положительным моментом в общей картине оказалось то, что разработчики повысили частоту обновления ПО, а также скорость реагирования на новые вирусные угрозы. В этом отношении лидируют Softwin и «Антивирус Касперского». Лишь пользователи CA Antivirus, McAfee и Microsoft вынуждены ждать обновленных сигнатур в среднем более 12 часов по сравнению с самым быстрым конкурентом. А вот обновления у Microsoft One Care запаздывали даже более чем на сутки.

Мне видно то, чего не видишь ты

Причину того, что хороших результатов сигнатурного распознавания, а также коротких интервалов между обновлениями недостаточно для того, чтобы надежно защитить компьютер, можно показать с помощью несложного расчета. Допустим, разработчик успеет в течение часа после появления новой троянской программы создать необходимые сигнатуры, проверить их и разослать своим клиентам. Однако в это время происходит распространение вредоносного ПО через сеть ботов с использованием около 10 000 активных компьютеров-зомби. Каждый из них в течение трех секунд может отправить сообщение по электронной почте (то есть более тысячи в час). В результате владелец сети ботов успеет охватить около 10 миллионов своих жертв еще до того, как появится первая сигнатура. Конечно, некоторые цифры можно оспорить, но общий принцип ясен: в случае эпидемии сигнатуры всегда запаздывают.

Для создания программ, способных обнаружить неизвестных ранее вредителей, разработчики стали использовать эвристические методы. Они позволяют, в частности, выявлять типичные последовательности кодов или выдавать предупреждения, если проверяемая программа пытается загрузить в память резидентный модуль.

Проверяемое нами антивирусное ПО должно было при помощи старых сигнатур обнаружить новые вирусы.

Тестирование поведенческого анализатора

Поведенческий анализ (проактивная защита) отличается от сигнатурного и эвристического методов, служащих только для распознавания самих вредоносных файлов. Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур. При запуске вирус должен каждый раз попадать в то же самое окружение, а также, к примеру, иметь возможность загружать из сети свои компоненты, несмотря на то что соответствующе серверы к моменту тестирования могли прекратить свое существование.

В ходе самого тестирования вирусу дают возможность сработать и наблюдают за его поведением, а также за тем, как ведет себя антивирусная программа. Если защита предлагает прервать работу, то тестирование прекращается. После этого проверяют, успел ли вирус внедриться и нанести ущерб, или его атака была успешно отражена, а открытые файлы и регистрационные ключи удалены.

В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF). При оценке программа получала одно очко, если в итоге компьютер не подвергся заражению, то есть вирус не смог инсталлировать выполняемые компоненты. Если антивирусному ПО удавалось, что система при очередном запуске не была заражена, то антивирус получал пол-очка.

Метод распознавания по поведению подвержен сбоям, в особенности если его используют только для выдачи сообщений об определенных действиях, которые случаются и при нормальной работе. Поэтому на основе инсталляции и актуализации десяти стандартных программ типа ICQ, Winamp или Microsoft Office мы проверили также долю ложных срабатываний.

Спасительный якорь

Тот факт, что сигнатурные методы распознавания не обеспечивают надежной защиты, а эвристический анализ не обладает высокой надежностью, известен уже несколько лет. Решение этой проблемы также известно: при наблюдении за системой антивирус должен распознавать и ранее неизвестные вредоносные программы по их поведению. При увеличении подозрительной активности он предупреждает пользователя и предлагает остановить задачи, которые могут нанести вред компьютеру, или даже отменить некоторые ранее совершенные операции. Эта функция под названием «Проактивная защита» (Proactive Guard, поведенческий анализатор, может также носить название Behavioural Blocker) также встречается в описании многих программных продуктов.

Проведенное нами тестирование показало, скорее, разочаровывающие результаты. Хорошо себя проявил лишь F-Secure Deepguard компании F-Secure, который распознал все 12 «вредителей», причем в большинстве случаев ему удалось воспрепятствовать заражению компьютера. Помимо него обнаружить вредоносные программы по их поведению удалось также Антивирусу Касперского и программе BitDefender. Однако полностью воспрепятствовать заражению системы не смогли и они.

Компании-разработчики McAfee, Norton, Microsoft, а также Trend Micro идут по пути наименьшего сопротивления и предлагают оценивать поведение подозрительных программ самим пользователям. При использовании антивирусов этих производителей вы не раз столкнетесь с сообщениями, которые часто встречались на заре программных брандмауэров: «Программа XYZ хочет выполнить некоторое действие — вы хотите это разрешить?». Загвоздка заключается в следующем: подобные сообщения практически всегда относятся к отдельным действиям, таким как добавление пункта автозапуска в реестр. Даже если пользователь запретит это действие, вирус еще не будет обезврежен; некоторые его компоненты по-прежнему могут оставаться активны. К тому же подобные предупреждения зачастую появляются при установке безобидных программ. Хорошо замаскированный под видеокодек, троян подобным образом вряд ли удастся обнаружить, так как пользователь сам хочет установить эту программу на свой компьютер.

Эти результаты подтверждают и наши эксперименты с простыми, созданных из существующих фрагментов кода, кейлоггерами, которые незаметно для пользователя сохраняют вводимые с клавиатуры данные. Один из кейлоггеров был добавлен в реестр как пункт автозагрузки, другой был установлен как драйвер ядра, третий как служба, а последний дополнительно установил соединение с IRC-сервером. В этом случае приемлемые результаты показали лишь программы компаний F-Secure, BitDefender и Лаборатории Касперского. F-Secure распознала все кейлоггеры как приложения с высоким уровнем опасности, что было отражено в виде рейтинга. Антивирус Касперского сообщил об установке подозрительных драйверов, заметил создание новых файлов и их регистрацию в качества пункта автозагрузки и в качестве службы. Программа B-Have компании BitDefender распознала по поведению все кейлоггеры за исключением фальшивого драйвера ядра.

Программы компаний McAfee и Trend Micro зафиксировали лишь изменения реестра, произведенные первым кейлоггером. У NOD32 и OneCare эвристический анализ позволил обнаружить только первый кейлоггер, вносивший данные в ветвь реестра, отвечающую за автозагрузку. Другим антивирусам и вовсе не удалось ничего обнаружить.

Игра в прятки

Хотя все больше вирусов используют методы руткитов, чтобы скрыть свое присутствие в системе, лишь немногие антивирусные программы готовы к этому в достаточной мере. Лишь программам от F-Secure, Norton и Panda в ходе тестирования удалось обнаружить и удалить все активные руткиты, хотя нами использовались лишь широко известные и доступные образцы. То, что AVG распознает только неактивные руткиты, никак нельзя отнести ей в актив, даже учитывая тот факт, что в программе имеется отдельный модуль для поиска руткитов. Программам ClamWin, Dr.Web, McAfee и OneCare компании Microsoft также практически нечего противопоставить данному типу угроз.

При подозрении на атаку руткитов особое значение приобретает загрузочный аварийный диск, благодаря которому можно просканировать систему не загружая ее. Однако на таких дисках по-прежнему экономят многие производители. А если и не экономят, то явно халтурят: с диска Symantec, как и раньше, загружается DOS с антивирусным сканером сигнатуры которого датированы 2002 годом, а Panda предлагает загрузочный диск на базе Linux, обеспечивающий доступ к разделам диска формата NTFS только в режиме чтения.

Другой способ, используемый для обмана антивирусных сканеров, заключается в использовании архивных файлов, которые те не могут открыть. При этом злоумышленники изменяют права доступа к содержимому, например, в ZIP-архива, таким образом, чтобы антивирусный сканер не смог его открыть, а с помощью утилит, устанавливаемых на компьютер, сделать это было бы можно. Таким образом, вирус может остаться незамеченным при проверке на почтовом шлюзе.

Устойчивость отдельных антивирусов к подобным методам маскировки мы проверили в ходе тестирования с помощью 28 специально подготовленных архивных файлов в формате .rar, .zip и .cab. Их можно было открыть с помощью стандартных программ, таких как интегрированный в Windows ZIP, WinZIP, WinRar или 7zip. Однако только F-Secure обнаружил скрытые вирусы во всех модифицированных архивах.

Подобным образом можно сделать незаметным для антивирусов и вредоносный код, использующий дыры в безопасности браузеров. Уже давно известно, что Internet Explorer полностью игнорирует некоторые элементы кода HTML-страниц. Так, например, злоумышленник может наполнить свой эксплоит нулевыми байтами, чтобы он отличался от образцов в базе данных антивируса. Уловка с добавлением нулевых байтов проходила на всех антивирусах, за исключением BitDefender. Другие программы выдавали предупреждения, однако эксплоитам удавалось сбить их с толку.

Vista и антивирусы

Все тесты проводились на компьютерах с операционной системой Windows Vista. Это не вызывало каких-либо затруднений, так как большинство производителей уже адаптировали для нее свои программы.

Лишь новая модель прав может создать некоторые проблемы из-за того, что антивирусный сканер для полного сканирования системы должен получить необходимые для права, используя функцию контроля учетных записей (UAC). Так, программы AVG и CA Anti-Virus необходимо запускать вручную от имени администратора, чтобы получить возможность проверки абсолютно всех файлов. В противном случае антивирусный сканер просто пропустит папки других пользователей. С антивирусом F-Secure все еще сложнее — программа игнорирует чужие папки даже при наличии необходимых прав. Такую папку можно просканировать только в том случае, если перейти в нее и разрешить действие в появившемся окне контроля учетных записей. При использовании Avast и Dr.Web для выполнения специальных операций пользователь должен ввести пароль администратора при использовании ограниченной учетной записи.

Дополнительно мы протестировали программные продукты на компьютерах с операционной системой Windows XP. При этом мы не обнаружили практически никаких отличий между результатами работы антивирусов в Vista и в XP. Правда, необходимо принимать во внимание, что при использовании специфических функций, таких как проактивная защита и поиск руткитов, на компьютерах с Windows XP в отдельных случаях можно получать другие результаты.

Всего понемногу

Чтобы определить, насколько антивирус замедляет работу компьютера, нами были проведены два теста: вначале программа должна была проверить на наличие вирусов порядка 8000 файлов общим объемом 741 Мбайт. Для оценки работы антивируса при сканировании «на лету», мы также осуществляли копирование файлов на локальном жестком диске, что при отсутствии антивируса занимает 47 секунд.

Высокую скорость работы показал NOD32; такие программы как Avast!, AVG, Antivir, OneCare, Norton, Panda и TrendMicro также не очень сильно тормозили систему. Значительно худшие результаты показала F-Secure, которая при наличии четырех антивирусных движков значительно замедляла работу, а также «Антивирус Касперского», при использовании которого существенно увеличивалось время ожидания при копировании папок с файлами.

Большинство антивирусов незаметно следят за работой почтовых программ и сканируют входящие, а также исходящие сообщения. Наличие этой функции не должно являться решающим фактором при антивирусного ПО, ведь даже если она отсутствует, то программа все равно выдаст предупреждение при попытке открыть или сохранить вложенный файл. К тому же антивирус все равно окажется бессильным при использовании зашифрованного соединения.

Серьезной проблемой может стать недостаточно высокое качество исходного кода антивирусных программ. В 2007 году практически у всех известных антивирусных продуктов были обнаружены критические дыры в безопасности, которые ставят под сомнение надежность всей сферы антивирусного программного обеспечения. Для нашего теста мы задали производителям вопрос относительно принимаемых ими мер по повышению безопасности программных продуктов. Немногочисленные ответы не удалось оценить в полной мере, да и проверить их на предмет соответствия действительности также невозможно. Поэтому данный вопрос все еще остается открытым.

Оценки каждому продукту, также приведенную в статье, не планирую публиковать, зато можно оценить сводную таблицу и выводы по ходу статьи.

Вывод

NOD32 оказался единственным из участников тестирования, которому удалось обнаружить более двух третей новых вредоносных программ; на втором месте расположился BitDefender с результатом 41%, а остальные антивирусы распознавали лишь каждую третью угрозу или даже меньше. В данном случае едва ли можно вести речь о надежной защите компьютера. Столь низкие результаты можно объяснить тем, что разработчики вредоносного ПО стали уделять больше внимания оптимизации своих творений. Особую тревогу вызывает то обстоятельство, что антивирусам в ходе тестирования не удавалось обнаружить некоторые вирусы, которые они успешно находили еще год назад.

Решением этой проблемы может стать поведенческое распознавание вредоносных программ, которое, правда, на данный момент хорошо реализовано только в программе Anti-Virus 2008 компании F-Secure. В сложившейся ситуации рекомендовать тот или иной продукт достаточно сложно, так как ни одна программа не показала превосходных результатов и, следовательно, не может гарантировать безопасность вашего компьютера. Антивирус компании F-Secure не лучшим образом показал себя при поиске шпионских модулей и очень требователен к системным ресурсам. Разумным компромиссом является программа BitDefender, также не отличающаяся высокой скоростью работы, но вместе с тем показавшая хорошие результаты эвристического анализа, распознавшая почти все руткиты и имеющая хорошие перспективы в области поведенческого анализа. Одно из немногих замечаний этой программе заключается в большом количестве ложных срабатываний.

Пользователи, ставящие во главу угла высокую производительность, либо отдадут предпочтение программе Avira, либо закроют глаза на результаты сигнатурного анализа, и будут использовать NOD32, который, благодаря высокой эффективности эвристического анализа, способен защитить компьютер от многих неизвестных вирусов. Avast и AVG также показали очень хорошие результаты сигнатурного анализа. За ними следует целый ряд продуктов, которым еще предстоит избавиться от различных специфических проблем. Самые худшие результаты показали CE Anti-Virus Plus, который провалил почти все тесты, а также ClamWin, не претендующий на конкуренцию с другими участниками. Программам Dr.Web и McAfee также можно найти лучшую альтернативу.

Начинающим пользователям можно посоветовать Norton Antivirus, а если смириться с некоторыми недостатками, то и Windows OneCare. Принимая во внимание тот факт, что коммерческие продукты не показали высоких результатов, некоторые пользователи наверняка предпочтут сэкономить деньги и воспользоваться бесплатной программой. Следует учитывать, что в бесплатных версиях антивирусов Avira и AVG отсутствует функция поиска шпионского ПО, что обязательно необходимо компенсировать установкой дополнительной антишпионской программы. Интегрированная в Vista программа Windows Defender повышает распознавание программ-шпионов лишь до уровня Norton Antivirus. На другие ограничения, такие как отсутствие функции проверки электронной почты, при необходимости можно закрыть глаза. Программа Avast, также являющаяся бесплатной, подойдет не каждому в силу непривычного интерфейса.

ct2.jpg

ct3.jpg

В частности, этот обзор по-иному показывает эшелонирование "чистых" антивирусов, нежели это представляет Anti-Malware.ru.

В моей трактовке, судя по сводной таблице и описанию качественных/количественных показателей в тестах, складывается такая картина:

1 эшелон - BitDefender, Avira, F-Secure

2 эшелон - NOD32, AVG, Avast!, KAV 7, Trend Micro, Panda 2008

3 эшелон - Norton AV 2008, McAfee AV 2008, Dr. Web 4.44, MS OneCare

4 эшелон - CA, ClamWin

Ну что, какие мнения будут у общественности? :rolleyes:

post-3728-1209907190_thumb.jpg

post-3728-1209907202_thumb.jpg

post-3728-1209907263_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Статья в целом неплохая, но я не вижу самого главного - где итоговые выводы?

В комплексной оценке самое главное покрытие (где лечение?) и итоговая свертка, что на самом деле является очень и очень нетривиальной задачей, ни того ни другого я в данном тесте не увидел к сожалению.

Посему, по-моему мнению на комплексную оценку он не претендует, так как наиболее сложные задачи не были решены, а для журнала неплохо, соглашусь :)

А где Agnitum? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Не плохая статья, но действительно, никаких итогов -((

Хотя меня смущает результаты эвристического обнаружения у авиры и версии некоторых программ, например KAV (ну очень смущает)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Статья в целом неплохая, но я не вижу самого главного - где итоговые выводы?

В комплексной оценке самое главное покрытие (где лечение?) и итоговая свертка, что на самом деле является очень и очень нетривиальной задачей, ни того ни другого я в данном тесте не увидел к сожалению.

Посему, по-моему мнению на комплексную оценку он не претендует, так как наиболее сложные задачи не были решены, а для журнала неплохо, соглашусь :)

А где Agnitum? :)

Тест поведенческого блокиратора - это не менее важно и сложно, чем сигнатурное лечение, т.к. хороший драйвер еще и позволяет ставиться на зараженные машины и лечить их (речь про Outpost). Вообще журнал первым в России взял на себя смелость его тестировать, хотя портал так и не взялся.

К комплексной оценке лечения и самозащиты, я уверен, в C'T еще перейдут. Качественно оценены входные данные, причем БЕЗ дутых рейтингов-сверток. Итоговая развертка позволяет профессионалу выбрать по многим параметрам, а не "юзеру-чайнику" радостно ткнуть в "наградку".

Компания Agnitum на момент проведения тестов (полагаю, что февраль - ну или никак не позже начала марта, т.к. там скрины февральские частят) не была игроком рынка отдельных антивирусов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Качественно оценены входные данные, причем БЕЗ дутых рейтингов-сверток. Итоговая развертка позволяет профессионалу выбрать по многим параметрам, а не "юзеру-чайнику" радостно ткнуть в "наградку".

Виталий, я так понимаю Вы профессионал, объясните мне пожалуйста "юзеру-чайнику" как Вы сделали вот эти выводы на основе полученных "качественных" оценок, которые тоже лично мне не понятно как определялись:

1 эшелон - BitDefender, Avira, F-Secure

2 эшелон - NOD32, AVG, Avast!, KAV 7, Trend Micro, Panda 2008

3 эшелон - Norton AV 2008, McAfee AV 2008, Dr. Web 4.44, MS OneCare

4 эшелон - CA, ClamWin

Странно Вы рассуждаете Виталий, относительно нашего портала говорите по факту:

Вообще журнал первым в России взял на себя смелость его тестировать, хотя портал так и не взялся.

А относительно журнала со взглядом на будущее:

К комплексной оценке лечения и самозащиты, я уверен, в C'T еще перейдут

С чего Вы взяли, что у нас не будет теста на поведенческий блокиратор?

P.S. Я не давлю, просто хочу разобраться, может я чего не понимаю...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Наряду с корифеями антивирусной отрасли наше тестирование прошли и некоторые экзотические программы: Avast Antivirus Pro, AVG Anti-Malware, Avira AntiVir Personal Edition Premium, BitDefender, CA Antivirus Plus, ClamWin, Dr.Web, F-Secure Antivirus, McAfee VirusScan, Microsoft OneCare, и Trend Micro Antivirus + Antispyware.

На этом чтение закончил.

Э-э, а кто корифеи?

Методом исключения обнаружил каспера, нода, панду и симантека?

Задолбали такие изирид статьи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
На этом чтение закончил.

Э-э, а кто корифеи?

Методом исключения обнаружил каспера, нода, панду и симантека?

Задолбали такие изирид статьи.

ИМХО, они выразились неудачно, просто перечислив всех. =)

Виталий, я так понимаю Вы профессионал, объясните мне пожалуйста "юзеру-чайнику" как Вы сделали вот эти выводы на основе полученных "качественных" оценок, которые тоже лично мне не понятно как определялись:

Что Вы, я - просто чайник, вон я для себя даже рейтинг составил - мне так удобнее. ;)

А профи - пусть по таблице с параметрами выбирают.

С чего Вы взяли, что у нас не будет теста на поведенческий блокиратор?

У вас его до сих пор не было. Только и всего. Констатация факта.

Зато были утверждения Вашего партнера, что коллекция проведенных тестов уже достаточна для комплексной оценки и разделения по "эшелонам" антивирусных продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Несколько моментов:

"В случае нашего собственного тестирования антивирусные программы должны были произвести проверку базы вирусов, насчитывающей более миллиона червей, бэкдоров, ботов и троянов. При этом использовались только те вредоносные коды, которые действительно были активны за прошедшие полгода; вымершие динозавры времен DOS и Windows 95 не учитывались."

1) Где автор взял такую коллекцию свежего вирья? (все они активны были в последние полгода).

2) Были ли какие-либо проверки на чистоту коллекции - может там половина кейгенов? :)

3) DOS-кие вирусы не учитывались - стало быть они были в коллекции, но при подсчете резулдьтаты по ним не учитывались? А как же пункт 1)? В общем нипанятна

"Неплохие результаты были получены при выявлении рекламного и шпионского ПО, тестовая база которого насчитывала 25 000 программ."

1) По чьей классификации определялась шпион или же троян? Один вендор может добавить малварь как спая, другой - как трояна.

"Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур." и "В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF)."

1) Почему выбраны именно эти самплы?

2) Почему в таблице в пункте обнаружения по поведению отмечены результаты сигнатурного детекта, если в самой статье автор писал что все 12 самплов не детектировались сигнатурно всеми участниками теста.

"Эти результаты подтверждают и наши эксперименты с простыми, созданных из существующих фрагментов кода, кейлоггерами, которые незаметно для пользователя сохраняют вводимые с клавиатуры данные...."

1) Какой смысл тестировать антивирусы и кейлоггеры, устанавливая последние? Установка кейлоггера чем-то принципиально отличается от установки обычной тронской программы?? (говорю об ITW).

"Хотя все больше вирусов используют методы руткитов, чтобы скрыть свое присутствие в системе, лишь немногие антивирусные программы готовы к этому в достаточной мере. Лишь программам от F-Secure, Norton и Panda в ходе тестирования удалось обнаружить и удалить все активные руткиты, хотя нами использовались лишь широко известные и доступные образцы. То, что AVG распознает только неактивные руткиты, никак нельзя отнести ей в актив, даже учитывая тот факт, что в программе имеется отдельный модуль для поиска руткитов. Программам ClamWin, Dr.Web, McAfee и OneCare компании Microsoft также практически нечего противопоставить данному типу угроз."

1) Какие руткиты использовались?

2) Результаты в таблице: как антивирус (в данном случае авира) может детектировать 4 неактивных руткита, и при этом смогла удалить только 3? :)) То есть - как минимум 1 просто лежащий файл она не смогла удалить? Патешна :)

Это возникшие вопросы по ходу чтения.

В общем мое мнение - это тест несерьезный. Да, возможно, для журнала он подходит. Но если, Виталий Я, Вы предлагаете что-то перенимать нам, как тестовой лаборатории из этого теста, тут я с Вами не соглашусь. Тест затрагшивает много аспектов проверки качества защиты, но выполнен он нелогично и некачественно.

Методики совершенно нету.

З.Ы. Где в голосовании пункт " Отвратительно" ? :))

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
ИМХО, они выразились неудачно, просто перечислив всех. =)

Это уже не важно.

Пейсатель отметился.

ИМХО, в таких "легких" статьях не надо акцентировать внимание на то, кто лудший, а кто хучший:), а нужно просто объяснять людям, что вот здесь так, а там эдак, но вам, уважаемые читатели, в любом случае лучше поставить любой антивирус, и будет вам и всем другим от этого щастье.

Такие статьи обычно пишутся непонимающими для совершенно непонимающих, радуют тех, кто участвует в бета-тестированиях и замечает, что вместо "а" написано "о", бесполезны для понимающих, поскольку те никогда не смогут определиться с понятиями "лучше-хуже" и посему статьи эти имеют только сугубо"джинсовый" смысл. А этого не хочется. Нужно просто объяснять людям, что сегодня любой антивирус и т.п. им нужен.

З.Ы. Где в голосовании пункт " Отвратительно" ?

Вручную, в топике. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
ИМХО, в таких "легких" статьях не надо акцентировать внимание на то, кто лудший, а кто хучший:), а нужно просто объяснять людям, что вот здесь так, а там эдак, но вам, уважаемые читатели, в любом случае лучше поставить любой антивирус, и будет вам и всем другим от этого щастье.

Такие статьи обычно пишутся непонимающими для совершенно непонимающих, радуют тех, кто участвует в бета-тестированиях и замечает, что вместо "а" написано "о", бесполезны для понимающих, поскольку те никогда не смогут определиться с понятиями "лучше-хуже" и посему статьи эти имеют только сугубо"джинсовый" смысл. А этого не хочется. Нужно просто объяснять людям, что сегодня любой антивирус и т.п. им нужен.

Не, погодите, там есть анти-рекомендации:

Самые худшие результаты показали CE Anti-Virus Plus, который провалил почти все тесты, а также ClamWin, не претендующий на конкуренцию с другими участниками. Программам Dr.Web и McAfee также можно найти лучшую альтернативу.

Сейчас файло 2008_04_antivirus_test.doc повесил с полным текстом (будут баги - сорри, вычитка была в Ворде по F7), но в выводах сразу было написано, что:

NOD32 оказался единственным из участников тестирования, которому удалось обнаружить более двух третей новых вредоносных программ; на втором месте расположился BitDefender с результатом 41%, а остальные антивирусы распознавали лишь каждую третью угрозу или даже меньше. В данном случае едва ли можно вести речь о надежной защите компьютера. Столь низкие результаты можно объяснить тем, что разработчики вредоносного ПО стали уделять больше внимания оптимизации своих творений. Особую тревогу вызывает то обстоятельство, что антивирусам в ходе тестирования не удавалось обнаружить некоторые вирусы, которые они успешно находили еще год назад.

Суммарный детект всей дряни не превысил 60% у Нода и 40 у БитДефа. Т.е. на большинстве подборок все завалились.

2008_04_antivirus_test.doc

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Тест (как и признаёт Виталий), получился в стиле Нейла Рубенкинга- отвратительным. Ни развёрнутой методологии, ни характеристик ITW-зловредов, ни параметров их выбора, ни подробных отчётов- всё закрыто и опечатано семью печатями. Только общие слова. В общем- тест для домохозяек.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zanuda
1) Где автор взял такую коллекцию свежего вирья? (все они активны были в последние полгода).

Насчет мильона свежих зловредов выпущенных в последние полгода - это очень круто. Похоже автор запутался в рассчетах. :-)

1) По чьей классификации определялась шпион или же троян? Один вендор может добавить малварь как спая, другой - как трояна.

А какая разница? Юзеру и то и другое вред.

"Различие в тестировании начинается с выбора вирусов, которые ни один из тестируемых пакетов не может определить при помощи сигнатур." и "В общей сложности тестирование прошли двенадцать вирусов, представляющих опасность для Windows (Spy.VB.QJ, Packer, DNS-Changer.OL, Rbot.BMR, Hmir.DK, Delf.FYR, IRCBot.CHR, Agent.CDM, RBot.XKW, PcClient.BAL, Pakes.AKT, Zlob.KF)."

1) Почему выбраны именно эти самплы?

Могу предположить, их было проще исследовать :-), например наличие инсталлеров имено для этих зловредов.

Может, Вы ищете попытку подтасовать результаты?

1) Какой смысл тестировать антивирусы и кейлоггеры, устанавливая последние? Установка кейлоггера чем-то принципиально отличается от установки обычной тронской программы?? (говорю об ITW).

У них задачи разные и поведение в системе будет разным, уважаемый эксперт.

Это возникшие вопросы по ходу чтения.

В общем мое мнение - это тест несерьезный. Да, возможно, для журнала он подходит. Но если, Виталий Я, Вы предлагаете что-то перенимать нам, как тестовой лаборатории из этого теста, тут я с Вами не соглашусь. Тест затрагивает много аспектов проверки качества защиты, но выполнен он нелогично и некачественно.

Методики совершенно нету.

Сударь, кажется, Вы придираетесь :-) Дайте линки на статьи какого-либо печатного издания где сделано больше?

Похоже автор статьи уже сделал те тесты, которые здешний портал еще и не начинал :-)

Печалит отсутствие новых версий продуктов. Но охват проверенного функционала весьма приличный.

И походу дела даже нашел концептуальные дырки продуктов и свел их в таблицу :-)

Я думаю, недостаток информации в статье ограничен печатной площадью. Интересно, есть электронная/расширенная версия этого сравнения?

А насчет детализации, к сожалению, здешние тесты страдают тем же недостатком, выводы есть, а обнаруженных фактов и методик тестирования маловато. Даже номера билдов продуктов нет :-) Может надо приобрести полную версию?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
А какая разница? Юзеру и то и другое вред.

Суть не в этом, а в том, что данный тест со спаями шел как отдельный подтест. А поскольку каждый вендор под шпионом понимает свое (вердикты могут быть совершенно различные), то и в коллекции в 25к штук может находится что угодно. Поэтому не стоит разделять тесты на общий детект и детект конкретно спаев и рекламных программ.

Могу предположить, их было проще исследовать :-), например наличие инсталлеров имено для этих зловредов.

Может, Вы ищете попытку подтасовать результаты?

Тогда смысла в тесте таком нету, коль берутся на обум. Один раз взял, что не детектится - один результат, взял потом другой набор не детектируемых самплов - другой результат.

У них задачи разные и поведение в системе будет разным, уважаемый эксперт.

От спасибо, что просвятили, но я речь вел об инсталляции кейлоггера, а не отличии его работы от других вредоносных программ.

Сударь, кажется, Вы придираетесь :-) Дайте линки на статьи какого-либо печатного издания где сделано больше?

Я печатными не интересуюсь, да и я писал выше, если Вы внимательно читали, что для журнала этот "тест" вполне сойдет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

Виталий Я., Вы так умильно рассказываете об этом тесте.

Подскажите, Вы и правда считаете его высокопрофессиональным?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я взял на себя смелость отправить ссылку на топик главному редактору.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий Я., Вы так умильно рассказываете об этом тесте.

Подскажите, Вы и правда считаете его высокопрофессиональным?

С какой целью интересуетесь? Из регулярно проводимых профессиональных тестов я лично признаю только тесты Matousec.com и, вероятно, еще ICSA Labs. Остальные имеют ряд технологических недостатков, больше ориентированы на маркетинг (если говорить о так называемых "отраслевых стандартах") или желание подтвердить статус своего любимого продукта и "потоптать" нелюбимые (это в большей мере относится к журналистским тестам).

Я считаю, что обсуждаемый тест содержит больше информации для размышления, чем пиара или антипиара продуктов, в отличие от любителей "рейтинговать". Поэтому и привлекаю к нему внимание. "Рейтинг", заметьте, для любителей расставлять все по строчкам, я составил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
желание подтвердить статус своего любимого продукта и "потоптать" нелюбимые (это в большей мере относится к журналистским тестам).

На самом деле, из собственного опыта общения с журналистами, я вынес одну немаловажный вывод- журналисты очень любят решать за своих читателей, не уважают их вообще (я знаю, что многие запросы моих пользователей на тестирование моей проги были просто тупо проигнорированы, в том числе и немецким c'T), не любят предоставлять им альтернативные/инновационные варианты решения проблем. Поэтому- стандартные закрытые методологии, кочующие из журнала в журнал, повальное игнорирование инноваций, если только они не исходят от крупных вендоров, и один в один участники тестирований- ни одного нового персонажа за долгие годы (лет за восемь точно). Неудивительно, что люди перестают читать печатную компьютерную прессу и уходят на блоги- скучно. Очень скучно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Илья Рабинович

может, Вам лучше с пиарщиками поработать, если не удается пробиться в журналы, или предлагать примеры текстов? Насчет новых участников тестирований - вот посмотрим, насколько Outpost Antivirus проявится в новых тестах. Полгода прошло, прежде чем OSS появился, а чистый АВ, надеюсь, раньше. Что касается вашей ниши HIPS, то сложно сказать, насколько все-таки он end-userский продукт. Скорее, нет и еще раз нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
может, Вам лучше с пиарщиками поработать, если не удается пробиться в журналы, или предлагать примеры текстов?

А какая разница? Чтобы изменить устоявшуюся модель того, что нужно пользователям, в головах непрофессионалов (а журналисты IT-профессионалами не являются), нужны многие годы и тонны писем пользователей, желающих перемен. И движения крупных компаний.

Что касается вашей ниши HIPS, то сложно сказать, насколько все-таки он end-userский продукт. Скорее, нет и еще раз нет.

1. Рыночная ниша sandbox HIPS- простые пользователи. Тот classical HIPS, который реализован в Agnitum- согласен, не для end-user.

2. Подавляющее большинство моих пользователей- домохозяйки. Процентов 90% примерно. Плюс "подопытные кролики", семья моих друзей (менеджер крупной сырьевой компании, домохозяйка + двое детей)- полёт нормальный. Кстати, вот ещё один типичный пример того, как работает устоявшаяся схема внутри человеческой головы- "я знаю, что мир такой потому, что я так думаю, а если реальность показывает, что это всё бред- тем хуже для реальности". Скучно, очень скучно...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
"Рейтинг", заметьте, для любителей расставлять все по строчкам, я составил.

Возможно повторюсь, так как Вы его составили? :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Виталий Я., я конечно извиняюсь, но предложенное вами голосование было изменено и счетчик у него сброшен. Поступило много жалоб. Я бы порекомендовал вам не провоцировать здесь людей. Вы же не хотите никого озлобить и серьезно подорвать имидж вашей компании и продуктов на нашем форуме, правда ведь?

P.S. Отвечать на это сообщение не нужно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

Виталий Я., спросил я с единственной целью.

Мне просто показалось, что к деятельности г-на Ильина Вы относитесь вполне так скептически, а результаты журнального тестирования с неясной методологией и недоказанными утверждениями (а именно так, согласитесь, в приведенной Вами статье и есть) вызывают гораздо больший интерес.

Вот мне и стало интересно - чего так? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Мальцев Тимофей

Я к тому, что умеренность спасет мир, а личное мнение многих профессионалов часто не совпадает с реальностью.

Да, признаю, тема предназначена как раз для того, чтобы г-н Ильин задумался о последствиях нерегулярных и неоткрытых тестирований. Имидж наших продуктов от г-на Ильина и вправду очень страдает, т.к. его оценку свойств продуктов и аналитику (хорошо еще, что в основном - маркетинговую) слово в слово перепечатывают многие авторитетные издания.

А какая разница? Чтобы изменить устоявшуюся модель того, что нужно пользователям, в головах непрофессионалов (а журналисты IT-профессионалами не являются), нужны многие годы и тонны писем пользователей, желающих перемен. И движения крупных компаний.

1. Рыночная ниша sandbox HIPS- простые пользователи. Тот classical HIPS, который реализован в Agnitum- согласен, не для end-user.

2. Подавляющее большинство моих пользователей- домохозяйки. Процентов 90% примерно. Плюс "подопытные кролики", семья моих друзей (менеджер крупной сырьевой компании, домохозяйка + двое детей)- полёт нормальный. Кстати, вот ещё один типичный пример того, как работает устоявшаяся схема внутри человеческой головы- "я знаю, что мир такой потому, что я так думаю, а если реальность показывает, что это всё бред- тем хуже для реальности". Скучно, очень скучно...

1. Вполне для end-user, знаете ли. У него режим автообучения прекрасно работает, домохозяйка справится.

2. Пошли бы Вы по пути Safe'n'Sec или DiscWriteCopy (хотя это вроде бэкапщики)? Грустно, а не скучно - не заниматься продвижением на массовом рынке, когда есть что продвигать, но не умеете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
1. Вполне для end-user, знаете ли. У него режим автообучения прекрасно работает, домохозяйка справится.

;)

2. Пошли бы Вы по пути Safe'n'Sec или DiscWriteCopy (хотя это вроде бэкапщики)?

А что это за путь? Забашлять кучу баксов в рекламу и не отбить вложенное?

Грустно, а не скучно - не заниматься продвижением на массовом рынке, когда есть что продвигать, но не умеете.

А кто сказал, что я не занимаюсь продвижением продукта или не умею этого делать? Практически все публикации обзоров были пробиты потом и кровью лично мной. Но ключевое слово здесь- пробиты. Приходится убеждать и доказывать, что отнимает кучу времени и сил. Да и встаёт вопрос (у меня уже спрашивали на моём форуме)- а насколько хорош сам продукт в плане защиты? И тут я могу только развести руками- сравнительных тестов HIPS-ок нет, доказать с фактами и цифрами в руках ничего не могу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
А кто сказал, что я не занимаюсь продвижением продукта или не умею этого делать? Практически все публикации обзоров были пробиты потом и кровью лично мной. Но ключевое слово здесь- пробиты. Приходится убеждать и доказывать, что отнимает кучу времени и сил. Да и встаёт вопрос (у меня уже спрашивали на моём форуме)- а насколько хорош сам продукт в плане защиты? И тут я могу только развести руками- сравнительных тестов HIPS-ок нет, доказать с фактами и цифрами в руках ничего не могу.

Не удивили. Вообще любые сотрудники отдела маркетинга тоже пробивают публикации и связи потом и кровью, если бюджеты околонулевые особенно.

А что Вы лично на этом ресурсе делаете? Почему методологию теста HIPS не придумали еще и не провели под присмотром сонма экспертов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      ESET Online Scanner был обновлён до версии 4.0.1. Приложение теперь работает только в 64-разрядной ОС.
    • Ego Dekker
      ESET Cyber Security был обновлён до версии 9.0.6700.
    • AM_Bot
      Теория звучит убедительно, но работает ли она на практике? Мы внимательно изучили Phishman 2.35 и решили не останавливаться на описании её возможностей. Вместо этого протестировали платформу на собственных сотрудниках и удивились, к каким результатам это привело.      1. Введение2. Методология тестирования Phishman 2.353. Первичное тестирование3.1. Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылки3.2. Тестирование доставки и отражения результатов в статистике3.3. Результаты атак4. Обучение4.1. Формирование учебной группы4.2. Составление образовательной программы по повышению киберкультуры4.3. Процесс обучения и его результаты5. Повторное тестирование5.1. Результаты атак6. Подведение итогов6.1. Сложности, с которыми мы столкнулись7. Впечатления от проекта команды «АМ Медиа»7.1. Реакция сотрудников7.2. Реакция организаторов7.3. Сотрудничество с вендором8. ВыводыВведениеPhishman 2.35 — это система повышения осведомлённости пользователей в сфере ИБ. Она помогает развивать киберкультуру и формировать у сотрудников устойчивые навыки безопасной работы с информацией, цифровыми сервисами и корпоративными ресурсами. В процессе обучения сотрудники учатся распознавать актуальные сценарии атак, закрепляют правильные модели поведения и в результате реже становятся причиной инцидентов, связанных с человеческим фактором.В первой части обзора Phishman 2.35 мы рассмотрели платформу с точки зрения её возможностей. Теперь пришло время проверить, как всё это работает на практике. За время проекта мы не только оценили эффективность различных сценариев, но и столкнулись с рядом особенностей, которые невозможно увидеть в документации. Одни из них влияли на ход тестирования, другие оказались скорее организационными нюансами, о которых стоит знать заранее.Методология тестирования Phishman 2.35В процессе работы с киберкультурой «АМ Медиа» мы будем использовать следующие метрики:Обученность. Отражает уровень знаний сотрудников в области ИБ. Показатель растёт, когда сотрудники осваивают темы: реагирование на инциденты, защита от социальной инженерии и другие критически важные компетенции.Иммунность. Показывает, как сотрудники применяют знания на практике. Она повышается, когда демонстрируется способность распознавать угрозы и правильно на них реагировать в реальных сценариях.Киберосознанность — итоговая метрика. Объединяет знания и практические навыки, показывая, насколько сотрудники в целом устойчивы к киберугрозам и действуют корректно при их возникновении.Прежде чем оценивать эффективность работы системы, необходимо определить отправную точку. Первичное тестирование определит, на какие сценарии реагирует каждый сотрудник, где чаще всего допускаются ошибки и какие темы требуют дополнительного развития. На основе этих данных формируется индивидуальная программа обучения: сотрудники проходят персонализированные курсы, выполняют практические задания и тесты, которые помогают устранить выявленные пробелы и закрепить необходимые навыки. В процессе обучения повышается уровень обученности, а закрепление знаний через практику влияет на показатель иммунности. После завершения обучения мы проведём повторное тестирование, которое покажет, какие изменения произошли по всем ключевым метрикам.Заключительный этап — сравнение результатов первичного и повторного тестирования. Здесь станет понятно, насколько вырос уровень киберкультуры сотрудников: изменилось ли их отношение к вопросам ИБ, стали ли они увереннее распознавать угрозы и чаще принимать безопасные решения в ситуациях, где раньше могли допустить ошибку.В качестве основного канала для рассылки фишинга выбрали электронную почту. Причина очевидна: именно она остаётся основным способом первичного контакта злоумышленников с сотрудниками и доставки фишинговых сценариев. По имеющимся оценкам, более 90 % успешных кибератак начинаются с электронного письма, поэтому исключать этот канал из подобных проверок было бы некорректно.Первичное тестированиеРеальные фишинговые атаки почти никогда не строятся по универсальному шаблону: злоумышленники адаптируют содержание писем под роль человека в компании, его рабочие процессы и типовые задачи. Поэтому при выборе целевой аудитории мы разделили сотрудников по функциям и уровню доступа к корпоративным данным, а сам проект разбили на 3 последовательные волны с разным уровнем сложности.Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылкиПосле определения целевой аудитории был проведён анализ структуры подразделений и рабочих процессов сотрудников. На этом этапе изучались:должностные обязанности;распределение зон ответственности;характер внутреннего взаимодействия между отделами;используемые адреса электронной почты;формат повседневной служебной переписки.Это позволило понять, какие сценарии коммуникации являются для сотрудников привычными и не вызывают подозрений.На основе собранных данных были подготовлены сценарии фишинговых сообщений. При разработке содержимого учитывались тематика рабочих задач, стиль корпоративного общения, оформление внутренних уведомлений и типовые причины отправки писем внутри организации. Основная задача заключалась в том, чтобы письмо воспринималось как стандартное рабочее сообщение, соответствующее реальным бизнес-процессам заказчика.Волна 1. Первая волна была построена как массовый фишинг. Сценарий — сверка графика отпусков. Для атаки создавали и настраивали пользовательский шаблон. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки.На этом этапе проверялась базовая реакция сотрудников на привычные рабочие триггеры и способность распознавать типовые признаки фишинга без привязки к конкретному подразделению. Рисунок 1. Шаблон для первой волны Рисунок 2. Вид фишингового письма из первой волны в почте Волна 2. Для каждого отдела были подготовлены письма, основанные на реальных рабочих процессах, характерных запросах и ситуациях, с которыми сотрудники регулярно сталкиваются в своей деятельности. Для атаки создали и настроили пользовательский шаблон, где-то добавили немного визуального оформления. Время начала рассылки — по запланированному времени. Рисунок 3. Пример шаблона из второй волны для отдела «Продажи» Рисунок 4. Вид фишингового письма из второй волны для отдела «Продажи» Волна 3. Здесь моделировались уже более сложные сценарии целевого фишинга (spear phishing). В письмах использовались специальные формулировки, элементы корпоративного брендирования. На этом этапе проверялась не только внимательность сотрудников, но и способность замечать менее очевидные признаки атаки в условиях, максимально приближённых к реальной целевой компрометации.За основу брали системный брендированный шаблон «Яндекс ID», добавили фишинговую форму и скорректировали немного её содержание. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 5. Пример шаблона из третьей волны Рисунок 6. Вид фишингового письма из третьей волны При переходе по ссылке открывалась фишинговая страница. Рисунок 7. Фишинговая страница Тестирование доставки и отражения результатов в статистикеДалее была подготовлена инфраструктура рассылки. После её настройки проводилось тестирование доставки сообщений. Проверялась доставка писем во входящие сообщения почтовых клиентов, анализировалась реакция антиспам-механизмов в почте, а также контролировалась корректность работы механизмов отслеживания действий пользователей. Рисунок 8. Результаты тестирования доставки и отображения сообщений в почте Тестирование прошло успешно.После завершения проверки была сформирована последовательность отправки сообщений по заранее определённым волнам. Такой подход позволил распределить нагрузку, контролировать ход тестирования и отслеживать реакцию сотрудников на различных этапах проведения проверки. Рисунок 9. Активные мероприятия Результаты атакБыли получены следующие результаты:Иммунность — 81 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 71 %.Уровень риска — 8, средний. Устойчивость формируется, но есть ещё риски. Рисунок 10. Общая информация после проведения первичного тестирования Самый низкий уровень иммунности — около 50 %, после первых двух волн атак. Рисунок 11. График иммунности во время первичного тестирования Далее — сформировали в системе отчёт по скомпрометированности сотрудников, на основании которого выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Рисунок 12. Отчёт по скомпрометированности всех сотрудников в Phishman 2.35 Таблица 1. Результаты первичного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот04,76 %4,76 %Продажи04,76 %9,52 %Продюсеры 0023,8 %Редакция0019,04 %Руководитель000 ОбучениеПервичное тестирование завершено, поэтому следующим этапом стало определение группы риска и формирование программы обучения.Формирование учебной группыНа этапе отбора рассматривались два варианта формирования учебной группы. Первый предполагал использование показателя иммунности сотрудников. Второй вариант заключался в создании правила, автоматически формирующего список сотрудников, которые были скомпрометированы в ходе проведённых проверок. Этот подход позволял сразу получить выборку пользователей, продемонстрировавших наибольшую подверженность атакам, без ожидания обновления показателей.Был выбран второй вариант. На основании созданного правила была сформирована группа для обучения: в неё вошли люди, которые были скомпрометированы в ходе первичного тестирования. Рисунок 13. Создание правила для выявления группы риска Рисунок 14. Отчёт по отработанному правилу для выявления группы риска Отдельно была сформирована группа сотрудников, успешно распознавших фишинговую атаку, для участия в обучении, направленном на поддержание киберкультуры.Составление образовательной программы по повышению киберкультурыПопавшиеся сотрудники были включены в отдельную учебную группу, для которой сформировали персональную образовательную траекторию. В неё вошли 3 микрокурса по фишингу и 1 курс по информационной безопасности. Содержание траектории было направлено на повышение устойчивости к методам социальной инженерии и снижение вероятности компрометации учётных данных. Рисунок 15. Заполнение параметров обучения сотрудников Рисунок 16. Составление учебной программы Отдельно была запущена программа обучения для сотрудников, которые не попали в выборку по результатам правила.Процесс обучения и его результатыПервый отчёт мы сформировали через 2 дня после запуска обучения, что позволило получить предварительную оценку вовлечённости сотрудников. Анализ данных показал, что наибольшую активность на начальном этапе продемонстрировали сотрудники, которые попались на фишинг. Рисунок 17. Промежуточный анализ обучения Через неделю после запуска обучения провели повторный анализ прогресса, включая оценку прохождения курсов и выявление участников, не приступивших к обучению. Рисунок 18. Отчёт по динамике обучения в Phishman 2.35 Анализ показал, что часть сотрудников не завершила обучение в установленный срок. Для обеспечения максимального охвата было принято решение о продлении сроков прохождения курсов. Рисунок 19. Продление и корректировка процесса обучения В результате фактическая продолжительность обучения составила 2 недели, что превысило первоначально установленный срок в одну неделю. Но и этого времени не хватило нашим сотрудникам. Чтобы узнать, кто оказался более ответственным, воспользовались возможностями правил. Рисунок 20. Пример настройки правила по выявлению сотрудников, прошедших обучение В результате была получена информация о сотрудниках, полностью и частично прошедших обучение. Рисунок 21. Отчёт по сработанному правилу по выявлению сотрудников, прошедших обучение Рисунок 22. Отчёт по сработанному правилу по выявлению сотрудников, частично прошедших обучение Результаты обучения:полностью прошли обучение — 52 %;частично — 22 %;не прошли обучение — 26 %.Мы проанализировали список сотрудников, не приступивших к обучению, и выяснили, что это те, кто не попался на фишинг во время первичного тестирования.Среди сотрудников, которые попались на фишинг, 80 % прошли обучение, остальные — прошли его частично. Рисунок 23. Результаты обучения сотрудников «АМ Медиа» Вместе с тем за этот период были зафиксированы положительные изменения в ключевых показателях: уровень обученности достиг 9 319 баллов, а показатель киберосознанности — 7 561 баллов. Несмотря на положительную динамику, полученные значения оставались гораздо ниже целевых ориентиров, что свидетельствует о необходимости дальнейшей работы по повышению вовлечённости сотрудников и развитию киберкультуры.Повторное тестированиеПовторное тестирование проводилось по тем же этапам, что и первичное: подготовка шаблонов, тестирование и проведение атак. Как и на первом этапе, основной задачей было сделать письмо максимально похожим на стандартную рабочую переписку, соответствующую реальным бизнес-процессам нашей компании.Подготовительный этап повторного тестирования потребовал дополнительных временных затрат, связанных с регистрацией новых доменов и расширением сценариев атак с учётом результатов первичного тестирования.Волна 1. Сценарии формировались не только для отдельных подразделений, но и адресно для конкретных сотрудников, что позволило повысить реалистичность и точность имитации фишинговых атак. Запустили несколько атак, для каждой из них были разработаны индивидуальные шаблоны электронных писем и соответствующие фишинговые формы. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 24. Пример фишингового письма для первой волны Рисунок 25. Пример фишинговой формы для письма из первой волны Волна 2. Вторая волна представляла собой массовую фишинговую кампанию. Для неё был создан и настроен пользовательский шаблон, основанный на триггерах срочности и страхе финансовых потерь. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки. Рисунок 26. Пример фишингового письма для второй волны Тестирование доставки писем и корректности отражения результатов в статистике прошло успешно.Результаты атакВ повторном тестировании приняли участие уже 23 человека. Увеличение числа участников на 2 человека связано с подключением новых сотрудников к нашему эксперименту. Резких скачков иммунности здесь не наблюдалось. Рисунок 27. График иммунности во время повторного тестирования Для дополнительной оценки мы и здесь также выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Таблица 2. Результаты повторного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот000Продажи008,7 %Продюсеры 008,7 %Редакция8,7 %08,7 %Руководитель000 Мы также посмотрели, как себя показали сотрудники, которые не прошли обучение, в повторном фишинговом тесте. По данным отчёта, в первой волне повторного тестирования на фишинг попались 40% из всех, кто не обучался. Рисунок 28. Поиск информации о сотруднике в отчёте по атакам Подведение итогов После завершения всех этапов эксперимента мы получили следующие показатели:Иммунность — 76 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 91,3 %.Уровень риска — 7, средний. Рисунок 29. Информационная панель Phishman 2.35 после завершения эксперимента После обучения и повторного тестирования добавились другие показатели:Обученность — 11 / 100. Знания отсутствуют, обучение следует начать с базового уровня.Киберосознанность — 10 / 100. Низкий уровень, сотрудники не знают, как действовать в случае угроз.Часть результатов сравнили и представили их в таблице ниже. Таблица 3. Сравнение показателей киберкультуры до и после обученияПоказательДо обученияПосле обученияОбученность09319Иммунность81 %76 %Киберосознанность 07561Охват аудитории (повторно попались на фишинг)71 %91,3 %Уровень риска87 Также проанализировали действия сотрудников после обучения и сравнили их с результатами первичного тестирования. Таблица 4. Сравнение действий сотрудников до обучения и послеОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДо обученияПосле обученияДо обученияПосле обученияДо обученияПосле обученияДокументооборот004,76 %04,76 %0Продажи004,76 %09,52 %8,7 %Продюсеры 000023,8 %8,7 %Редакция08,7 %0019,04 %8,7 %Руководитель000000 Рисунок 30. Процент попавшихся на фишинг до обучения и после по отделам Если во время первичного тестирования попалось 22 % участников, то после обучения этот показатель уменьшился и стал 12 %. Рисунок 31. Общий процент попавшихся на фишинг до обучения и после Результаты повторного тестирования показали, что, несмотря на заметное снижение количества взаимодействий с фишинговыми письмами, часть сотрудников по-прежнему выполняет действия, свидетельствующие о подверженности атакам. Это ожидаемый результат, поскольку киберкультуру невозможно сформировать за столь короткое время. Речь идёт о длительном процессе, который требует регулярной работы как со стороны специалистов по информационной безопасности, так и со стороны самих сотрудников.Наш эксперимент позволил проверить знания сотрудников, провести обучение и затем оценить, насколько полученные знания закрепились на практике. Однако с точки зрения развития киберкультуры — это лишь один из этапов работы, а не её завершение.Сложности, с которыми мы столкнулисьОсобенность нашего эксперимента — организация предварительного тестирования. Перед запуском каждой атаки мы проверяли её работу на собственном аккаунте, чтобы убедиться в корректной отработке сценария на стороне пользователя. Такие проверки попадали в общую статистику системы и оказывали влияние на итоговые показатели. Возможность исключить подобные события из расчётов отсутствует. Согласно комментариям вендора, для этих целей следует использовать отдельный тестовый стенд. Поэтому мы вели дополнительно самостоятельный анализ результатов эксперимента.Отдельные сложности возникли на этапе обучения сотрудников. Завершить обучение в установленные сроки не удалось из-за человеческого фактора. Не все участники смогли своевременно пройти назначенные материалы, что потребовало увеличения периода обучения и дополнительного контроля за его прохождением.Впечатления от проекта команды «АМ Медиа»Проведение тестирования не вызвало негативной реакции со стороны сотрудников. Хотя фишинговые сообщения активно обсуждались внутри коллектива, жалоб руководству или недовольства вида «зачем вообще было устраивать такую проверку» не возникло. Основной интерес был сосредоточен вокруг самих писем и попыток понять, что именно происходит.Реакция сотрудниковОдним из самых любопытных наблюдений стала реакция сотрудников после первой волны первичного тестирования. Полученные фишинговые сообщения быстро стали предметом обсуждения: сотрудники пересылали их друг другу, задавали вопросы коллегам и пытались разобраться, что происходит.Некоторые пошли ещё дальше и вступали в переписку с отправителем, воспринимая фишинговые письма как реальные рабочие сообщения. Это наглядно показало не только убедительность используемых сценариев, но и то, что практическое столкновение с угрозой вовлекает сотрудников в тему ИБ гораздо сильнее, чем абстрактные примеры из учебных материалов. Во время повторного тестирования такой реакции уже не возникло.Реакция организаторовЕсли для большинства сотрудников тестирование выглядело как неожиданно появившиеся письма в почте, то для команды, которой было поручено тестирование Phishman 2.35 этот проект сопровождался совсем другими эмоциями. Подготовка сценариев, запуск атак и ожидание результатов вызывали ощутимое волнение. Оказалось, что смотреть на ситуацию глазами злоумышленника не так просто, как может показаться со стороны. Приходилось постоянно задавать себе вопросы: какой сценарий покажется правдоподобным, что привлечёт внимание сотрудника, а что, наоборот, вызовет подозрения.Самыми напряжёнными были дни первой волны тестирования. На этом этапе ещё не было понимания, как сотрудники отреагируют на рассылки, насколько убедительными окажутся сценарии и не вызовет ли проверка негативной реакции внутри коллектива. С каждой новой зафиксированной активностью интерес смешивался с тревогой, а результаты ожидались едва ли не с большим нетерпением, чем сам запуск кампании.После завершения эксперимента стало легче: всё задуманное удалось реализовать, результаты были получены и проанализированы. Тем не менее полностью избавиться от мыслей о проделанной работе не получилось. Время от времени возвращаешься к отдельным этапам и задаёшься вопросом: а стоило ли сделать именно так? Может быть, какой-то сценарий можно было построить иначе, а какие-то решения принять по-другому?Наверное, это естественная часть любого практического проекта. Когда работа заканчивается, появляется возможность посмотреть на неё со стороны и критически оценить собственные решения. Именно в такие моменты часто приходят идеи, которые помогают сделать следующие проекты лучше.Сотрудничество с вендоромВ ходе подготовки и проведения эксперимента иногда возникали вопросы, связанные с настройкой платформы, особенностями реализации отдельных сценариев и интерпретацией результатов. Для их решения использовались как переписка, так и рабочие созвоны. Запросы обрабатывались оперативно, что позволяло своевременно получать необходимую информацию и не допускать задержек в выполнении работ. Поддержка была доступна не только в рабочее время, но и в выходные дни.ВыводыПовторное тестирование показало, что тщательно подготовленные и персонализированные фишинговые атаки значительно эффективнее. При наличии качественной разведки злоумышленники способны подобрать убедительный сценарий практически для любого сотрудника. А если специалист может ошибиться, то сотруднику, который не занимается вопросами ИБ каждый день, сделать это ещё проще.Работа в сфере информационной безопасности или информационных технологий сама по себе не защищает человека от фишинга, социальной инженерии и других современных атак. Мы убедились в этом на собственном опыте: даже профильные знания не гарантируют, что человек не попадется на хорошо продуманную атаку. Злоумышленники постоянно меняют сценарии, поэтому знания, полученные однажды, быстро устаревают.При помощи эксперимента мы не только проверили, насколько сотрудники готовы распознавать атаки, но и поняли, как с помощью Phishman 2.35 можно сделать работу по развитию киберкультуры системной. Вместо отдельных курсов появился понятный цикл: смоделировать атаку, оценить реакцию, провести обучение и проверить, изменилось ли поведение участников. При необходимости — повторить или скорректировать процесс при помощи рекомендаций платформы. Результаты фиксируются автоматически, поэтому можно видеть, какие темы требуют больше внимания, и развивать киберкультуру на основе реальных данных, а не предположений.Читать далее
    • PR55.RP55
    • santy
      RP55, есть у тебя ТГ?
×