Тест персональных IDS/IPS на защиту от атак на уязвимые приложения (июнь 2012)

В конце прошлого года наш информационно-аналитический центр провёл тест на защиту фаерволов от внутренних атак. Однако, для полноты картины, мы считаем, что нужно провести ряд дополнительных тестов, чтобы составить полное представление о возможностях различных фаерволов. Одним из ключевых здесь, с нашей точки зрения, является тестирование модулей IDS/IPS (Intrusion Detection System, Intrusion Prevention System - система обнаружения и предотвращения вторжений) на защиту от внешних атак на уязвимые приложения.

Дело в том, что на данный момент персональный фаервол в классическом понимании этого слова уже не существует. Для эффективной защиты он включать в себя модуль IDS/IPS. Если он эффективно работает, то не имеет значение открытие того или иного протокола или порта, т.к. внешняя атака все равно будет обнаружена и ликвидирована данным модулем.

Основная задача IDS/IPS - отражение сетевых атак. Под сетевой атакой здесь понимается атака компьютера, совершаемая удаленно злоумышленником или вредоносной программой. Такие атаки могут производиться из Интернета или локальной сети для получения контроля над целевой системой, несанкционированного доступа к данным или вывода системы из строя на определенный период времени. Большинство внешних сетевых атак базируются на уязвимостях операционных систем, установленных прикладных программ, протоколов или их реализаций.

Цель данного теста – показать способность IDS/IPS противостоять внешним атакам на уязвимости в операционной системе и прикладных программах. В ходе данного тестирования на уязвимую систему проводились внешние атаки при помощи различных эксплойтов. Следует отметить, что в тесте исследовались только такие атаки, при которых атака производится в пассивном режиме, т.е. в ситуации, когда пользователь не совершает никаких активных действий (не открывает файлы или веб-страницы, не скачивает данные и т.д.).

Важно отметить, что данный тест нельзя рассматривать как комплексный тест фаерволом на защиту от всех внешних атак, которых, безусловно, гораздо больше.

Методология проведения теста
Анализ результатов теста и награды

Оглавление:

- Введение
- Проверка IDS/IPS на защиту от атак типа Remote Code Execution
- Сравнение качества защиты на стандартных и максимальных настройках
- Проверка IDS/IPS на защиту от внешних DoS-атак
- Сканирование портов
- Итоговые результаты теста и награды
- Комментарии партнеров Anti-Malware.ru

 


Введение

В тестировании принимала участие 21 популярная программа комплексной защиты (класса Internet Security, если в линейке нет, то выбирался сугубо фаервол) от различных производителей актуальных на дату начала тестирования версий продуктов (апрель 2012) и работающих на платформе Windows XP SP3:

 

Тестируемые антивирусные продукты и их версии

Продукт Версия
Avast! Internet Security 7 7.0.1426
AVG Internet Security 2012 2012.0.2127
Avira Internet Security 2012 12.0.0.860
BitDefender Internet Security 2012 15.0.38.1605
Comodo Internet Security 2012 5.10.228257.2253
Dr.Web Security Space 7 7.0.0.10140
Eset Smart Security 5 5.0.95.0
F-Secure Internet Security 2012 1.49 build 439
G DATA Internet Security 2012 22.0.9.1
Jetico Personal Firewall 2.1.0.10.2458
Kaspersky Internet Security 2012 12.0.0.374 (h)
McAfee Internet Security 2012 11.0.669
Microsoft Security Essentials + Windows Firewall 2.1.1116.0
Norton Internet Security 2012 19.1.0.28
Online Armor Premium Firewall 5.5.0.1557
Online Solutions Security Suite 1.5.15307.0
Outpost Security Suite Pro 7.52 (3939.602.1809)
Panda Internet Security 2012 17.01.00
PC Tools Internet Security 2012 2012 (9.0.0.1218)
Trend Micro Titanium Internet Security 2012 5.2.1035
ZoneAlarm Internet Security Suite 10.1.079.000

 

Для тестирования использовалась WindowsXP SP3 без последних обновлений. Обновления не ставились для того, чтобы смоделировать систему с не закрытыми уязвимостями и проверить работу продуктов в условиях, максимально приближённых к реальным.

Перед тестом было проверено, что все используемые атаки успешно проходят и что все атаки отражаются при установке последних обновлений операционной системы или стороннего программного обеспечения.

Тестирование производилось на двух типах настроек: рекомендуемых производителем стандартных (настройки по умолчания) и максимальных.

В первом случае использовались рекомендуемые производителей настройки по умолчанию и производились все рекомендуемые программой действия.

Во втором случае все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту.

Согласно методологии в тесте использовались два типа сетевых атак:

  1. DoS-атака (атака типа «отказ в обслуживании», от англ. DenialofService) — атака на вычислительную систему с целью доведения её до отказа.
  2. Remote Code Execution (удалённое выполнение кода) данный вид атаки заключается в использовании уязвимости целевой машины для выполнения на ней произвольного кода.

Также проводилось сканирование портов атакуемого компьютера и проверка того, что антивирусные продукты обнаруживают это сканирование.

Подробное описание всех методов атак, используемых в тесте, вы можете найти в методологии тестирования.

 

Проверка IDS/IPS на защиту от атак Remote Code Execution

Согласно методологии для тестирования IDS/IPS использовалось 10 атак типа Remote Code Execution, использующих различные уязвимости в операционной системе и прикладном программном обеспечении (подробные результаты по каждому из них можно посмотреть в отчете в формате Excel). Критерии начисления баллов приведены в схеме награждения, при этом максимальное количество набранных баллов в данном тесте составило 17.

В таблицах 1, 2 и на рисунках 1, 2 представлены результаты тестирования IDS/IPS отдельно на стандартных и максимальных настройках.

 

Таблица 1. Результаты теста IDS/IPS от атак типа Remote Code Execution на стандартных настройках

Протестированный продукт Стандартные настройки
Баллы % от суммы
Kaspersky 16 94%
Norton 14 82%
McAfee 12 71%
Comodo 11 65%
Trend Micro* 10 59%
Avast 10 59%
Avira 10 59%
Dr.Web 10 59%
Eset 10 59%
BitDefender 8 47%
F-Secure 7 41%
Microsoft 7 41%
OnlineSolutions 7 41%
AVG 6 35%
G DATA 6 35%
Jetico 6 35%
Outpost 6 35%
Panda 6 35%
PC Tools 6 35%
ZoneAlarm 5 29%
OnlineArmor 4,5 26%

 

Рисунок 1. Результаты теста IDS/IPS от атак типа Remote Code Execution на стандартных настройках

Результаты теста IDS/IPS от атак типа Remote Code Execution на стандартных настройках

 

* Для Trend Micro было воспроизведено на одну атаку меньше, чем для всех остальных продуктов, т.к. данный продукт не совместим с IE6, используемым одним из эксплойтов. Следовательно, результат рассчитывается, исходя из максимума в 15 баллов, а не в 17.

Как мы видим на рисунке 1, защита от внешних атак у большинства IDS/IPS на рекомендуемых производителем настройках оставляет желать лучшего. Всего два продукта смогли преодолеть барьер 80% со стандартными настройками, среди них Kaspersky и Norton. Еще два продукта – McAfee (71%) и Comodo (65%) ближе всего подбираются к лидерам. Только эти четверо из протестированных продуктов смогли отразить более половины внешних атак.

Еще одну группу составляют продукты Trend Micro, Avast, Avira, Dr.Web, Eset и BitDefender, которые смогли отразить примерно половину всех атак и получили от 47% до 59%. В основном они смогли предотвратить только несколько нашумевших видов атак с использованием таких уязвимостей как Stuxnet Print Spooler (MS10-06,) Shell LNK (MS10-046),  SMB Relay (MS08-068), а также IE DHTML Behaviors Use After Free (MS09-001) и Microsoft DirectShow MPEG-2 Memory Corruption (MS09-032).

Остальные продукты отразили менее 4 атак.

 

Таблица 2. Результаты теста IDS/IPS от атак типа Remote Code Execution на максимальных настройках

Протестированный продукт Максимальные настройки
Баллы   % от суммы
Kaspersky 16 94%
Norton 14 82%
McAfee 12 71%
Comodo 12 71%
Trend Micro* 10 67%
Avast 10 59%
Avira 10 59%
Dr.Web 10 59%
Eset 10 59%
G DATA 10 59%
Panda 10 59%
PC Tools 10 59%
AVG 8 47%
BitDefender 8 47%
ZoneAlarm 8 47%
F-Secure 7 41%
Microsoft 7 41%
OnlineSolutions 7 41%
Jetico 6 35%
Outpost 6 35%
OnlineArmor 4,5 26%

 

Рисунок 2. Результаты теста IDS/IPS от атак типа Remote Code Execution на максимальных настройках

Результаты теста IDS/IPS от атак типа Remote Code Execution на максимальных настройках

 

* Для Trend Micro было воспроизведено на одну атаку меньше, чем для всех остальных продуктов, т.к. данный продукт не совместим с IE6, используемым одним из эксплойтов. Следовательно, результат рассчитывается, исходя из максимума в 15 баллов, а не в 17.

Как видно из результатов, при включении максимальных настроек качество защиты от внешних атак у многих протестированных продуктов не изменилось.

Здесь очень важно отметить, что некоторые протестированные продукты не имеют настроек, которые каким-либо образом могли бы повлиять на качество работы сетевых IDS/IPS на результаты нашего теста. Поэтому, результаты 13 из 21 продуктов на стандартных и максимальных настройках оказались одинаковыми.

 

Сравнение качества защиты на стандартных и максимальных настройках

Исходя из методологии теста, суммирование или усреднение результатов одного и того же продукта с различными настройками не производится. Полученные по одному продукту на разных настройках результаты сравниваются между собой.

Для наглядности итоговые результаты теста IDS/IPS со стандартными и максимальными настройками были объединены и в таблице 3, и на рисунке 3.

 

Таблица 3. Сводные результаты теста IDS/IPS на стандартных и максимальных настройках

Продукт Стандартные настройки Максимальные настройки
Kaspersky 94% 94%
Norton 82% 82%
McAfee 71% 71%
Comodo 65% 71%
Trend Micro* 59% 67%
Avast 59% 59%
Avira 59% 59%
Dr.Web 59% 59%
Eset 59% 59%
G DATA 35% 59%
Panda 35% 59%
PC Tools 35% 59%
AVG 35% 47%
BitDefender 47% 47%
ZoneAlarm 29% 47%
F-Secure 41% 41%
Microsoft 41% 41%
OnlineSolutions 41% 41%
Jetico 35% 35%
Outpost 35% 35%
OnlineArmor 26% 26%

 

Рисунок 3. Сводные результаты теста IDS/IPS на стандартных и максимальных настройках

Сводные результаты теста IDS/IPS на стандартных и максимальных настройках

 

Представленные данные показывают, что только у 8 продуктов из 21 выявлены различия на стандартных и максимальных настройках. Для таких продуктов, как Comodo, Trend Micro, G DATA, Panda, PC Tools, AVG, ZoneAlarm использование максимальных настроек позволяет увеличить количество блокируемых атак. Особенно заметно это влияние для продуктов G DATA, Panda и PC Tools, у которых разница составляет 24%. Это говорит о том, что на максимальных настройках продукты блокирует на 2 внешние атаки больше, чем на стандартных настройках. Максимальные настройки всех продуктов можно посмотреть, скачав архив arhiv.zip.

У остальных продуктов либо нет настроек для увеличения уровня защиты (например, Online Armor, Online Solutions, Jetico, Avast и т.д.), либо их изменение не приводит к увеличению эффективности отражения внешних атак.

 

Проверка IDS/IPS на защиту от внешних DoS-атак

Согласно методологии для тестирования IDS/IPS использовалось 6 атак DoS-атак, воспроизводящих различные уязвимости в операционной системе и прикладном программном обеспечении  (подробные результаты по каждому из них можно посмотреть в отчете в формате Excel). Результаты тестирования IDS/IPS на отражение DoS-атак представлены в таблице 4.

 

Таблица 4. Сводные результаты защиты IDS/IPS от DoS-атак

Продукт SRV.SYS Pool Overflow Windows Media Player 11 EOT Font Table Directory Doom 3 Battlefield 1942 putty 0.60
Avast - - - - - -
AVG - - - - - -
Avira - - - - - -
BitDefender - - - - - -
Comodo - - - - - -
Dr.Web - - - - - -
Eset - - - - - -
F-Secure - - - - - -
G DATA - - - - - -
Jetico - - - - - -
Kaspersky - - - + - -
McAfee - - - - - -
Microsoft - - - - - -
Norton - - + - - -
Online Armor - - - - - -
Online Solutions - - - - - -
Outpost - - - - - -
Panda - - - - - -
PC Tools - - - - - -
Trend Micro - - - - - -
ZoneAlarm - - - - - -

 

Из воспроизводимых в тесте шести DoS-атак по одному разу были отражены только две атаки. Kaspersky смог отразить «Doom 3 engine format-string vulnerability», а Norton – «Microsoft Windows EOT Font Table Directory Integer Overflow». Остальные DoS-атаки не смог отразить ни один продукт. Данные результаты могут быть вызваны двумя причинами – большой сложностью данных атак в связи с использованием в уязвимостях, специфичных программных механизмов или отнесением производителями данных атак к угрозам, которые не могут причинить большой вред пользователям.

Так как защита от DoS-атак не является ключевым направлением для персональных продуктов защиты, что было наглядно продемонстрировано в данном тесте, то награды по данной категории не вручались.

 

Сканирование портов

Также в рамках тестирования проводилось сканирование портов компьютера и проверялось – обнаруживает ли это IDS/IPS. Результаты теста представлены в таблице 5.

 

Таблица 5. Результаты обнаружения сканирования портов

Продукт Port Scan
Avast -
AVG +
Avira +
BitDefender +
Comodo -
Dr.Web -
Eset +
F-Secure -
G DATA +
Jetico -
Kaspersky +
McAfee -
Microsoft -
Norton -
Online Armor -
Online Solutions -
Outpost +
Panda +
PC Tools -
Trend Micro -
ZoneAlarm -

 

К большому удивлению, только восемь продуктов смогли обнаружить сканирование портов. К ним относятся такие продукты, как AVG, Avira, BitDefender, Eset, GDATA, Kaspersky, Outpost и Panda. Так как сканирование само по себе не является атакой и не представляет опасности для компьютера, то данные результаты не включались в итоговую оценку.

 

Итоговые результаты теста и награды

Так же, как и в тесте на фаерволов на защиту внутренних атак, было принято решение не усреднять результаты одного и того же продукта с различными настройками, а рассматривать их независимо друг от друга. Таким образом, каждый из протестированных продуктов может получить две награды, по одной на каждом виде настроек.

В соответствии со схемой награждения лучшие IDS/IPS получают награды с указанием использованных при этом настроек, см. таблицу 6.

 

Таблица 6. Итоговые результаты теста IDS/IPS на стандартных и максимальных настройках

Тестируемый продукт Вариант
настроек
Предотвращение атак [%] Награда
Kaspersky Standard/Max 94%  

Gold Personal IDS/IPS Award
Gold Personal IDS/IPS Award

Norton Standard/Max 82%
Comodo Max 71%  

Silver Personal IDS/IPS Award
Silver Personal IDS/IPS Award

McAfee Standard/Max 71%
Trend Micro* Max 67%
Comodo Standard 65%
Avast Standard/Max 59%  

Bronze Personal IDS/IPS Award
Bronze Personal IDS/IPS Award

Avira Standard/Max 59%
Dr.Web Standard/Max 59%
Eset Standard/Max 59%
G DATA Max 59%
Panda Max 59%
PC Tools Max 59%
Trend Micro* Standard 59%
AVG Max 47%
BitDefender Standard/Max 47%
ZoneAlarm Max 47%
F-Secure Standard/Max 41%

Нет награды

Microsoft Standard/Max 41%
Online Solutions Standard/Max 41%
AVG Standard 35%
G DATA Standard 35%
Jetico Standard/Max 35%
Outpost Standard/Max 35%
Panda Standard 35%
PC Tools Standard 35%
ZoneAlarm Standard 29%
Online Armor Standard/Max 26%

 

Т.к. ни один из тестируемых продуктов не смог отразить все 10 используемых атак, награда Platinum Personal IDS/IPS Award остаётся без присвоения.

Лучше результаты показали продукты Kaspersky и Norton, набравшие 94% и 82% соответственно как на стандартных, так и на максимальных настройках. Kaspersky смог отразить 9 атак из 10, а Norton - 7 атак из 10. Эти два продукта получают награду Gold Personal IDS/IPS Award

Хорошие результат показали продукты Comodo, McAfee и Trend Micro. Они набирают от 65% до 80% и получают награду Silver Personal IDS/IPS Award. При этом только Trend Micro показал данные результаты на максимальных настройках, Comodo и McAfee получают данную награду для всех типов настроек.

Бронзовые награды Bronze Personal IDS/IPS Award получили такие продукты, как Avast, Avira, Dr.Web, Eset, G Data, Panda, PC Tools, Trend Micro (стандартные настройки), AVG, BitDefenderи ZoneAlarm. Их результаты попали в диапазон от 45% до 65%. Часть продуктов получила данные результаты только на максимальных настройках.

Ознакомиться с подробными результатами теста и итоговых расчетов, вы можете, скачав результаты теста в формате Microsoft Excel.

 

Шабанов Илья, управляющий партнер Anti-Malware.ru:

«О наличии в составе своих хостовых продуктов системы обнаружения и предотвращения вторжений IDS/ IPS рассказывают все уважаемые себя производителя. Однако, их реальная эффективность и необходимость оставалась неизвестной. Этим тестом мы хотели на простейших примерах отделить реально работающие хостовые IDS/ IPS от «маркетинговых пустышек», где этот модуль числится только для галочки.

Результаты теста оказались для нас, во многом, неожиданными. Заметно лучше с ним справились те вендоры, которые имеют большую экспертизу в антивирусной сфере и создании IDS/ IPS корпоративного класса. Но в целом по индустрии результаты совсем не радуют. Совсем печально обстоят дела с защитой от DoS-атак – полный провал. Видимо, производители не считают это весомой угрозой и не стремятся от нее защищать.

Ключевым же выводом из теста, с моей точки зрения, является то, что практически ни один персональный IDS/ IPS не способен надежно закрыть собой дыры в системе, которые могут быть использованы злоумышленниками. И панацеей от таких атак сейчас является только своевременная установка всех обновлений!»


Картавенко Михаил, руководитель тестовой лаборатории Anti-Malware.ru:

«Тестирование IDS/IPS на защиту от атак на уязвимые приложения проводится Anti-Malware в первый раз, поэтому результаты теста не только дали ответ на вопрос об эффективности тестируемой защиты, но и породили ряд новых вопросов.

Во-первых, тестируемые продукты не отражали DoS-атаки. Только два продукта – Norton и Kaspersky отразили по одной атаке данного типа. Причиной такого поведения может быть либо использование в каждой атаке специфических программных механизмов, которые сложно отловить, либо восприятие атак данного типа как неопасных. Во-вторых, многие продукты не справились с достаточно старыми и известными атаками, такими как «NETAPI». В-третьих, не всех продукты обнаруживают, что производится сканирование портов.

Следует отметить, что все используемые уязвимости «закрываются» при установке последних обновлений для операционной системы и установке приложений с закрытыми уязвимостями. Однако, это не снимает с IDS/IPS «обязанность» отражать данные атаки, т.к. важен не сам факт отражения атаки, а возможность обнаруживать использование типичных программных механизмов для совершения атаки.

В целом порадовали результаты Kaspersky, Norton, Comodo и McAfee, показавшие на фоне всей выборки достойные результаты».

 

Валерий Ледовской, эксперт Anti-Malware.ru:

«Тесты персональных фаерволов должны стать неотъемлемой частью тестирования комплексных продуктов, ориентированных на обеспечение информационной безопасности. В настоящее время наблюдается дефицит подобных тестирований. Методологии на данный момент неоднозначно воспринимаются производителями, но и общего представления о том, какой должен быть персональный фаервол, какими функциями должен обладать, на данный момент тоже нет. Тестирование одной из составляющих функциональности персональных фаерволов, а именно, системы обнаружения вторжений (так называемая IDS), представленное в данном тесте, по крайней мере, покрывает ту часть функциональности персональных фаерволов, которая однозначно должна в них присутствовать. И даёт понять пользователям, что если фаервол может перекрывать входящий трафик через какие-то порты или трафик, проходящий через определённый список приложений, то это не значит, что фаервол сработает при попытке вредоносной программы использовать ту или иную уязвимость, с помощью которой можно проникнуть в систему и перехватить управление ею. Собственно, в этом основная ценность теста. Конечно, некоторые из представленных в тестировании эксплойтов сработают лишь при использовании устаревших версий браузеров. Но, во-первых, число таких кейсов в данном тестов невелико, а, во-вторых, пользователи и сейчас подчас используют настолько устаревшее ПО, что подчас удивительно, как они умудряются каждый день пользоваться возможностями Интернета и не понести никакого ущерба от воздействия вредоносных программ».

 

Комментарии партнеров Anti-Malware.ru


Олег Адрианов, менеджер по сертификации продуктов «Лаборатории Касперского»

«Компьютеры большинства пользователей практически постоянно подключены к сети, поэтому надежное блокирование сетевых атак является одной из ключевых задач для универсальных защитных решений, таких как Kaspersky Internet Security. Тестирование Anti-Malware.ru доказывает, что продукт «Лаборатории Касперского» по данному критерию является безусловным лидером, и способен блокировать большинство наиболее серьезных сетевых угроз, обеспечивающих возможность запуска вредоносного кода. Нельзя не обратить внимание и на то, что 12 участников тестирования не смогли достичь даже среднего показателя в 55%. Это лишний раз показывает, что по-настоящему качественное решение должно обеспечивать максимальную защиту пользователя «по всем фронтам», а не только по какому-либо одному направлению.»

 

Благодарности

Информационно-аналитический центр Anti-Malware.ru благодарит компанию Esage Lab за помощь в подготовке и проведении теста!


Авторы: 
Картавенко Михаил
Пушкарев Олег
Вартанян Владимир
Шабанов Илья

ВложениеРазмер
Office spreadsheet icon Personal_IPS_IDS_test_results_2012.xls89 КБ

Присоединяйтесь к нам!

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.