Тест фаерволов на защиту от внутренних атак II

[priv8v 960]

Ага, и судя по методологии первые места займут тупорылые алертилки типа Jetico...

[Сергей Ильин 1538]

Опубликовали!

Тест фаерволов на защиту от внутренних атак (июль 2013)

http://www.anti-malware.ru/firewall_test_o...protection_2013

Ага, и судя по методологии первые места займут тупорылые алертилки типа Jetico...

Не совсем так. Если же Comodo и Online Armor, а теперь еще и BitDefender

[SDA 750]

Я чего то непонял, а где в Microsoft Security Essentials фаервол?

[amid525 67]

Комодо - как всегда подтвердил, что лучший файервол и защита, И среди платных конкурентов..

[mcomodo 17]

Комодо - как всегда подтвердил, что лучший файервол и защита

Помешались все на этом продукте

[Сергей Ильин 1538]

Большое спасибо Kartavenko M.V. за проделанную работу! Тест получился сложный и длительный по времени. Но все получилось, результаты интересные и во многом показательные.

[priv8v 960]

1.

Некий продукт Х на максимальных настройках самозащитой молча залочил атаки на него, а на ВСЮ подозрительную деятельность в системе (аля запуск браузера, использование отложенного перемещения файлов и т.д) выдал алерты - "барин, что делать?" или молча залочил.

Некий продукт Y на максимальных настройках самозащитой молча залочил атаки на него, а бОльшую часть подозрительной деятельности в системе (аля запуск браузера, использование отложенного перемещения файлов и т.д) МОЛЧА залочил, на что-то алертнул, а что-то ПРОВАЛИЛ.

Но продукт Y занял место выше, чем X. Почему? Что тут было протестировано? Наличие в гуи-интерфейсе кнопки "залочить всю подозрительную активность"?

2.

Некий продукт X на дефолтных настройках МОЛЧА злочил все способы что-то зашедулить, а продукт Y выдал алерт. Итого продукт Х молодец набрал на этих кейсах в два раза больше баллов. А может с него наоборот их снять нужно за молчаливую блокировку? У большинства админов очень многое на тасках держится. Знаете как выиграть данный тест? Просто молча все лочить на дефолтных настройках, по барабану, что работать юзер нормально тогда не сможет, зато тест будет пройден!

3.

Дефолтные настройки в реальной жизни, а не на лик-тестах работают несколько иначе. Допустим, некий продукт Х является тупой алертилкой и все алертит или запрещает (не важно системный это процесс делает, подписанная чуть ли не лично Биллом Гейтсом нека тулза или зловред), а какой-то продукт несет на борту эмулятор, облако, базу чистых, эвристик и т.д и алертит или запрещает реально в нужных случаях.

В данном контексте тупая алертилка залочила запуск браузера (например), а умный продукт разрешил, т.к знает, что это не самое опасное действо в системе и проэмулил, что ничего опасного данный лик-тест больше не делает.

PS: см. ЛС

[SDA 750]

Что имеется ввиду, максимальные настройки касательно Брандмауэра Windows? в режиме повышенной безопасности? Если да, там много всего, больше подходит настройки на Локальный компьютер. Для каких профилей (Профиль домена, Частный профиль и Общий профиль)? Настроки IPsec?

Это к тому, что в зависимости от настройки, результаты прохождение теста могут быть разные, хотя они скрываются в общей фразе - максимальные настройки

Для Брандмауэра Windows это (максимальные настройки) в рамках теста можно трактовать, как угодно и с какими угодно результатами.

Для информации- настройка http://www.oszone.net/5202

[Сергей Ильин 1538]

Могу ответить по данному пункту:

2.

Некий продукт X на дефолтных настройках МОЛЧА злочил все способы что-то зашедулить, а продукт Y выдал алерт. Итого продукт Х молодец набрал на этих кейсах в два раза больше баллов. А может с него наоборот их снять нужно за молчаливую блокировку? У большинства админов очень многое на тасках держится. Знаете как выиграть данный тест? Просто молча все лочить на дефолтных настройках, по барабану, что работать юзер нормально тогда не сможет, зато тест будет пройден!

Тут дело не только в том чтобы молча залочить, а чтобы при этом все работало. Именно поэтому многие ослабляют настройки по умолчанию, чтобы юзер не обрывал телефонные линии в техсаппорт со жалобами на неработающие программы. Но это компромисс от бедности. Логика работы защиты должна быть более сложная, когда принимается решения на основании контекста события. Это сложнее реализовать и протестированить, гораздо проще сыпать алертами и пусть весь мир отдохнет, пользователя не жалко, пусть за одно видит как система классно работает, думает о его безопасности, советуется

3.

Дефолтные настройки в реальной жизни, а не на лик-тестах работают несколько иначе. Допустим, некий продукт Х является тупой алертилкой и все алертит или запрещает (не важно системный это процесс делает, подписанная чуть ли не лично Биллом Гейтсом нека тулза или зловред), а какой-то продукт несет на борту эмулятор, облако, базу чистых, эвристик и т.д и алертит или запрещает реально в нужных случаях.

В данном контексте тупая алертилка залочила запуск браузера (например), а умный продукт разрешил, т.к знает, что это не самое опасное действо в системе и проэмулил, что ничего опасного данный лик-тест больше не делает.

Очень сложная конструкция получается. Слабо верится, что какие-то продукты из протестированные специально пропустили часть атак, поняв что это всего лишь тестовые тулзени. Практика показывается, что они в этом случае наоборот должны все блокировать. Все же хотят в тестах быть лучше всего. Кстати, коммент Илья Рабиновича к тесту как раз в эту тему. Он высказал предположение, почему на максимальных настройках кое-кто поднимается до уровня 100% - заточка под тесты Матюшека.

[priv8v 960]

Это сложнее реализовать и протестированить, гораздо проще сыпать алертами и пусть весь мир отдохнет, пользователя не жалко, пусть за одно видит как система классно работает, думает о его безопасности, советуется

вот именно такой продукт и победит в тесте на дефолтных настройках - кто больше всех залочит молча или спросит, а не тот, кто пропустит действия (разрешит) исходя из контекста (просто тупой запуск браузера с параметром).

[vaber 350]

Логика работы защиты должна быть более сложная, когда принимается решения на основании контекста события. Это сложнее реализовать и протестированить

Кстати, коммент Илья Рабиновича к тесту как раз в эту тему. Он высказал предположение, почему на максимальных настройках кое-кто поднимается до уровня 100% - заточка под тесты Матюшека.

С обоими соглашусь. Обсолютное большинство протестированных продуктов не имеет какой-либо сложной логики в принятии решений. Либо тупо алертят на все что движется либо заносят в седбокс (А заносят они туда очень многое, достаточно быть не сильно распространенным, без подписи.). Или все вместе

Поэтому такие продукты не могут массово использоваться, обычно их используют гики, помешанные на безопасности своего ПК. Большое кол-во алертов на работу системы и приложений доставляет им удовольствие)

И да, в данном тестировании большая часть методов, вероятно, аналогична тестам Матюшека.

Так же на макс настройках, интересно было бы узнать, какие алерты у кого были на срабатывание ликтеста. Т.к. есть подозрения, что некоторые продукты могли выдавать алерт не на сосбтвенно саму технику, важные для ее выполнения API, а на что-то сторонне. Типа приложение пытается запустить на исполнение такой то файл, пытается загрузить в память такую-то длл, пытается прочесть файл, прочитать значение параметра). Этого набора уже будет достаточно, чтобы иметь 100% результат в тесте. А чтобы было более красиво - можно еще проверять подпись и сделать облачко, где будут хеши файлов из топ100 приложений download.com и т.п.

З.Ы. А тест на "ложные срабатывания" будет? То есть алерты или молчаливая блокировка работы различных утилит.

И еще вопрос к тестерам, вот гляжу на Norton - исходя из таблицы, нортон блокировал загрузку драйвера без лишних вопросов (SCM, NtLoadDriver) на стандартных настройках. Это действительно так?!!

[Razboynik 105]

В тексте, есть опечатка: "представлено в таблице 3 и на рисунке 3" перед таблицей 4 и рисунком 4.

----

priv8v, те продукты которые алертят - пользователь может либо запретить, либо разрешить, т.е. 50/50 или оценка 0.5. А если учесть что большинство пользователей (во всяком случае гораздо больше 50%) являются чайниками в этом деле, то многие просто будут разрешать. Исходя из вашей логики, давайте посмотрим другую крайность - с учетом, что большинство пользователей чайники можно было за любой алерт ставить оценку 0, ибо пользователи не профессионалы и разрешают.

У большинства админов очень многое на тасках держится.

Тестировались продукты для домашнего пользователя, а не для админов. Для админов есть корпоративные продукты, или он сам может подобрать себе не массовый продукт, а специфический под свои задачи.

[priv8v 960]

Исходя из вашей логики, давайте посмотрим другую крайность - с учетом, что большинство пользователей чайники можно было за любой алерт ставить оценку 0, ибо пользователи не профессионалы и разрешают.

Нет, моя логика не такая. Про пользователей чайников знаю. Потому и писал про то, что нормальные комплексы несут на борту кроме возможности алертить еще много чего - они поймут в какой ситуации нужно алертить, в какой подавлять, в какой разрешать. Потому считаю имеет смысл лишь тест на максимальных настройках - для того чтобы показать что вообще МОЖЕТ продукт. Проще говоря, какие хуки у него есть, а каких нет.

А тест на дефолтных настройках должен быть связкой двух тестов - лик-тестов и легальных приложений - посмотреть как будет вести себя продукт - что запрещать, что алертить, что разрешать - за запрещение нормальной активности снимать баллы. Т.е наглядно показать в циферном эквиваленте тупые алертилки.

[Aviralover 10]

Спасибо за тест. Очень его ждал. Очередной раз убедился, что Комодо Матоусека не по(д)купал.

[Kartavenko M.V. 34]

З.Ы. А тест на "ложные срабатывания" будет? То есть алерты или молчаливая блокировка работы различных утилит.

И еще вопрос к тестерам, вот гляжу на Norton - исходя из таблицы, нортон блокировал загрузку драйвера без лишних вопросов (SCM, NtLoadDriver) на стандартных настройках. Это действительно так?!!

Тест был достаточно большой. 21 продукт * 64 метода * 2 типа настроек = 2688 атак. Были учтено много замечаний и пожеланий, которые были после первого такого теста. Собственно тест можно расширять практически в любую сторону. Главное чтоб времени и ресурсов хватило.

Мне кажется добавить тестирование на ложные срабатывания это хорошая идея. В следующем тесте это можно сделать, при том, что это должно быть не слишком сложно и трудоемко.

Если будет аналогичный тест под Win7 х64, в нем можно будет это сделать.

Norton - так точно, именно это и написано в таблице.

Нет, моя логика не такая. Про пользователей чайников знаю. Потому и писал про то, что нормальные комплексы несут на борту кроме возможности алертить еще много чего - они поймут в какой ситуации нужно алертить, в какой подавлять, в какой разрешать. Потому считаю имеет смысл лишь тест на максимальных настройках - для того чтобы показать что вообще МОЖЕТ продукт. Проще говоря, какие хуки у него есть, а каких нет.

А тест на дефолтных настройках должен быть связкой двух тестов - лик-тестов и легальных приложений - посмотреть как будет вести себя продукт - что запрещать, что алертить, что разрешать - за запрещение нормальной активности снимать баллы. Т.е наглядно показать в циферном эквиваленте тупые алертилки.

Стандартные настройки, ИХМО, тоже нужно тестировать. Ведь большинство пользователей в реальной жизни вряд ли занимаются изменением настроек. Хотя тут Вы правы, проверка на запуск легальных приложений может показать продукты, которые валят всех. Думаю к следующему тесту это учтем.

[Виталий Я. 859]

Как ни странно, опыт показывает, что тесты фаерволов - самые неудачные у любого тестлаба.

Просто потому, что концепция утечки и пользовательских решений - настолько спорная...

[Killer 55]

Спасибо за тест, интересно было посмотреть

[Kartavenko M.V. 34]

Что имеется ввиду, максимальные настройки касательно Брандмауэра Windows? в режиме повышенной безопасности? Если да, там много всего, больше подходит настройки на Локальный компьютер. Для каких профилей (Профиль домена, Частный профиль и Общий профиль)? Настроки IPsec?

Это к тому, что в зависимости от настройки, результаты прохождение теста могут быть разные, хотя они скрываются в общей фразе - максимальные настройки

Для Брандмауэра Windows это (максимальные настройки) в рамках теста можно трактовать, как угодно и с какими угодно результатами.

Для информации- настройка http://www.oszone.net/5202

В отчете по тесту написано:

"... некоторые из протестированных продуктов вовсе не имеет настроек, которые каким-либо образом могли бы повлиять на результаты теста. Поэтому их результаты на всех типах настроек в данном тесте одинаковы. К этой группе относится Jetico, Avast, AVG, McAffe, F-Secure, Panda, Kingsoft и Microsoft."

[SDA 750]

В отчете по тесту написано:

"... некоторые из протестированных продуктов вовсе не имеет настроек, которые каким-либо образом могли бы повлиять на результаты теста. Поэтому их результаты на всех типах настроек в данном тесте одинаковы. К этой группе относится Jetico, Avast, AVG, McAffe, F-Secure, Panda, Kingsoft и Microsoft."

Зачем же тогда указывать в графике шкалу максимальной настройки? Сбивает с толку и ставит в неравное состояние с теми кто их имееет. Кроме того, опять же повторяюсь по поводу Брандмауэра Windows в режиме повышенной безопасности. Если бы была использована эта настройка то результат был бы совсем другой. Не побоюсь сказать, что мог бы заткнуть лидеров, даже при том, что в комплексе с классическими фунциями фаерволов тестируемых "комбайнов" используется проактивка, а у того же Нортона еще есть NIDS (Network Intrusion Detection Systems), не знаю есть ли модули IDS у других. У Брандмауэра Windows всего этого нет, но даже в таких неравных условиях, он при соответствующей настройке, если бы не опередил то был бы на первых местах с лидерами теста.

[Mr.Belyash 70]

Могу ответить по данному пункту:

Тут дело не только в том чтобы молча залочить, а чтобы при этом все работало. Именно поэтому многие ослабляют настройки по умолчанию, чтобы юзер не обрывал телефонные линии в техсаппорт со жалобами на неработающие программы. Но это компромисс от бедности. Логика работы защиты должна быть более сложная, когда принимается решения на основании контекста события. Это сложнее реализовать и протестированить, гораздо проще сыпать алертами и пусть весь мир отдохнет, пользователя не жалко, пусть за одно видит как система классно работает, думает о его безопасности, советуется

Очень сложная конструкция получается. Слабо верится, что какие-то продукты из протестированные специально пропустили часть атак, поняв что это всего лишь тестовые тулзени. Практика показывается, что они в этом случае наоборот должны все блокировать. Все же хотят в тестах быть лучше всего. Кстати, коммент Илья Рабиновича к тесту как раз в эту тему. Он высказал предположение, почему на максимальных настройках кое-кто поднимается до уровня 100% - заточка под тесты Матюшека.

Пойду застрелюсь.

Впервые согласен

[Kartavenko M.V. 34]

Зачем же тогда указывать в графике шкалу максимальной настройки? Сбивает с толку и ставит в неравное состояние с теми кто их имееет. Кроме того, опять же повторяюсь по поводу Брандмауэра Windows в режиме повышенной безопасности. Если бы была использована эта настройка то результат был бы совсем другой. Не побоюсь сказать, что мог бы заткнуть лидеров, даже при том, что в комплексе с классическими фунциями фаерволов тестируемых "комбайнов" используется проактивка, а у того же Нортона еще есть NIDS (Network Intrusion Detection Systems), не знаю есть ли модули IDS у других. У Брандмауэра Windows всего этого нет, но даже в таких неравных условиях, он при соответствующей настройке, если бы не опередил то был бы на первых местах с лидерами теста.

Объясню нашу логику.

1. Была задача воспроизвести тест по уже имеющейся методологии, чтобы можно было сопоставлять результаты обоих тестов. На максимальных настройках мы ставили "галки" и выкручивали ползунки в интерфейсе. Настройки брандмауэра Windows находятся то не в GUI продукта, а отдельно. Поэтому мы по аналогии с предыдущим тестом решили не трогать эти настройки. Хотя Ваше предложение по сути правильное, можно было бы сделать и так.

2. Для продуктов у которых нет настроек, которые можно менять стандартные и максимальные настройки по сути одно и то же. Можно было бы не разделять на две отдельные строки в результатах, а сделать одну строку "Стандартные/максимальные" настройки, как мы это делали в тесте IDS/IPS на защиту от атак на уязвимые приложения. Однако логика была такая же как я писал выше - иметь возможность сопоставлять оба теста. Когда будет следующий тест это также можно вынести на обсуждение и если все будут за, то сделать так.

Чтоб была понятна наша позиция еще один момент поясню. На этапе обсуждения теста предложений мало, а как тест публикуем, так количество пожеланий/предложений становится очень большим. Поэтому ряд очень разумных предложений приходится применять в тесте N+1.

Думаю для следующего теста мы учтем Ваше предложение. Спасибо за конструктив.

[Aviralover 10]

Вопрос господину Kartavenko M.V.. Хотел-бы я узнать, были-ли в этом тесте такие семплы, которые детектились всеми вендорами? Второй вопрос: какие вендоры выдавали сами ясные алерты, или красиво и элегантно убивали эти тест-сэмплы? И какие вендоры выдавали такие алерты, что даже вам приходилось(если проходилось, конечно) прочесть документацию. Еще раз спасибо Вам и АМ за тестс. Не ожидал, что Нортон и Битдефендер спасобны на то, что они сотварили.

[Kartavenko M.V. 34]

Вопрос господину Kartavenko M.V.. Хотел-бы я узнать, были-ли в этом тесте такие семплы, которые детектились всеми вендорами? Второй вопрос: какие вендоры выдавали сами ясные алерты, или красиво и элегантно убивали эти тест-сэмплы? И какие вендоры выдавали такие алерты, что даже вам приходилось(если проходилось, конечно) прочесть документацию. Еще раз спасибо Вам и АМ за тестс. Не ожидал, что Нортон и Битдефендер спасобны на то, что они сотварили.

Прошу прощения за задержку с ответом. Лето

Если не брать в расчет короткие вылети GUI , то все успешно справились с методом Terminate_from_trusted. Вообще все методы видны в экселевском файлике к тесту.

Самые ясные алерты у Нортона - минимум текста, просто, красиво, понятно. Так же стоит отметить Dr.Web.

Почесать голову пришлось с алертами от Outpost и Online Armor.

[Aviralover 10]

Kartavenko M.V., спасибо за ответ. Сперва экселя даже не заметил. Прочел. Все ясно.

[KIS_fan 17]

Может быть не в той теме... Но вопрос:

 

В продуктах класса Internet Security, везде где указан IDS (Intrusion Detection System) обязательно есть также IPS (Intrusion Prevention System)?