Тест фаерволов на защиту от внутренних атак (результаты)

[deviss 75]

svchost и у microsoft пользуется доверием :-)

Кстати, а в чём принципиальный, на Ваш взгляд, смысл разделения доступа для этого файла? Кажется маловероятным, что не заражённый/подменённый легитимный файл вдруг полезет неведомо куда со злым намерением. А запрещать/разделять штатные возможности работы системы - надо ли?

[sergey ulasen 200]

В тестах, где меняются настройки продуктов, все же лучше иметь отдельный документ, в котором эти настройки будут описаны или приложены скриншотами. И в будущем нужно изменить методологию теста таким образом, чтобы этот документ заполнялся. Потому как отсутствие такого документа - это отсутствие возможности воспроизведения. А все вместе - это повод для критики.

Мдя, комментарий Олега Ишанова, представляющих "спасателей всея мира", конечно, порадовал. "Мы не смогли спасти мир, зато мы лучше других таких же горе-спасателей, как и мы сами".

Три раза перечитал комментарий Олега - никакого тайного смысла там не нашел.

И спасибо за тест

[KIS_fan 17]

Включена галка интерактивный режим.

Ну я так и думал...

Я не совсем согласен результатом КИС на максимальных настройках, здесь есть за что критиковать!

Начнём по порядку:

Что сказанно в статье "Методология теста" ? Цитата:

"Во втором случае в дополнение все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту."

В КИС файервол работает по правилам "Контроль программ".

Судя по результатам, в КИС для достижения максимальных настрояк, была премененна только галка для установки в ручной режим!

Но ведь это далеко не максимальные настройки и возможности "Контроль программ"! А так в КИС понятие "максимальные настройки" очень растежимо. Ведь там очень много всяких "галочек"...

1) Можно вообще в интерфейсе поставить что всё что не "Доверенно" должно автоматом попадать в группу "Недоверенные".

КИС получил бы 100 % результат.

2) В тесте КИС нечего не пропустил, он просто задавал пару раз запрос на установку драйвера. Но ведь в тех же настройках можно поставить блокировать запуск драйвера, тогда не будет запроса и будет тоже 100 % результат.

[Kopeicev 94]

Ведь там очень много всяких "галочек"...

Вот как говорят, обычные пользователи: "ой, как там много всяких галочек". А ты бы подумал прежде чем говорить, ок? Назови хоть одну галочку, которая повлияла бы кроме интерактивного режима? Можешь?

И да, официальный ответ: "Для перевода продукта KIS 2012 в режим "максимальных настроек" был включён интерактивный режим. Было получено подтверждение от сотрудников ЛК, что этих изменений достаточно".

[KIS_fan 17]

Вот как говорят, обычные пользователи: "ой, как там много всяких галочек". А ты бы подумал прежде чем говорить, ок?

Ну во первых я продвинуый пользователь, а не "домохазяйка".

Во вторых ты бы сначало прочитал бы мой пост - подумал бы, а потом ответил, ок ?

Назови хоть одну галочку, которая повлияла бы кроме интерактивного режима? Можешь?

1) Можно вообще в интерфейсе поставить что всё что не "Доверенно" должно автоматом попадать в группу "Недоверенные".

КИС получил бы 100 % результат.

2) В тесте КИС нечего не пропустил, он просто задавал пару раз запрос на установку драйвера. Но ведь в тех же настройках можно поставить блокировать запуск драйвера, тогда не будет запроса и будет тоже 100 % результат.

Этого тебе не достаточно ?!

[priv8v 960]

Ребята, это реально круто! Спасибо за тест! Того, что этот тест будет настолько емким и сложным с точки зрения наглядного изображения результатов не ожидал, просто здорово!

Очепятки во всех трех пунктах (в буковках в функциях и в приведенных функциях (не те)):

2.1. IECreateProcess – запуск скрытого процесса InternetExplorer с использованием функции API TerminateProcess.

2.2. IESheelExecute - запуск скрытого процесса InternetExplorer с использованием функции API SheelExecute.

2.3. IECreateProcessCMD – запуск скрытого процесса InternetExplorer с использованием функции API TerminateProcess с использованием командной строки.

PrintInject - внедрение DLL в процесс службы диспетчера печати (SPOOLSV.EXE) используя документированную API функцию AddPrintProvidor. Внедрённая библиотека выполняет загрузку драйвера режима ядра.

а почему только эту функцию (...процессор)? если бы еще и вторую, то можно было бы словить лулзов по поводу того, что де "такой-то авер настолько туп/ленив, что не смог/не захотел хучить ни одну из этих функций". Или даже УГи по запросу привилегий уже это палят?

фаервол, успешно отработавший тесты в жёстких условиях, гарантированно справится с ними и в более мягких условиях.

раскройте мысль для таких тормозов как я, а то только с пятого прочтения смысл понял...

Если в ходе тестов на завершение/модификацию процессов один из них завершался (т.е. атака на него удавалась), то все остальные процессы подвергались атаке повторно.

допустим, ав-комплекс имеет 5 процессов, атакуем один из них всеми способами (которые против процесса направлены), он выживает... другие после этого уже не атакуются (оставшиеся 4)?

Про классификацию базовый/повышенный тоже, кстати, можно поспорить, например, про MoveFileEx с флагом MOVEFILE_DELAY_UNTIL_REBOOT

[Kopeicev 94]

Этого тебе не достаточно ?!

Ага, даже прикольно продвинутые пользователи начали считать, что знают продукт лучше, чем сотрудники компании, которая этот продукт сделала

Было получено подтверждение от сотрудников ЛК, что этих изменений достаточно

priv8v, спасибо! Опечатки пофиксаем.

допустим, ав-комплекс имеет 5 процессов, атакуем один из них всеми способами (которые против процесса направлены), он выживает... другие после этого уже не атакуются (оставшиеся 4)?

Атаковались, ты просто не правильно понял смысл, там имеется в виду, что атаковались 5 процессов к примеру, 4-ый был убил, значит все начиная с первого подвергались атакам заново.

[KIS_fan 17]

Ага, даже прикольно проДвинутые пользователи начали считать, что знают продукт лучше, чем сотрудники компании, которая этот продукт сделала

Оставим оффициальный ответ в стороне. И вернёмся к металогии теста:

"Во втором случае в дополнение все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту."

Несостыковка получается...

[Z.E.A. 190]

Было получено подтверждение от сотрудников ЛК, что этих изменений достаточно".

А у других вендоров тоже узнавалось как выставить "максимальный режим", или сами крутили?

[Kopeicev 94]

А ты немножко не тот участок теста выделил:

"Во втором случае в дополнение все настройки, которые были отключены в режиме «по умолчанию», но при этом могли повлиять на исход тестирования, включались и/или приводились в максимальное положение (наиболее строгие настройки). Другими словами – под выставлением максимальных настроек понимается перевод всех доступных из графического интерфейса пользователя настроек всех модулей, связанных с детектированием вредоносной файловой или сетевой активности, к наиболее строгому варианту."

А от вендора был получен ответ, какие (в данном случае какая) настройки для этого служат. Вопросы есть?

И проверь ЛС )

А у других вендоров тоже узнавалось как выставить "максимальный режим", или сами крутили?

Если всё было очевидно, например в некоторых продуктах прямо один большой ползунок от "минимально" до "максимально" сами крутили, а если куча настроек то спрашивали.

[Z.E.A. 190]

Занятно.

[N!k 20]

Да, в целом тест достаточно объективен, проделана хорошая работа. Спасибо!

Только вот учитывая тестовую систему (Windows XP SP3), не стоило наверное включать в тест её встроенный брандмауэр.

Во первых, по результатам это всё равно, как защитник Windows (Windows Defender) сравнивать с полноценными антивирусными продуктами.

а во-вторых, в сознание неискушённых пользователей, его результаты автоматически будут перенесены на брандмауэр Windows 7 (а ведь это совсем другой продукт).

Либо в результать подчеркнуть этот момент.

ИМХО

В целом - здорово!

[Kopeicev 94]

Да, в целом тест достаточно объективен, проделана хорошая работа. Спасибо!

Только вот учитывая тестовую систему (Windows XP SP3), не стоило наверное включать в тест её встроенный брандмауэр.

Во первых, по результатам это всё равно, как защитник Windows (Windows Defender) сравнивать с полноценными антивирусными продуктами.

а во-вторых, в сознание неискушённых пользователей, его результаты автоматически будут перенесены на брандмауэр Windows 7 (а ведь это совсем другой продукт).

Либо в результать подчеркнуть этот момент.

ИМХО

В целом - здорово!

Но в связке с брандмауэром Win XP использовался MS Security Essentials, который MS позиционирует как полноценный АВ продукт.

[N!k 20]

Kopeicev пишет:

Но в связке с брандмауэром Win XP использовался MS Security Essentials, который MS позиционирует как полноценный АВ продукт

MS Security Essentials здесь сбоку припёка. Это именно антивирусный продукт и никакого влияния он не оказывал на тест файрвола. Если ещё в 7-ке между MSSE и брандмауэром есть некоторая интеграция (и то только на уровне весьма ограниченного управления, но никак не совместном противостоянии угрозам), то в ХР это вообще полностью автомномные продукты со своей непересекающейся функциональностью...

ИМХО

[SDA 750]

MS Security Essentials здесь сбоку припёка. Это именно антивирусный продукт и никакого влияния он не оказывал на тест файрвола. Если ещё в 7-ке между MSSE и брандмауэром есть некоторая интеграция (и то только на уровне весьма ограниченного управления, но никак не совместном противостоянии угрозам), то в ХР это вообще полностью автомномные продукты со своей непересекающейся функциональностью...

ИМХО

+ 100

[Виталий Я. 859]

Имею сказать (поздравления и реверансы по поводу теста - впишите меня как +1):

1. Итоги теста для продвинутых в "макс. настройках", домохозяев в "станд. настройках"? Тогда DefenseWall должен иметь 100% и 0%. Никаких исключений в методологии быть не может, или - просьба не играть в этой лиге, а сделавших отчет - не создавать ЛОЖНОЕ чувство безопасности. Если продукт not sucks в СТРОГО определенных условиях, его карта бита. По правилам СМИ - перепечатают таблицу, а примечания - нет. Может, Илье это бизнес и спасет, а с тестом имеет мало общего.

2. "Врач сказал в морг - значит, откачаем?!" Продукты с убиваемыми GUI и/или якобы не относящимися к безопасности процессами, получили прохождения множественных тестов. Бурные овации от компаний AVG, F-Secure, McAfee. В меньшей степени - от разработчиков Eset, Jetico, PC Tools.

3. "Some services were stopped, but firewall worked" - даже если свечку вам разработчики (PC Tools и F-Secure) держали, ОТКУДА дорогой составитель методологии знает, что продукт не будет инвалидом после отрубания всего?

4. Фолсы и жизнь юзера - учтены? Где? (про "излишнюю параноидальность" прочел, но фигулька на постном масле).

5. "Максимальные" настройки для продукта - описаны? Где?

6. "Хочешь быть Матушеком - будь им". Кто хочет, тесты воспроизведет. И утилиты в свободном доступе - где?

7. Пункт 6-бис - почему без тестов самозащиты?

PS: Все вопросы озвучил Илье и Александру Шабановым еще 26 августа в СПб, по факту от них просто отмахнулись.

[GReY 35]

Спасибо за титанический труд!

Есть идеи на будущее, например, делать проверку на ложные срабатывания

я так понял, будет продолжение насчёт атак извне? почему бы тогда не сделать и продолжение про ложные срабатывания?

Включена галка интерактивный режим

вас не затруднит вспомнить, что менялось у других продуктов, серьёзно улучшивших защиту после настройки?

[Kopeicev 94]

я так понял, будет продолжение насчёт атак извне? почему бы тогда не сделать и продолжение про ложные срабатывания?

Да продолжение будет, по включению учёта ложных срабатываний - подумаем.

вас не затруднит вспомнить, что менялось у других продуктов, серьёзно улучшивших защиту после настройки?

Сейчас затруднит, тестирование начиналось проводилось 2 месяца назад Но в методологии описано чёткие критерии, как отбирались настройки для изменения.

Имею сказать (поздравления и реверансы по поводу теста - впишите меня как +1):

1. Итоги теста для продвинутых в "макс. настройках", домохозяев в "станд. настройках"? Тогда DefenseWall должен иметь 100% и 0%. Никаких исключений в методологии быть не может, или - просьба не играть в этой лиге, а сделавших отчет - не создавать ЛОЖНОЕ чувство безопасности. Если продукт not sucks в СТРОГО определенных условиях, его карта бита. По правилам СМИ - перепечатают таблицу, а примечания - нет. Может, Илье это бизнес и спасет, а с тестом имеет мало общего.

2. "Врач сказал в морг - значит, откачаем?!" Продукты с убиваемыми GUI и/или якобы не относящимися к безопасности процессами, получили прохождения множественных тестов. Бурные овации от компаний AVG, F-Secure, McAfee. В меньшей степени - от разработчиков Eset, Jetico, PC Tools.

3. "Some services were stopped, but firewall worked" - даже если свечку вам разработчики (PC Tools и F-Secure) держали, ОТКУДА дорогой составитель методологии знает, что продукт не будет инвалидом после отрубания всего?

4. Фолсы и жизнь юзера - учтены? Где? (про "излишнюю параноидальность" прочел, но фигулька на постном масле).

5. "Максимальные" настройки для продукта - описаны? Где?

6. "Хочешь быть Матушеком - будь им". Кто хочет, тесты воспроизведет. И утилиты в свободном доступе - где?

7. Пункт 6-бис - почему без тестов самозащиты?

Я могу ответить на вопросы 3 и 5:

3. Если один сервис был убит проверялась работа функционала продукта, например детект по EICAR, работа обновления, включение \ отключение модулей и т.д.

5. Критерии отбора настроек для изменения описаны в методологии, конкретной таблицы изменений нет, наверное это косяк, примем на будущие. Сейчас просто если делать такую таблицу, то это как ещё раз проводить тест по обьёму работ.

На остальные вопросы сможет ответить Илья Шабанов, он сейчас в отъезде поэтому придётся подождать.

[Илья Рабинович 521]

1. Итоги теста для продвинутых в "макс. настройках", домохозяев в "станд. настройках"? Тогда DefenseWall должен иметь 100% и 0%.

Виталь, ты тут не прав, ибо не имеешь полной картины. У DefenseWall в терминах методологии теста есть "максимальные" настройки, они находятся в "Advanced"->"Options"->"Popup notifications" и переводят продукт в режим "без вопросов к пользователю". Если снять все галочки- вообще ни одного вопроса не будет. То есть, имеем три режима: доверенный- недоверенный- недоверенный "максимальный". По методологии, это важно, ибо количество всплывающих окон имеет значение. А по таблице 16 и системе наград (отдельно за стандартные и максимальные настройки) то, как ты говоришь, получается следующее- 0 на доверенных и 100% за максимум, но тогда пролетает стандартный режим работы песочницы, как будто его вообще не существует. А он есть. Или же пролетает "максимальный" режим работы, а он тоже есть. Просто система наград по методологии двухдиапазонная, а у DefenseWall диапазонов работы аж целых три. Поэтому два защитных режима попали в таблицу, а третий (доверенный)- в сноску.

Если же ты считаешь это неправильным- хорошо, расскажи нам, как по твоему нужно было сделать. Как три диапазона работы продукта правильно впихнуть в двухдиапазонную систему награждения?

Если продукт not sucks в СТРОГО определенных условиях, его карта бита.

Все продукты по безопасности not sucks в строго определённых условиях.

[Sansero.ee 121]

Продолжение будет реализовано на этой же конфигурации? Или ОСь посвежее? С этими же версиями продуктов? Или всё же с актуальными?

Короче, это будет продолжение первой части, или независимый подход?

[Виталий Я. 859]

Все продукты по безопасности not sucks в строго определённых условиях.

Когда мне нужны будут софизмы, я позову гендиректора SoftSphere. Твой продукт имеет 0% в реальной жизни (не на чистом ПК).

детект по EICAR, работа обновления, включение \ отключение модулей и т.д.

Это не есть проверка нормальной работы HIPS продукта.

[Илья Рабинович 521]

Когда мне нужны будут софизмы, я позову гендиректора SoftSphere. Твой продукт имеет 0% в реальной жизни (не на чистом ПК).

Когда мне нужны будут софизмы, я позову коммерческого директора Agnitum. Вот тебе пример из реальной жизни. http://gladiator-antivirus.com/forum/index...howtopic=113415.

[A. 876]

Видит бог, я долго держался и ничего про этот тест не говорил.

Но, больше не могу.

Что это вообще за х&ня ? Когда вместо заявленного тестирования способности продуктов отражать 40 МЕТОДОВ, нам подсовывают результаты тупой блокировки запуска приложений, при этом еще красненьким выделяя пункт:

При этом полностью исключалась возможность сигнатурного детектирования тестовых утилит со стороны антивирусных компонент тестируемых комплексных продуктов. ?

Почему одному можно блочить ВСЕ и получать за это 100%, а другим ай-яй-яй и извольте бороться ?

Бред какой-то.

С Матюшеком хотите потягаться ? Ну так попробуйте пройти у него тест продуктом, который не дает запустить ни один тестовый файл.

[Сергей Ильин 1538]

Ребята, это реально круто! Спасибо за тест! Того, что этот тест будет настолько емким и сложным с точки зрения наглядного изображения результатов не ожидал, просто здорово!

Очепятки во всех трех пунктах (в буковках в функциях и в приведенных функциях (не те)):

Спасибо, поправим эти опечатки (меняли название пунктов местами видимо).

а почему только эту функцию (...процессор)? если бы еще и вторую, то можно было бы словить лулзов по поводу того, что де "такой-то авер настолько туп/ленив, что не смог/не захотел хучить ни одну из этих функций". Или даже УГи по запросу привилегий уже это палят?

После изучения статистики по методам используемые вредоносами в список весов вошла только эта функция, возможно стоило добавить и другую, но тогда ушли бы больше в академизм.

раскройте мысль для таких тормозов как я, а то только с пятого прочтения смысл

Имеется в виду, что если проверяемый фаервол хорош и в самой дырявой ОС и с самыми невыгодными настройками, то он уж точно будет не хуже в более выгодных условиях. Понятно, что если юзать windows xp под юзером, то это сильно поможет тестируемому фаерволу, так как часть атак до ненго тупо не дойдет. Тоже самое было бы с тем же UAC под windows 7.

[Илья Рабинович 521]

нам подсовывают результаты тупой блокировки запуска приложений

Почему одному можно блочить ВСЕ и получать за это 100%, а другим ай-яй-яй и извольте бороться ?

Ну так попробуйте пройти у него тест продуктом, который не дает запустить ни один тестовый файл.

А разве Comodo блокирует запуск приложений на максимальных настройках? Matousec тестирует на максимальных, как тогда они умудрились пройти тест?