Перейти к содержанию
Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

Recommended Posts

priv8v
Вопрос к тестировщикам и администрации.

Если есть методология и она повторяема, то почему бы тогда постепенно не добавлять новые продукты к результатам теста (как у Matousec), а не ждать ещё год до следующего глобального тестирования.

Имхо, у Матюшека ресурсов побольше будет (трудовые и финансовые = тестировщики и деньги).

Имхо, даже если и сделать так, как у него в этом плане реализовано, то и обратная сторона медали станет такой же как и у него - подгон ав-комплексов под тест, т.е тупо заточка....

Кстати, возможно, что я пропустил это, но тем не менее: ав-компаниям этот набор утилит рассылался?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

icon3.gif

Так стоит обратить внимание, что процент предотвращения сложных видов атак в целом заметно хуже, чем атак базового уровня сложности. Граничными примерами здесь выступают продукты ZoneAlarm и F-Secure. У первого из них результаты блокировки базового уровня атак достаточно высок, однако, к сложным атакам продукт оказался вовсе не готов, и набрал на них ноль баллов. ZoneAlarm (м.б. F-Secure???), напротив, оказался слаб на атаках базового уровня (в частности из-за посредственного уровня самозащиты), но за счет параноидального в хорошем смысле поведенческого анализа показал высокий результат детектирования атак повышенной сложности.
Очень высокие результаты в тесте (свыше 80%) также показали фаерволы PC Tools, Outpost, Online Armor, Online Armor, Online Solutions, Online Solutions, Outpost и BitDefender, которые получают награду Gold Firewall Outbound Protection Award. Важно отметить, что из них только Outpost, Online Armor и Online Solutions смогли добиться этого результата на стандартных настройках.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вопрос к тестировщикам и администрации.

Если есть методология и она повторяема, то почему бы тогда постепенно не добавлять новые продукты к результатам теста (как у Matousec), а не ждать ещё год до следующего глобального тестирования.

Мы как раз так именно и планируем делать, скоро анонсируем эту возможность ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Мы как раз так именно и планируем делать, скоро анонсируем эту возможность ;)

Тогда предлагаю так делать по каждому тесту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
скоро анонсируем эту возможность

скоро сказка сказывается, да не скоро дело делается. а где обещанный анализ рынка антивирусов за 2010-2011 годы, который "постараемся пораньше чем в середине года выпустить"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Имхо, у Матюшека ресурсов побольше будет (трудовые и финансовые = тестировщики и деньги).

Имхо, даже если и сделать так, как у него в этом плане реализовано, то и обратная сторона медали станет такой же как и у него - подгон ав-комплексов под тест, т.е тупо заточка....

Как раз в этом случае и не требуется много ресурсов. Можно рассмотреть основные продукты и не ждать пока выйдут новые версии каких-либо продуктов.

Если проводить новые тесты чаще, то "затачивать" большинство вендоров не будет или не успеет. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
deviss
Как раз в этом случае и не требуется много ресурсов. Можно рассмотреть основные продукты и не ждать пока выйдут новые версии каких-либо продуктов.

Если проводить новые тесты чаще, то "затачивать" большинство вендоров не будет или не успеет. :)

Вот здесь-то и разразится... Основные - это какие? Если одних дождались, почему других не подождать? Ну, и т.д. Конечно, пользователям интересно будет чаще видеть результаты, но в целом, методология, судя по комментариям не такая уж и устоявшаяся, надо еще добавлять/корректировать что-то. И всё это - время. Потянет администрация/тестировщики? Я бы только "за".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
А XP защищать от атак сложнее ;) Смысл в том, что под семёрку пока мало методов атак, по сравнению с XP. Мы считаем, что по настоящему "боевая обстановка" для фаервола - дырявая система.

В таком случае стоило тестировать на SP2, а может даже лучше - вообще без сервис-паков. Но правда там есть другой костыль, который не даст провести тестирование - многие стенки просто не станут на систему хуже чем SP2 :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RuJN
Как раз в этом случае и не требуется много ресурсов. Можно рассмотреть основные продукты и не ждать пока выйдут новые версии каких-либо продуктов.

Если проводить новые тесты чаще, то "затачивать" большинство вендоров не будет или не успеет. :)

Если я правильно понял, тест проводился с использованием общедоступных тестовых утилит и собственными. Разработчики уже бы давно обеспечили проход теста популярной авторитетной утилитой. И какой им смысл затачивать продукты под тесты какого-то anti-malware.ru (anti-malware-test.com)? когда позиции этих тестов на мировом рынке мала (или я ошибаюсь?), к тому же антипиар со стороны некоторых вражеских вендоров. Например, TrustPort просто не реально заточить продукт под Матюшек, ведь там, как вы сами говорили, тестировались не существующие в продукте функции. И, в конце концов, основная цель файервола-это защищать, а не показывать хорошие результаты в тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
В таком случае стоило тестировать на SP2, а может даже лучше - вообще без сервис-паков. Но правда там есть другой костыль, который не даст провести тестирование - многие стенки просто не станут на систему хуже чем SP2 :P

Некоторые вендоры отказались от поддержки SP2 и ниже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond

А где номинация - худший фаервол, со значком - "Anti-malware.ru не рекомендует", и с отправкой праздничного кекса победителю? :facepalm:

Эх, хотелось именно Windows 7 64bit проверить, так как это ОС для многих компьютеров становится стандартом, ведь узкое место в максимальном объеме оперативной памяти - не дает шансов XP оставаться на плаву, он умирает, а вы его поддерживаете :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ALEX(XX)
XP оставаться на плаву, он умирает, а вы его поддерживаете :D

Умирает? Ну-ну. Благодаря "сборкам" ХР будет жить оочень долго. Даже когда люди покупают ноуты с 7-кой, то просят установить ХР. Привычка и лень - вот основные факторы )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Умирает? Ну-ну. Благодаря "сборкам" ХР будет жить оочень долго. Даже когда люди покупают ноуты с 7-кой, то просят установить ХР. Привычка и лень - вот основные факторы )

Да уж, на торрентах этих сборок "вагон и маленькая тележка", не скачает только самый ленивый.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
А где номинация - худший фаервол, со значком - "Anti-malware.ru не рекомендует", и с отправкой праздничного кекса победителю? :facepalm:

Эх, хотелось именно Windows 7 64bit проверить, так как это ОС для многих компьютеров становится стандартом, ведь узкое место в максимальном объеме оперативной памяти - не дает шансов XP оставаться на плаву, он умирает, а вы его поддерживаете :D

http://www.anti-malware.ru/forum/index.php...st&p=139392

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond
Умирает? Ну-ну. Благодаря "сборкам" ХР будет жить оочень долго. Даже когда люди покупают ноуты с 7-кой, то просят установить ХР. Привычка и лень - вот основные факторы )
Да уж, на торрентах этих сборок "вагон и маленькая тележка", не скачает только самый ленивый.

Как то вы это дружно, молодцы ничего не скажешь :)

Я сужу по собственному окружению. Можно сколько хочешь цепляться за XP, его ставят, действительно, на атлоны старенькие и иже с ними, на ноутбуки все сложнее поставить XP, многие производители не выкладывают уже даже драйвера на них. В свое время Windows 98 тоже не мало жила, это ни о чем не говорит. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

Сергей, просто Microsoft в даном свете выглядит очень не привлекательно.

Умирает? Ну-ну. Благодаря "сборкам" ХР будет жить оочень долго. Даже когда люди покупают ноуты с 7-кой, то просят установить ХР. Привычка и лень - вот основные факторы )

http://store.steampowered.com/hwsurvey

stats.png

post-3953-1316425054_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Юрий Паршин

Надо понимать, что выборка сделана по геймерам - результаты-то неудивительны, ибо DirectX 10+ на XP недоступен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
andro

Вот распределение операционных систем согласно W3Counter:

2011_09_19_135307.jpg

post-8945-1316426082_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Надо понимать, что выборка сделана по геймерам - результаты-то неудивительны, ибо DirectX 10+ на XP недоступен.

Геймеры - да. Но Dx тут не при чем. Хоть его и пиарят, мало кто на это обращает внимание.

Однако же я ответил в ключе:

Даже когда люди покупают ноуты с 7-кой, то просят установить ХР.

Ведь именно "недоразвитые" геймеры просят поставить XP, т.к. там игрушки "быстрее бегают".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Ведь именно "недоразвитые" геймеры просят поставить XP, т.к. там игрушки "быстрее бегают".

Не факт, что быстрее. Сейчас больше от железок зависит. Сама винда на игровых системах (что XP, что 7) почти не заметна по занимаемым ресурсам. Да и современные игрушки обычно большей частью пользуют видяху. Очень редко когда хорошо нагружается ЦПУ. Так что это именно "недоразвитые" геймеры :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Оказалось, что мы еще не все КРИТИЧЕСКИЕ баги нашли в методологии.

Все в курсе, какие наградки раздает AM за этот тест?

"Firewall Outbound Protection", в котором защита исходящих соединений тестировалась ровно в 0 тестов (или в том одном, который Комодо завалил)? :facepalm:

PS: Завтра будет обещанная публикация по поводу тестов - см. www.internet-security.ru

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Друзья, удаляю уже 4-е по счету сообщение. Большая просьба - не обсуждать действия (бездействие) модераторов публично. Тем более здесь это явный оффтопик. Если заметили нарушение правил, на которое не отреагировал модератор - направляйте жалобу группе модераторов или пишите мне лично, либо любому другому модератору на ваше усмотрение. Будем разбираться по каждому случаю. Если есть какие-то масштабные предложения по модерации, касающиеся работы всего коллектива модераторов, можно создать отдельную тему в соответствующем разделе.

Заранее благодарю.

P.S. Убрал из темы оффтопик.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
canni2
В таком случае стоило тестировать на SP2, а может даже лучше - вообще без сервис-паков. Но правда там есть другой костыль, который не даст провести тестирование - многие стенки просто не станут на систему хуже чем SP2 :P

Думаю, тут исходить надо не столько от дырявости(что, конечно, тоже немаловажно), сколько от степени распространённости той или иной версии ОС. Три года назад собственноручно ставил Win98 :facepalm: , но это же не значит что система актуальна и стоит на неё тратить время и деньги. Так же и SP2 и без SP вообще - уверен, есть люди у которых такие системы работают, но им 100% данные тесты не интересны и не нужны. Так что и заострять внимание нужно на том, чем пользуются, или чем вынуждают пользоваться

Некоторые вендоры отказались от поддержки SP2 и ниже.
.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Chekm
Оказалось, что мы еще не все КРИТИЧЕСКИЕ баги нашли в методологии.

Все в курсе, какие наградки раздает AM за этот тест?

"Firewall Outbound Protection", в котором защита исходящих соединений тестировалась ровно в 0 тестов (или в том одном, который Комодо завалил)? :facepalm: ...

И обязательный смайлик в конце фразы чтобы подчеркнуть страдания...

Если у Comodo поднять ползунок Настройки оповещений на одну позицию вверх до Среднего уровня, то получили бы запрос, но поскольку по-умолчанию таки да, не спросил...

Outpost c настройками по-умолчанию спросил пользователя 14 раз.... А на повышенной защите 7 раз... Я представляю себе реакцию жены, которую

заваливают вопросами... первые раза два меня бы позвали, а после 3-4 раза я бы получил наказ убрать это вообще и сделать как раньше...

Да и себя любимого вспоминаю, когда ставил Free 6.5 и получил запрос: по-поводу Proto 41, а потом сидел минут 10 в Гугли и пытался найти объяснения что же это за напасть...

Виталий, ну не переживайте вы так, ну все равно найдутся желающие купить Вашу продукцию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий, ну не переживайте вы так, ну все равно найдутся желающие купить Вашу продукцию.

Я тут как эксперт портала переживаю, и Александр Гостев тоже. Проведение такого "теста" при всех вложенных усилиях при кривой методологии - все равно что на "скачанном из Инета архиве с вирусами" проверять качество антивирусной защиты чисто по сигнатурному детекту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Ego Dekker
      ESET Cyber Security/ESET Cyber Security Pro были обновлены до версии 6.7.555.
    • stas.panov
      Объяснение очень доходчивое  и по делу. Большое спасибо за информацию и ссылки. 
    • Quincy
      Серёга Лысый известный балабол же
    • Александр Полиграф
      Проведение расследований с применением полиграфа. Выявление сотрудников "сливающих" информацию, осуществляющих попытки- получения данных, шпионаж, работа на конкурентов, сбор компромата и т.п. Осуществляем выезд к вам в офис. Гарантия конфиденциальности.  poligraf.msk.ru ПОЛИГРАФ МСК.pdf
    • PR55.RP55
      vesorv 1) С отключенным интернетом вы не сможете активировать лицензию на антивирус. а раз не сможете - то и не получите защиту. Значит активируем антивирус > Создаём образ системы и переносим его на внешний носитель. Получаем возможность проводить тестирование повторно. 2) Вам для тестирования не нужны "свежие" угрозы. Разработчик регулярно обновляет установочный пакет. Скажем за 2018 год вышла - 12 версия антивируса, затем вышла версия. 12.01> 12.02 > 12.03  и т.д. Интервал между версиями пару месяцев. За пару месяцев ничего принципиального и прорывного в защите не сделать. Установив вместо версии: 12.03  "устаревшую" версию 12.02 вы получите и устаревшую базу сигнатур вирусов. И здесь можно тестировать угрозы о которых антивирус не осведомлён. 3) Антивирус нужен для постоянной защиты. Установка не производиться на заражённую машину. так, как установочный пакет не предназначен для очистки системы. ( Да, в рекламных целях разработчик может написать, что есть такая возможность... Однако ) Вирус может повредить реестр, заблокировать работу Windows Installer, модифицировать критически важные системные файлы - система просто не будет работать должным образом. _Эффективная очистка возможна только на НЕ активной системе - при работе с Live CD или при загрузке с другой не заражённой системой. 4) Отключать нужно не только интернет  - но  и беспроводные блютус и Wi-Fi иначе вы рискуете получить заражение всех доступных устройств. 5) Многие вредоносные программы вы просто не сможете запустить. так, как могут быть ограничения на регион распространения  - тот кто заказывал разработку\модификацию например рассчитывает на атаку конкретной страны, банка. 6) По очистке и лечению. Это не одно и тоже. Есть антивирусы которые удаляют файлы\угрозы но при этом не очищают реестр от лишних записей. Удаление файла\угрозы без удаления записей может приводить к ошибкам в работе системы. Лечение файлов - здесь речь идёт прежде всего о файловых вирусах. Антивирус должен найти заражённый файл, найти нужный участок и очистить - причём очистить так, чтобы сохранилась работоспособность системы. Но очистка исполняемых файлов не имеет смысла - всё равно _современная система не сможет нормально работать так, как у файла не будет ЭЦП... а если критически важный  файл не пройдёт проверку на наличие ЭЦП то и система не запуститься... Единственно, что можно сделать - это заменить файл на оригинальный. А учитывая число файлов, разнообразие их версий  - это становиться нетривиальной задачей. Некоторые антивирусы\сканеры имеют архив с такими файлами ( для замены: EXPLORER.EXE; NTDETECT.COM; NTSD.EXE и т.д ) А большинство антивирусов таких архивов не имеет. 7) Вы не учитываете уровень ложных срабатываний\определений. Антивирус  может сработать на чистый файл. Значит нужно проверять систему ещё до работы с реальными угрозами. 8) Угроза, или нет ? Это философский вопрос. Здесь каждый разработчик решает сам - что является угрозой, а что нет. т.е. на файл ХХХ одни антивирус сработает - а другой антивирус на файл ХХХ не сработает. + Программы разработанные спец. службами например страна ****а разработала вирус с целью нарушения работы оборудования, в целях шпионажа, получения удалённого доступа. Разве разработчики антивирусов находящиеся под её юрисдикцией будут искать эту угрозу ? 9) Легальные шпионские программы - одни антивирусы их будут находить, а другие антивирусы их находить не будут. Под легальными нужно понимать такие компоненты системы которые устанавливает разработчик оборудования - мониторинг - обнаружение украденного оборудования - диагностические отчёты. т.е. антивирусы по умолчанию находятся вне равных условий. 10) У всех разное железо - и производитель распространяет установщики  с некими средними настройками - чтобы на старых\слабых PC не наблюдалось зависание. С разными настройками эвристики будет  разная  скорость\эффективность работы. Значит нужно, или тестировать всё по умолчанию, или накручивать параметры на максимум. Нужно будет оценивать стабильность работы системы после внесения изменений в работу антивируса. 11) Куда ушли ?  Да куда угодно. Потеряли интерес, стало больше информации и меньше времени на её обсуждение. Помните песню: " Куда уехал цирк ? он был ещё вчера " https://www.comss.ru/page.php?id=5777 Дело в том, что всё уже давно обсудили, и вся информация есть в сети. а все эти _публичные тестирования ( как бы это помягче сказать... ) Средняя температура по больнице в норме !    
×