Тест антивирусов на лечение активного заражения I (результаты) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Тест антивирусов на лечение активного заражения I (результаты)

Recommended Posts

Сергей Ильин

Уважаемые друзья и коллеги!

Сегодня мы наконец то выложили долгожданные результаты теста антивирусов на лечение активного заражения, подготовка которого так долго обсуждалась тут.

Краткие итоговые результаты тестирования:

1-е место Norton AntiVirus 2007 (80%)

2-е место Kaspersky Anti-Virus 6.0 (70%)

3-е место Eset NOD32 Antivirus 2.7 (50%)

Sophos Anti-Virus 6.0 (50%)

BitDefender Antivirus 10 (50%)

Остальные результаты:

Avast! Professional Edition 4.7 (40%)

AVZ 4.21 (40%)

McAfee VirusScan 2007 (40%)

Panda Antivirus 2007 (40%)

AVG Anti-Virus PE 7.5 (30%)

Avira AntiVir СE 7.0 (30%)

Dr.Web Anti-Virus 4.33 (30%)

F-Secure Anti-Virus 2007 (30%)

Trend Micro PC-Cillin 2007 (30%)

VBA32 Antivirus 3.11 (30%)

С подробными результатами теста можно ознакомиться здесь

http://www.anti-malware.ru/index.phtml?par...ctive_infection

или скачав файл в формате Excel

http://www.anti-malware.ru/doc/active_infection_test.xls

Ждем ваших отзывов и комментариев! :)

*******************************

Хочется отдельно поблагодарить vaber за огромную помощь в подготовке и проведении теста, а также Олега Зайцева за помощь в подборе вредоносных программ. :thanks:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Немного удивительно - неужели Нортон действительно самый крутой? :) По нему не скажешь... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

хм какая-то нестыковочка в сводной таблице написано что касперский при установке на заражёную машину с Backdoor.Win32.Haxdoor в чёрный экран бросает, а при просмотре описания лечения данного зловреда, написано что удачно всё вылечил..

Norton AntiVirus 2007 очень сильно удивил, неужели он что-то ещё лечит..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну на мой взгляд слишком пафосно считать в процентах.

зловредов всего 10, разница между 50% и 80% кажется огромной, а на самом деле это три зловреда. И при увеличении коллекции вряд ли процентное соотношение сохранится.

лично я бы писал скромнее 8 из 10, 5 из 10 и т.д.

у Симантек похоже компенсирует слабую реакцию на новые угрозы так. Типа зражение прошло, но зато когда сигнатура приехала - все аккуратно вычистил. Тоже подход, но вызывает вопросы...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Немного удивительно - неужели Нортон действительно самый крутой?

Да, это действительно так. Причем лично на меня произвела сильное впечатление сама процедура лечения в Нортоне. Если им детектируется активные вредонос (а почти во всех случаях это была автоматически, даже без необходимости скана), то он вычищался как правило полностью, т.е. все файлы и ключи реестра. В отчете по событиям соответственно тоже идет одной строкой, например, устранена угроза Trojan.Goldun, можно кликнуть на "подробнее" и псмотреть какие именно файлы и ключи он удалил.

хм какая-то нестыковочка в сводной таблице написано что касперский при установке на заражёную машину с Backdoor.Win32.Haxdoor в чёрный экран бросает, а при просмотре описания лечения данного зловреда, написано что удачно всё вылечил..

Ошибочка в сводной таблице, спасибо, что заметил. В отдельной закладке по Backdoor.Win32.Haxdoor все было верно написано.

Norton AntiVirus 2007 очень сильно удивил, неужели он что-то ещё лечит..

Оказывается, что очень даже лечит. Более того, Haxdoor он бы тоже взял, но не повезло - система стала падать после перезагрузки (синий экран смерти).

ну на мой взгляд слишком пафосно считать в процентах.

зловредов всего 10, разница между 50% и 80% кажется огромной, а на самом деле это три зловреда. И при увеличении коллекции вряд ли процентное соотношение сохранится.

лично я бы писал скромнее 8 из 10, 5 из 10 и т.д.

Первоначально все было именно в штуках, но это как-то некрасиво смотриться :-) Тем более учитывая общее чисто используемых вредоносов (10) очень просто переводить проценты в штуки и обратно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

пока смущает только выборка - 10 вредоносов. Для полноты картины явно маловато. А для заявления -"тестирование" так и вовсе не идет. Тестирование, сиречь - испытание - естьпроверка некоего набора на попадание в определенную зону факторного пространства. Существует метология расчета минимально необходимого количества испытательных проверок для получения достоверной выборки. !0 и даже 100 - отличается на порядки от этой цифры. Сами результаты любопытны, но не более. Можно подобрать из того же списка (ITW) 10 других вредоносов, которые покажут обратные результаты. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

alexgr, я не согласен, вероятно вы плохо читали методологию выбора вредоносных программ

http://www.anti-malware.ru/index.phtml?par...=viruses_choice

Семплы выбирались не просто так, это реально сложные случаи (кроме Pinch и Bagle пожалуй). Критиерии выбора, обсуждались здесь на форуме.

Цель теста не была показать репрезентативно, кто больше вирусов умеет лечит. Мы проверили лишь, какой из антивирусов лучше успевает за вирописателями и умеет детектировать и справляться со сложнейшими случаями (cutting edge).

Вообще количественная оценка не была главной изначально, тест качественный, по нему можно сделать множество выводов, например:

1. В некоторых случаях антивирусы детектирует только родительские файлы вредосных программ. Если она уже установлена, то антивирус часто будет просто молчать, у пользователя будет состояние защищенности, хотя система заражена. Этим грешили многие: Nod32, Trend Micro, McAfee, Avast! и т.д.

2. Некоторые антивирусы, как, например, F-Secure, Antivir или Trend Micro, не в состоянии штатными средствами вылечить серьезное заражение. Демонстрируют просто бессилие.

3. У некоторых антивирусов вылезают технические проблемы. Вирус детектируется в системе, но успешного лечения по тем или иным причинам не получается. На этом, например, много потерял Доктор Веб, реально их результат должен был быть намного выше.

Выводов можно делать еще много, всему свое время :-)

А теперь попробуйте мыслить шире и наложить хотя бы эти выкладки на данные скорости реакции, эффективности работы проактивки или качества детектирования. Иван в своем посте уже начал сводить эти данные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
alexgr, я не согласен, вероятно вы плохо читали методологию выбора вредоносных программ

http://www.anti-malware.ru/index.phtml?par...=viruses_choice

Семплы выбирались не просто так, это реально сложные случаи (кроме Pinch и Bagle пожалуй). Критиерии выбора, обсуждались здесь на форуме.

Цель теста не была показать репрезентативно, кто больше вирусов умеет лечит. Мы проверили лишь, какой из антивирусов лучше успевает за вирописателями и умеет детектировать и справляться со сложнейшими случаями (cutting edge).

Вообще количественная оценка не была главной изначально, тест качественный, по нему можно сделать множество выводов, например:

1. В некоторых случаях антивирусы детектирует только родительские файлы вредосных программ. Если она уже установлена, то антивирус часто будет просто молчать, у пользователя будет состояние защищенности, хотя система заражена. Этим грешили многие: Nod32, Trend Micro, McAfee, Avast! и т.д.

2. У некоторые антивирусы, как, например, F-Secure, Antivir или Trend Micro, не в состоянии штатными средствами вылечить серьезное заражение. Демонстрируют просто бессилие.

3. У некоторый антивирусов вылезают технические проблемы. Вирус детектируется в системе, но успешного лечения по тем или иным причинам не получается. На этом, например, много потерял Доктор Веб, реально их результат должен был быть намного выше.

Выводов можно делать еще много, всему свое время :-)

А теперь попробуйте мыслить шире и наложить хотя бы эти выкладки на данные скорости реакции, эффективности работы проактивки или качества детектирования. Иван в своем посте уже начал сводить эти данные.

сложность такого тестирования - репрезентативность выборки, а соответственно - толкование результатов. При нерепрезентативной выборке все рассуждения вокруг полученных данных - не более как личное мнение.. Я нисколько не возражаю против вышесказанного, однако для тестирования (любого) - из математики просто -

1. выборка "Зверей" должна репрезентативной

2. число проверок на одном типе (не сэмпле! сэмплов как раз должно быть много) должно быть несколько

3. методика не должна вызывать вопросв. То есть методика кроме всего должна отвечать принципу воспроизведения. Вы свою сможете воспроизвести? Где описание тестового стенда - кроме операционки там ничего не описано. Сколько ресурсов отдано под виртуалку? Какая платформа? как клонировали среду (тоже, кстати, вопросик :) )

и отбор зверья - 10 из скольки? почему эти. а не другие? Какие сэмплы? сколько? Как производили заражение?

Поэтому - еще раз повторюсь - результаты любопытны. но не более,

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
и отбор зверья - 10 из скольки? почему эти. а не другие?

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество. Допустим, ребята взяли бы 100 зловредов. И, допустим, KAV и NAV поменялись местами. Но я не думаю, что NAV занял бы последнее место, как того требуют модераторы Virusinfo.

P.S. Мне понравился результат AVZ. А ведь никто не ожидал такого от утилиты. Олег Зайцев, так держать!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество. Допустим, ребята взяли бы 100 зловредов. И, допустим, KAV и NAV поменялись местами. Но я не думаю, что NAV занял бы последнее место, как того требуют модераторы Virusinfo.

P.S. Мне понравился результат AVZ. А ведь никто не ожидал такого от утилиты. Олег Зайцев, так держать!

Оъем работы представляю - когда - то сам занимался такими тестами. Я уже написал. что и 100 будет маловато. При непрозрачной методике тестирования (а на самом деле должно звучать - "проверка заявленного функционала на ограниченной выборке", никак не более! Математика все же точная наука. А тестирование - есть применение оной для получения некоей метрики соответствия заявленному качеству. Поскольку качество само по себе есть величина безразмерная)есть масса вопросов. В спешке такое не делается.

Что утилита AVZ хороша - не вопрос, сам держу у себя на компе :) Рад за ее результаты.

Я согласен, что проделана некая достаточно сложная работа. Но все же в таком виде толкование полученных результатов приводит нас в "нетуда". И не потому что неправильные (в данном случае отбросим математику и теорию сложных систем, куда, собственно, нас и приводит термин "тестирование"), а потому что не воспроизводимые полностью как минимум

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Пит

Да. По Нортону я не удивился. У него с 2005 версий справляются с лечением не плохо.

И если бы его вирлаб немного активнее шевелился и добавлял новых зловредов быстрей, было бы всё гуд. А так. Лично мне результаты этого теста не очень важны. Я всегда считаю что нужно не допустить заряжения, чем потом с ним бороться.

То есть получается, я купил антивирус. Он стервец этакий на пропускал всякой заразы мне на комп. Зловред почувствовал уже себя хозяином у меня на компе, стал уже даже предугадывать какую я следущюю клавишу нажму на клаве, уже все мои пороли стал знать лучше меня, даже подсказывать стал мне, уже эти забытые мною пороли. И тут бац, после совместной месячной со мной с ним дружбы, я получаю от антивируса красный алерт. Того кого я считал своим другом и помощником, оказывается мне враг. Вопрос в следующем, на кой мне такой антивирус. И его результат очистки компа после зловреда мне тут не важен. Где гарантия того что у меня на компе нет ещё десять зловредов, которые будут дожидаться своей очереди на качественное лечения.

Касперский немного удивил. У них порой скорость опережает качество. Рад что этот тест изменил моё мнение по этому в лучшую сторону.

И если считать по этому поводу в Касперском совокупность Лечения активного заряжения, Проактивную защиту, Скорость добавления в базы новых зловредов. То Касперский лучший.

Еще меня поразило то, что тот же аваст у которого есть бесплатная версия, которая не намного отличается от платной справился лучше платных мэтров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

alexgr, да не может быть репрезентативности в таком тесте по-любому. Еще раз говорю, мы не ставили целью получение количественных результатов, которые можно было бы экстраполировать на всю генеральную совокупность. Цели совсем другие были изначально.

То есть методика кроме всего должна отвечать принципу воспроизведения. Вы свою сможете воспроизвести? Где описание тестового стенда - кроме операционки там ничего не описано. Сколько ресурсов отдано под виртуалку? Какая платформа? как клонировали среду (тоже, кстати, вопросик )

Да без проблем могу это написать, какие тут секреты :-)

Хотя было бы интересно, если бы вы объяснили какое это может иметь влиятие на результаты платформа и ресурсы. Это только проблемы тестера, то есть мои.

как клонировали среду (тоже, кстати, вопросик )

Вы знаете вообще как работает WMWare? Клонируются машины простым копирование файлов исходной конфигурации. В начале создается 1 чистая машина, с нуля форматируется, ставится Windows XP и все патчи. Далее эта машина просто клонируется под каждый семпл вредоносной программы. После активации вредоноса и многочисленной перезагрузки делается snapshot, к которому происходит возврат после каждой установки антвируса. Таким образом все вирусы и антивирусы устанавлияваются по сути на одну и ту же машину.

alexgr, а сколько надо? 15 антивирусов... вы только представьте себе объем работ. Это же не тот тест, когда дают папку на скан и вперед! Здесь же более важным является качество.

Полностью согласен. Лично я и потратит на эти 10 семплом огромное количество времени. Что тут говорить, только антивирусы пришлось ставить более 150 раз, а их еще нужно обновить, активировать и т.д. Это большая рутинная работа. На каждый семпл уходит в среднем несколько дней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

еще раз повторюсь - есть некий тест, который дает некие данные. Этот тест начинает толкать людей к истолкованию результатов. Слово "количество" в данном случае не более, чем лукавство. У качества нет метрики - это неизмеримое... Значит, надо такую метрику создать, что и сделал тест.

Потому важно! - репрезентативность выборки, пояснение отбора сэмплов, их описание, точное указание версий ядра, соотношение числа сэмплов к всему набору ITW, точное описание платформы etc. Могу продолжить...но не буду загружать...Тут на статью материала хватит! Работа по тестированию кропотлива, является рутинной,и цель ее - представление метрики качества.

Если непонятно - какое качество мы оценивали? куда мне с полученной метрикой к примеру NOD "пройти"? То есть 80% метрики - это в данном случае много? или мало?

Понятен замысел проверки - еще раз оговорюсь - проверки! Только делать нужно хорошо или вовсе не делать! А хорошо подразумевает все выше сказанное и обработку результатов с точки зрения усреднения результатов (проверок должна быть даже на одном семпле не одна) и построения точки факиторного пространства... Ежели этого нет - вариантов толкования много. Скажем - отбор "зверей" - заказное тестирование :)

непрозрачность методики - проверить нельзя :) отпотолочные результаты

нерепрезентативность выборки сэмплов - подбирали под конкретный результат (см. п. выше) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Я думаю alexgr вполне в курсе как клонируются виртуалки...

если это конечно Алексей Гребенюк

что касается показательности теста, радует то, что вири отбирали люди "не от вендоров", люди которые нифига не знали как с этим вирьем будут справляться тестируемые. При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице.

А вот с местами с 1е по третье мне кажется возхможны всякие перемещения.

Неплохим вариантом было бы собирать коллекции от вендоров-участников теста путем объединения. Но я так понимаю в нашем случае это невозможно - коллекциями поделятся только Веб и Касперский.

Мое мнение такое: тест не заказной, но в следствии малого количества самплов позволяет дать только качественную оценку, причем основываясь больше даже не на цифрах, а на описаниях из таблицы.

Хорошо бы еще скриншотов поглядеть, иллюстрирующих те или иные факты.

PS отмечая справедливость аргументов alexgr, не могу не заметить, что если бы Доктор выглядел бы в тесте лучше, то реакция у Вас была бы иной:)

Кстати у меня пользовательский вопрос: вы запросили у Ильина самплы, чтобы проверить тест и если нужно докрутить свой продукт?Мне кажется это было бы правильно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице

Именно так, если какой-то антивирус не умеет справляться с руткит-защитой, то можно хоть 100 семплов тестировать, ничего не изменится. Тоже самое относится и к процедурам проверки и удаления залоченных файлов.

Я могу согласиться с рассуждениями alexgr в части, например, NewDotNet или Scano, так как в этих случаях все действительно сильно зависит наличия индивидуальной процедуры удаления. Но это громкие имена, нашумевшие по инету, поэтому они и отобраны. Напрашивается вывод, если уж у антивируса нет процедуры лечения для них, то стоит ли ожидать от него адекватного лечения в менее громких случаях?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Я думаю alexgr вполне в курсе как клонируются виртуалки...

если это конечно Алексей Гребенюк

что касается показательности теста, радует то, что вири отбирали люди "не от вендоров", люди которые нифига не знали как с этим вирьем будут справляться тестируемые. При этом лично мне кажется, что антивири попавшие в категорию слабые результаты при изменении выборки антивирей сильно не поднимутся (если конечно вири не будут подбирать сами производители этих антивирусов). Это я сужу из описания их поведения в подробной таблице.

А вот с местами с 1е по третье мне кажется возхможны всякие перемещения.

Неплохим вариантом было бы собирать коллекции от вендоров-участников теста путем объединения. Но я так понимаю в нашем случае это невозможно - коллекциями поделятся только Веб и Касперский.

Мое мнение такое: тест не заказной, но в следствии малого количества самплов позволяет дать только качественную оценку, причем основываясь больше даже не на цифрах, а на описаниях из таблицы.

да, я знаю, как клонируются виртуалки. На самом деле на виртуалках и тест не чист по сути, хотя для данных сэмплов зверей это и не важно. Однако все же качественный анализ =вещь тонкая, таблицы выглядят в этом смысле намного информаитивнее, нежели общие результаты. Здесь я полностью согласен с Иваном.

И согласен с тем, что тест не заказной - я об этом не говорил. я говорил, что неполнота данных может порождать химер! а этого не должно быть!

результаты тестирования должны толковаться примерно одинаково всеми "чтецами" и не создавать непонимания. Трактовка данного теста таковой не является, а с точки зрения методологии находится не на уровне -это к сожалению.

Работа проделана большая, кропотливая... а результат получился иллюстративный :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
, а с точки зрения методологии находится не на уровне -это к сожалению.

Методология к сожалению не достаточно детально написана, согласен, это моя недоработка, постараюсь поправить.

Надеюсь, вы понимаете, что места и проценты указаны в результатах лишь в качестве выжимки для особо ленивых, да и просто удобнее смотреть, что взял больше зловредов, не все читатели настолько продвинутые :-) Те, кому нужно больше октроют таблицу или еще лучше файл Excel.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

alexgr, скажите есть ли у вас предложение, как сделать этот тест более правильным, но при этом выполнимым?

поскольку совершенно понятно, что провести аналогичную работу даже на 100 самплах - это фактически нереально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
, а с точки зрения методологии находится не на уровне -это к сожалению.

Методология к сожалению не достаточно детально написана, согласен, это моя недоработка, постараюсь поправить.

Надеюсь, вы понимаете, что места и проценты указаны в результатах лишь в качестве выжимки для особо ленивых, да и просто удобнее смотреть, что взял больше зловредов, не все читатели настолько продвинутые :-) Те, кому нужно больше октроют таблицу или еще лучше файл Excel.

Вот вроде как появилось понимание позиций! Может показаться, что это все писано ради самих умных слов. На самом деле (я все же настаиваю), что все это проведено на уровне проверки заявленного функционала. Соответственно, метрики здесь лишние. Таблицы интересны по сути своей - это факт, за что авторам проверки огромное спасибо. Работа большая и сложная сделана. Это неоспоримо!

В терминологическом плане и подготовке материалов - слабо, честно! Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

В целом мое мнение - что это материал иллюстративный. То есть показывающий некую сутность. И все.

Добавлено спустя 8 минут 4 секунды:

alexgr, скажите есть ли у вас предложение, как сделать этот тест более правильным, но при этом выполнимым?

поскольку совершенно понятно, что провести аналогичную работу даже на 100 самплах - это фактически нереально.

Самое главное - название работы. Требования к курсовой работе и магистерской неодинаковы как минимум. А с диссертацией и сравнивать нечего (со мной согут поспорить. что часто нынешние диссеры на советский курсовик не тянут, но это так. к слову :D ). Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

На самом деле воспроизводимость 100% возможна, просто я изначально не хочу раскрывать все методологию полностью. Готов сделать это для представителей вендоров в индивидуальном порядке, даже вместе с семплами. Скрывать нечего, тест проводился честно.

Добавлено спустя 5 минут 3 секунды:

Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто

Хорошо, убедили, в описании теста поправлю текст, "проверка заявленного функционала" действительно будет правильнее, но слово тест повсеместно и в названии все же исключать не хочу из соображений продвижения и развития ресурса. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Воспроизводимость результатов из-за этого практически на 0. НЕ выписана процедура заражения - она совсем нетривиальна у некоторых "зверей" - это обязательно надо было указать.

На самом деле воспроизводимость 100% возможна, просто я изначально не хочу раскрывать все методологию полностью. Готов сделать это для представителей вендоров в индивидуальном порядке, даже вместе с семплами. Скрывать нечего, тест проводился честно.

Добавлено спустя 5 минут 3 секунды:

Измените название - на проверку заявленного функционала. Тесты - толкакют к некоему известному матаппарату. Проверка? нет. Даже методика в принципе не нужна! я же сразу оговорился - название работы не верно, этот пост можно найти! При этом оговориться = вот есть 10 сэмплов под рукой, такие то. Проверялось - то-то и то-то. С версиями движков. Потому как на других версиях может не воспроизводится - согласитесь! и все. и тогда возражений будет на порядок меньше. а еще лучше - описать сэмплы (скажем, хотя бы в классификации вендоров-участников тестирования). Все вроде просто

Хорошо, убедили, в описании теста поправлю текст, "проверка заявленного функционала" действительно будет правильнее, но слово тест повсеместно и в названии все же исключать не хочу из соображений продвижения и развития ресурса. :)

я же говорю, что нашли понимание позиций! вот еще б оформление добавить названия по классификации участников - было бы супер. А так приходилось искать, тратить время на понимание полученных результатов! Я думаю, что вообще самая легкая часть работы :) но полезная

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
вот еще б оформление добавить названия по классификации участников - было бы супер. А так приходилось искать, тратить время на понимание полученных результатов! Я думаю, что вообще самая легкая часть работы но полезная

Без проблем, все же есть, просто я не был уверен, что это нужно.

На днях опубликую.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

это нужно исходжя из того, что классификация у всех разная. И тот же Zhelatin имеет уже столько буковок в индексах, что огого. такие же фичи есть и у других, а искать в чем различие (функционал илди просто упакоыщик) - не всегда есть время. Да и в этом зверинце есть по этому поводу варианты :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

На мой взгляд, тест сам по себе достаточно уникален и имеет большую ценность.

Согласно методологии теста выбраны наиболее активные и наиболее распространенные malware, верятность "встречи" с которыми была наиболее высока.

Считаю, что репрезентативность "коллекции", в данном случае, не имеет большого значения, поскольку (по моему мнению) механизм противодействия большинства существующих malware можно свести к относительно небольшому количеству примерно одинаковых методов.

Полностью согласен с мнением известного независимого эксперта Олега Зайцева:

http://virusinfo.info/showthread.php?t=7901

Естественно результаты Norton вызывают у многих удивление. У меня лично не возникает сомнений в достоверности данных теста в отношении данного продукта. У каждого продукта могут быть свои недостатки и свои преимущества. По всей видимости одним из преимуществ продуктов от Symantec является спсобность относительно эффективно бороться с активными вредоносными объектами.

P.S. Благодарю Сергея Ильина, vabera за интересный и познавательный тест, Олега Зайцева - за содействие в проведении теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 19.0.14.
    • PR55.RP55
      Microsoft ускоряет Проводник в Windows 11 с помощью предзагрузки https://www.comss.ru/page.php?id=18618
    • AM_Bot
      Вендор Crosstech Solutions Group выпустил решение для защиты контейнерной инфраструктуры Crosstech Container Security (CTCS). Оно обеспечивает безопасность контейнерных сред: от сканирования образов до контроля запуска рабочих нагрузок и реагирования на инциденты в средах выполнения.      ВведениеФункциональные возможности Crosstech Container Security2.1. Анализ и контроль безопасности образов2.2. Контроль запуска контейнеров2.3. Безопасность в средах выполнения (Runtime Security)2.4. Безопасность окружения2.5. Внешние интеграцииАрхитектура Crosstech Container Security3.1. Основные компоненты Crosstech Container SecurityСистемные требования и лицензирование Crosstech Container Security4.1. Лицензирование4.2. Требования к аппаратной части4.3. Требования к программной части4.4. Процесс установкиСценарии использования5.1. Сценарий №1. Сканирование образов5.2. Сценарий №2. Политики безопасности образов контейнеров5.3. Сценарий №3. Контроль запуска контейнеров5.4. Сценарий №4. Мониторинг безопасности сред выполненияВыводыВведениеРоссийский рынок контейнерных разработок постоянно растёт. В 2024 году затраты на ПО для контейнеризации достигли 3 млрд рублей — это на 66 % больше, чем в 2023. Контейнерные технологии ускоряют процессы разработки, экономят ресурсы компаний, поэтому их всё чаще внедряют в свою работу ИТ-департаменты.Вместе с ростом масштабов контейнеризации увеличивается и поверхность атак: уязвимости в образах, ошибки конфигураций, несанкционированные действия внутри контейнеров. Crosstech Container Security помогает компаниям выстраивать комплексную систему защиты контейнерной инфраструктуры.Функциональные возможности Crosstech Container SecurityCrosstech Container Security объединяет функции анализа, мониторинга и управления безопасностью контейнерных сред. Решение охватывает весь жизненный цикл контейнера — от момента его создания до удаления. Продукт помогает DevSecOps-командам выявлять уязвимости, проверять конфигурации, контролировать сетевую активность и реагировать на инциденты в режиме реального времени.Анализ и контроль безопасности образовCrosstech Container Security интегрируется с реестрами хранения образов и позволяет проводить их сканирование как в ручном режиме, так и по расписанию. В результате анализа система обнаруживает дефекты в образах: уязвимости, неправильные конфигурации, секреты, а также фиксирует используемые в образах OSS-лицензии для пакетов и библиотек. По каждому найденному дефекту предоставляется детальная информация.CTCS поддерживает экспорт SBOM в форматах SPDX и CycloneDx, что упрощает аудит и обмен данными с другими решениями. Интерфейс продукта предоставляет визуализацию образов с маппингом (сопоставлением данных) на дефекты безопасности. CTCS также осуществляет дискаверинг (обнаружение) образов, располагающихся в защищаемых кластерах и на standalone-хостах.Для автоматизации контроля доступны настраиваемые политики безопасности образов, разделяемые по критериям:наличие уязвимостей в образах контейнеров выше заданной оценки критичности;наличие уязвимостей в образах контейнеров согласно заданным идентификаторам;обнаружение root в Dockerfile;возможность указания перечня образов, на которые будет распространяться созданная политика безопасности образов.При нарушении хотя бы одного из критериев политики администратор получает уведомление в интерфейсе CTCS и может оперативно принять меры: заблокировать образ, исключить его из деплоя или добавить в список исключений с указанием причины. Такой подход обеспечивает прозрачность процессов и повышает уровень доверия к среде разработки и эксплуатации.Контроль запуска контейнеровРешение обеспечивает контроль запуска контейнеров как в средах Kubernetes, так и на отдельных standalone-хостах в соответствии с заданными политиками безопасности. Это позволяет предотвращать запуск рабочих нагрузок, не соответствующих требованиям безопасности компании, ещё на этапе их инициализации.В зависимости от настроек администратор может выбрать режим реагирования: блокирование или оповещение о нарушении политики безопасности. Информация обо всех срабатываниях отображается в интерфейсе системы, обеспечивая прозрачность и возможность оперативного реагирования.Политики безопасности включают следующие критерии:попытка запуска контейнеров на базе образов, не соответствующих политикам безопасности;попытка запуска контейнеров из-под пользователя root;попытка запуска контейнеров с повышенными привилегиями ядра Linux;контроль запуска контейнеров на базе образов, не прошедших сканирование CTCS.Дополнительно решение поддерживает интеграцию с OPA Gatekeeper и имеет возможность создания и импорта политик через интерфейс CTCS.Безопасность в средах выполнения (Runtime Security)CTCS использует возможности инструмента Tetragon для создания и применения кастомных политик безопасности, позволяющих контролировать сетевые взаимодействия внутри контейнеров. Администраторы могут выбрать набор кластеров для распространения политик, что обеспечивает гибкость при внедрении требований безопасности.Вся информация о срабатываниях политик фиксируется в интерфейсе CTCS, предоставляя специалистам по информационной безопасности прозрачную картину активности в средах выполнения и возможность оперативного реагирования на инциденты.Безопасность окруженияРешение выполняет сканирование кластеров на соответствие стандартам конфигурирования CIS Kubernetes Benchmarks. Аналогично система проводит проверку standalone-хостов на соответствие CIS Docker Benchmarks. Дополнительно CTCS поддерживает сканирование конфигурационных файлов, расположенных в директориях нод кластеров, выполняя роль сканера на основе IaC (Infrastructure as Code, управление инфраструктурой через использование кода).Внешние интеграцииРешение поддерживает интеграцию с реестрами хранения образов, что обеспечивает доступ к актуальным данным для анализа и контроля безопасности контейнеров. Также CTCS поддерживает передачу журналов событий в системы сбора по протоколу Syslog для их централизованного хранения и обработки.Доступна интеграция с системой идентификации, управления доступом Keycloak с поддержкой OAuth и доменными службами каталогов. Это позволяет пользователям авторизовываться в интерфейсе системы через доменные учётные записи. Рисунок 1. Планы по развитию Crosstech Container Security Архитектура Crosstech Container SecurityАрхитектура CTCS реализована в формате однонаправленных соединений со стороны ядра системы в сторону агентов защиты (протокол TCP/IP), располагающихся в защищаемых кластерах. Такой подход позволяет использовать инстанс ядра в единственном экземпляре для инфраструктур, сегментированных по уровням доверия. Рисунок 2. Логическая архитектура Crosstech Container Security Основные компоненты Crosstech Container SecurityCTCS состоит из 3 основных компонентов:CTCS Core — группа микросервисов, отвечающая за управление системой: хранение данных, настроек, создание политик безопасности, бизнес-логика продукта, а также взаимодействие со смежными системами.CTCS Agent-Manager: модуль агент-менеджера реализован в формате оператора Kubernetes с целью контроля за установкой и изменениями кастомных ресурсов (custom resource definition, CRD), а также управления и передачи информации агент-воркерам, устанавливаемым на каждую защищаемую ноду в формате DaemonSet.CTCS Scanner — модуль, сканирующий образы контейнеров на уязвимости, неправильные конфигурации, конфиденциальные данные, информацию по OSS-лицензиям для пакетов и библиотек из состава образа, а также сканирующий кластеры на соответствие стандартам конфигурирования.Системные требования и лицензирование Crosstech Container SecurityПеред выбором модели лицензирования заказчикам рекомендуется оценить масштаб защищаемой инфраструктуры и нагрузку на кластеры. Crosstech Container Security предусматривает гибкий подход: ядро и агенты могут разворачиваться в разных сегментах сети, включая тестовые и продуктивные среды. Такой принцип позволяет оптимально распределять ресурсы и лицензии, избегая избыточных затрат.ЛицензированиеCTCS лицензируется по количеству защищаемых нод, на которые распространяются агенты защиты.В продукте реализовано гибкое лицензирование, которое позволяет заказчикам самостоятельно выбирать перечень защищаемых объектов. При достижении лимита по количеству лицензий, предусмотренных договором, администратор может отключить часть текущих объектов защиты и переназначить лицензии на новые кластеры и ноды. Рисунок 3. Включение/выключение агентов защиты Рисунок 4. Лицензии CTCS На странице лицензирования доступна подробная информация о параметрах действующей лицензии. Пользователь видит:количество оставшихся дней действия лицензии;количество нод, предусмотренных лицензией;актуальные данные о числе используемых нод в рамках лицензии;сведения о типе лицензии;информация о поставщике;информация о владельце лицензии.Рисунок 5. Страница «Лицензирование» Требования к аппаратной частиКластер, на котором производится установка CTCS, должен соответствовать минимальным характеристикам, приведённым ниже. Для определения значений millicpu (единицы времени процессора, эквивалентной тысячной части работы, которую может выполнить одно ядро CPU) рекомендуется воспользоваться документацией Kubernetes.Кластер, на который будет установлен helm-чарт ядра (без учёта сканера) должен иметь характеристики не ниже 8190 millicpu, 7410 MiB RAM.Для каждого экземпляра сканера: 3 CPU, 6 GB RAM, при добавлении дополнительных экземпляров значения увеличиваются пропорционально.В случае использования большего количества реплик значения пропорционально умножаются на их число. По умолчанию в чарте допускается до 6 реплик, что требует 18 CPU, 36 GB RAM.Каждый кластер для развёртывания чарт-агента должен иметь 2 CPU, 8 GB RAM.Необходимый минимум для каждой используемой СУБД PostgreSQL: 4 CPU, 8 GB RAM, 100 GB.Приведённые требования указаны для усреднённой конфигурации и могут быть изменены в зависимости от количества одновременных сканирований образов, генерируемых событий, деплоев, пространств имён (namespaces) и подов.Требования к программной частиДля корректной интеграции и работы приложение CTCS должно быть развёрнуто в кластере Kubernetes. При настройке системы в конфигурационном файле helm-чарта должны быть настроены необходимые параметры.Поддерживаемые контейнерные среды CRI (container runtime interface): containerd и docker.В момент выполнения инструкции на хосте администратора должны быть установлены следующие утилиты для выполнения установки:tar;helm;kubectl.Необходимые сервисы в инфраструктуре:PostgreSQL: рекомендуется размещать базу данных для хранения логов на отдельном инстансе от основной БД, чтобы избежать падения производительности основных операций при большом объёме логируемых событий;Keycloak (опционально, имеется возможность поставки в составе дистрибутива);Vault (опционально, имеется возможность использования стандартного объекта Kubernetes Secret).Требования к операционной системе и ядру:рекомендуется использовать ОС с версией ядра 5.4 или выше для обеспечения поддержки Tetragon;в ядре должна быть включена функция BTF;должны быть активированы модули eBPF и cgroup, а также корректным образом настроены или отключены модули безопасности Linux (LSM), контролирующие запуск eBPF-программ (в соответствии с официальной документацией Tetragon).Требования к версиям Kubernetes:центральная управляющая часть кластера – не ниже версии 1.23;дочерние кластеры – версия 1.23 или выше.Дополнительные требования:В кластере Kubernetes должен быть установлен, подключён и настроен storage class, в котором будет минимум 10 GB свободного места.В master-кластер должен быть установлен External Secrets (опционально).В дочерние кластеры должен быть установлен External Secrets (опционально).Во всех кластерах, где развёртывается ядро и агенты CTCS, должен быть установлен ingress-контроллер.Совокупность этих требований обеспечивает стабильную работу системы и корректное взаимодействие всех модулей CTCS. При соблюдении указанных параметров производительность решения остаётся предсказуемой даже при высокой интенсивности сканирований и большом количестве событий безопасности. Такой подход гарантирует надёжность, масштабируемость и устойчивость контейнерной инфраструктуры.Процесс установкиДля развёртывания CTCS вендор предоставляет архив, содержащий helm-чарты и образы системных контейнеров. При необходимости может быть предоставлена учётная запись для выгрузки дистрибутивов из репозиториев вендора напрямую.Сценарии использованияCrosstech Container Security закрывает ключевые задачи обеспечения безопасности контейнерных платформ — от анализа уязвимостей до защиты на уровне среды выполнения. Решение органично интегрируется в процессы DevSecOps и помогает компаниям повысить устойчивость инфраструктуры к современным киберугрозам без потери скорости разработки.Сценарий №1. Сканирование образовCTCS позволяет выполнять сканирование образов контейнеров, хранящихся как в интегрированных реестрах образов, так и локально в защищаемых кластерах. Рисунок 6. Подключённые реестры После интеграции с реестрами образов на вкладке «Образы» – «Реестры» отображается подключённый реестр и информация о хранящихся в нём образах. Реализовано в формате иерархии:Реестры.Название образа и количество его версий (тегов).Название образа и его версии.Карточка конкретного образа.Рисунок 7. Образ и список его версий Рисунок 8. Карточка образа На каждом уровне иерархии есть возможность запуска сканирования по требованию с выбором типа дефектов, которые будут учитываться в процессе сканирования. Дополнительно предоставляется общая информация об образе, данные о его соответствии установленным политикам, сведения о слоях образов с маппингом на обнаруженные дефекты. Рисунок 9. Слои образа На странице интеграций с реестрами в настройках доступно выставление расписания для проведения автоматизированного сканирования. Рисунок 10. Сканирование по расписанию Для работы с образами, обнаруженными локально в защищаемых кластерах, доступна отдельная вкладка «Образы» – «Локальные образы». Рисунок 11. Таблица локальных образов При запуске процесса сканирования доступен выбор ноды, на которой он будет проводиться. Если обнаруженный образ находится в интегрированном реестре, сканирование будет приоритетно выполняться на стороне ядра системы в рамках интеграции с реестром. Рисунок 12. Выбор нода для проведения сканирования Сценарий №2. Политики безопасности образов контейнеровВ рамках Crosstech Container Security реализовано создание политик безопасности для образов контейнеров. После их настройки система автоматически проверяет все известные образы на соответствие заданным критериям. По результатам проверки на карточке каждого образа отображается информация о соответствии или несоответствии политикам безопасности (Рисунок 7). Если образ нарушает несколько политик безопасности одновременно, в карточке отображается, какие именно политики безопасности были нарушены. Рисунок 13. Создание политики безопасности образов Сценарий №3. Контроль запуска контейнеровВ CTCS доступна интеграция с OPA Gatekeeper, обеспечивающая валидацию контейнерных деплоев и реагирование в соответствии с заданными политиками безопасности.При настройке политик безопасности доступен выбор режима реагирования — оповещение либо блокировка — а также определение перечня критериев безопасности, по которым будет осуществляться контроль. Рисунок 14. Таблица политик валидации и контроля запусков Политики безопасности могут создаваться по выделенным критериям (Рисунок 13) или импортироваться в виде кастомных политик (Рисунок 14). Рисунок 15. Создание политики валидации и контроля запусков Рисунок 16. Импорт кастомных политик безопасности Результаты срабатывания политик доступны в интерфейсе системы, что позволяет оперативно анализировать инциденты и корректировать настройки безопасности. Рисунок 17. Срабатывание политик валидации и контроля запусков Сценарий №4. Мониторинг безопасности сред выполненияВ текущей версии реализован мониторинг безопасности сред выполнения на базе Tetragon, что позволяет контролировать эксплуатацию рабочих нагрузок.В CTCS доступна форма для создания или импорта готовых политик безопасности с возможностью выбора области применения. Рисунок 18. Создание политики среды выполнения При срабатывании политик система отображает перечень событий в формате таблицы. Для каждого события можно перейти в режим детального просмотра, где отображается его идентификатор, дата и время создания, короткое описание и содержание в формате json. Рисунок 19. Событие срабатывания политики среды выполнения ВыводыАнализ решения Crosstech Container Security показал, что в версии 3.0.0 продукт предоставляет широкие функциональные возможности для защиты контейнерной инфраструктуры: от обеспечения безопасности образов контейнеров до контроля запуска и реагирования на нелегитимные процессы в средах выполнения в соответствии с политиками безопасности. CTCS также предоставляет инструменты для проведения сканирований защищаемых кластеров на соответствие стандартам конфигурирования, что повышает уровень безопасности контейнерной инфраструктуры.Достоинства:Архитектура. Благодаря однонаправленным соединениям со стороны ядра системы в сторону агентов защиты обеспечивается соответствие требованиям заказчиков, которые используют «Zero Trust»-модель на уровне сегментов инфраструктуры.Широкая площадь покрытия. CTCS обеспечивает контроль запуска контейнеров не только в рамках оркестратора Kubernetes, но и на отдельных хостах контейнеризации за счёт использования standalone-агентов.Гибкие возможности при работе с API. Весь функционал из веб-интерфейса CTCS также доступен для вызова через API, что позволяет специалистам заказчика решать нетривиальные задачи в рамках своей рабочей деятельности и интегрировать продукт в существующие процессы.Удобство при работе со сканированием образов. Иерархический подход обеспечивает гибкость при выборе области сканирования и повышает прозрачность анализа.Недостатки:Отсутствие возможности встраивания в процесс сборки (CI/CD) (планируется к реализации в первом квартале 2026 года).Отсутствие данных по ресурсам Kubernetes (Workloads, RBAC, Custom Resources, Feature Gates): планируется в 4-м квартале 2025 – 1-м квартале 2026).Отсутствие настройки гибкого разграничения прав доступа пользователей в интерфейс системы (реализация запланирована на первый квартал 2026).Отсутствие отчётности по результатам работы с системой (планируется в первом квартале 2026).Реклама, 18+. ООО «Кросстех Солюшнс Групп» ИНН 7722687219ERID: 2VfnxvVGwXfЧитать далее
    • demkd
    • PR55.RP55
      И ещё это: https://www.comss.ru/page.php?id=18330 Это и на работе Образов с Live CD может сказаться ?
×