Сравнительный анализ антивирусного ПО - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Сравнительный анализ антивирусного ПО

Recommended Posts

Сергей Ильин

Автор статьи: Иван Стогов (мы знаем его как просто Ивана)

Статья масштабная, делается обзор всех существующих антивирусных тестов. Копировать сюда всю статью не буду, так как она очень большая. Она доступна по ссылке http://www.pcmag.ru/library/sub_detail.php...&SUB_PAGE=1

Краткое содержание:

1. Известное неизвестное

2. Ложные срабатывания страшнее вирусов

3. Лечим то, что не поймали

4. Интегрируем оценки

Результаты всех тестов были сгруппированы по тематитикам и интегрированы в суммарный рейтинг. Вот что из этого получилось.

sravnitelnii_analiz_antivirusnogo_po_9.g

Построение интегрированных рейтингов мне лично видится интересным тем, что в антивирусной защите важны различные аспекты и их все нужно учитывать, что и делается в статье.

Интересно было бы услышать ваши мнения о материале. :?:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Сергей Ильин, спасибо за ссылку.

Идея интегральных тестов весьма интересна и привлекательна, но не в такой топорной реализации.

На самом деле статья небольшая, и я её внимательно прочитал с карандашом в руке.

Обнаружились следующие дефекты:

1. Противоречие в преамбуле статьи. Сначала автор говорит:

Цель данной статьи – “разоблачить” тесты различных исследовательских лабораторий

а потом говорит:

попробовать, основываясь на результатах разнообразных тестов, выработать некую общую интегрированную оценку антивирусов.

Так разоблачить он хочет известные тесты или просто собрать их результаты в кучу?

2. Avira снова получилась в тройке (как и в большинстве тестов, как пишет автор, которые он хочет разоблачить). Не смотря на то, что по ложным срабатываниям она находится на втором месте, а "ложные срабатывания хуже вирусов". Кхм.

3. Снова тест AV-Comparatives за август 2007 года. Была выбрана бета-версия, которая лажанулась. Да, возможно, виноват тот, кто выдал эту версию для тестирования, но данный конкретный тест всё же спорный и я бы его не брал в этот интегральный тест.

4. В тестах "Моделируем реального пользователя" и "Время реакции", судя по графикам, Dr.Web не участвовал. При этом берётся средняя оценка по проведённым тестам для данного продукта. А если бы Dr.Web в этих тестах повёл себя выше среднего?

5. Брались только последние тесты. Я бы брал по несколько тестов каждого типа. Несколько тестов каждого типа Клементи, несколько тестов на время реакции. Ибо в конкретном тесте антивирус может провалиться, и причины тут могут быть совсем не в качестве исследуемого антивируса по данному параметру. Интегральные тесты должны быть интегральными не только по типам тестирования, но и данные по каждому параметру должны быть интегральными по времени.

6. (в качестве шутки) Цитата:

Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения – это команда российского портала Anti-Malware.ru.

Описка по Фрейду? ;)

В общем, мне не понравилось. Слишком много недочётов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Валера, спасибо за комменты, я думаю статья не понравится не только вам.

Обнаружились следующие дефекты:

1. Противоречие в преамбуле статьи. Сначала автор говорит:
Цель данной статьи – “разоблачить” тесты различных исследовательских лабораторий

а потом говорит:

попробовать, основываясь на результатах разнообразных тестов, выработать некую общую интегрированную оценку антивирусов.

Так разоблачить он хочет известные тесты или просто собрать их результаты в кучу?

я в статье постарался рассказать о тестах подробно, чтобы простые люди понимали что стоит за криками, диаграммами и значками предлагаемыми вендорами в своих материалах.

Мне показалось я с этой задачей справился. Цель свести все тесты вместе и рассказать о них, затем постраться сделать интегральную оценку.

2. Avira снова получилась в тройке (как и в большинстве тестов, как пишет автор, которые он хочет разоблачить). Не смотря на то, что по ложным срабатываниям она находится на втором месте, а "ложные срабатывания хуже вирусов". Кхм.

Валера, а что же делать с тем, что у авиры ложных срабатываний на самом деле меньше чем у Доктора Веба, но при этом детект лучше Доктора? :D Тут вот и есть как раз смысл средней оценки. Я мог бы конечно еще каждому тесту свой вес задать, а не просто усреднять, но тогда бы меня обвинили в неправильном выборе весов.

3. Снова тест AV-Comparatives за август 2007 года. Была выбрана бета-версия, которая лажанулась. Да, возможно, виноват тот, кто выдал эту версию для тестирования, но данный конкретный тест всё же спорный и я бы его не брал в этот интегральный тест.

ну эти ваши оханья и аханья мы все прекрасно помним. Я в принципе не знаю тестов, которые не вызывали споров. Поэтому следуя вашей логике тесты бесполезны как явление. Пов ашему конкретному случаю в статье приведен еще тест AV-Test на общий детект, там положение Доктора не лучше.

4. В тестах "Моделируем реального пользователя" и "Время реакции", судя по графикам, Dr.Web не участвовал. При этом берётся средняя оценка по проведённым тестам для данного продукта. А если бы Dr.Web в этих тестах повёл себя выше среднего?

Нет не берется Валера, среднее берется только по тем тестам, в которых продукт участвовал. В противном случае это была бы полная дурь ставить неучаствовавшему продукту 0 и усреднять потом - так бы Доктор был бы еще ниже.

В принципе я вполне допускаю, что высокий результат по скорости реакции преподнял бы Доктора, но не в тройку лидеров. Более того, если вы оставите в рассмотрении только те тесты, в которых Доктор участвовал, то место Доктора в лучшую сторону не измениться.

5. Брались только последние тесты. Я бы брал по несколько тестов каждого типа. Несколько тестов каждого типа Клементи, несколько тестов на время реакции. Ибо в конкретном тесте антивирус может провалиться, и причины тут могут быть совсем не в качестве исследуемого антивируса по данному параметру. Интегральные тесты должны быть интегральными не только по типам тестирования, но и данные по каждому параметру должны быть интегральными по времени.

очень может быть, но во-первых, это бы усложнило понимание и логику статьи, а во-вторых по большинству тестов, которые я привел, по сравнению с их предыдущими версиями изменений мало. И они бы не повлияли на расстановку сил. Например, укажите мне тест с Доктором, где бы в НЕДАЛЕКОМ прошлом он показывал изумительные результаты, а вот в последнем провалился?

6. (в качестве шутки) Цитата:
Авторам неизвестна только одна группа исследователей, которая проводит тесты на лечение активного заражения – это команда российского портала Anti-Malware.ru.

Описка по Фрейду? ;)

нет по Юнгу :D

В общем, мне не понравилось. Слишком много недочётов.

очень может быть, но не тех что вы, Валера, привели здесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
я в статье постарался рассказать о тестах подробно, чтобы простые люди понимали что стоит за криками, диаграммами и значками предлагаемыми вендорами в своих материалах.

Что конкретно стоит под словом "разоблачить" и почему оно в статье стоит в кавычках? Я не понял, к чему это там вообще. Никакие тесты вы не разоблачали. Вы их взяли как есть. Ваш анализ можно повторить на других тестах со своей методикой тестирования любой пользователь и получить если не совершенно другие, то непохожие результаты.

Мне показалось я с этой задачей справился.

Мне показалось, что не справились. Но я не прошу всех принимать моё мнение.

Валера, а что же делать с тем, что у авиры ложных срабатываний на самом деле меньше чем у Доктора Веба, но при этом детект лучше Доктора? Very Happy

Это было бы более обоснованно, если бы Вы просмотрели несколько тестов на фолсы, а не один. Иначе несерьёзно.

ну эти ваши оханья и аханья мы все прекрасно помним. Я в принципе не знаю тестов, которые не вызывали споров.

Поэтому нужно брать несколько тестов каждого типа, чтобы я не мог такое сказать.

Нет не берется Валера, среднее берется только по тем тестам, в которых продукт участвовал. В противном случае это была бы полная дурь ставить неучаствовавшему продукту 0 и усреднять потом - так бы Доктор был бы еще ниже.

В принципе я вполне допускаю, что высокий результат по скорости реакции преподнял бы Доктора, но не в тройку лидеров. Более того, если вы оставите в рассмотрении только те тесты, в которых Доктор участвовал, то место Доктора в лучшую сторону не измениться.

Тут Вы меня поняли неправильно. Я понял, что Вы берёте среднее значение по тем тестам, которые были проведены и не берёте за 0 результат тестов, если антивирус его не проходил. Проблема в другом. Если бы с Dr.Web эти тесты всё же провели (которые у Вас не проводились с этим продуктом), то результаты по ним моглы бы быть выше, чем средний результат Dr.Web по проведённым тестам. Т.е. в итоге мог получиться больший балл. Теперь понятно? Для корректности проведения такого интегрального теста все антивирусы должны проходить все тесты. Иначе получаются пробелы и средняя температура по палате. Даже если у тестов одинаковые веса (что, конечно, опять же, неправильно).

очень может быть, но во-первых, это бы усложнило понимание и логику статьи,

Чем же? Привели бы вместо конкретных тестов интегральные графики, например, по последним трём проведённым тестам этого типа.

Например, укажите мне тест с Доктором, где бы в НЕДАЛЕКОМ прошлом он показывал изумительные результаты, а вот в последнем провалился?

Вопрос не в Ваших результатах. Я их не пытаюсь оспаривать. Но выводить их нужно на правильных основаниях.

очень может быть, но не тех что вы, Валера, привели здесь.

Это Ваше мнение, и я его тоже ценю, но придерживаюсь своего.

Вы замахнулись на слишком сложное исследование и слишком громко его озаглавили.

Но я заметил, что Вы потратили на достижение соответствующего названию исследования качества слишком мало времени и усилий, подошли к исследованию недостаточно серьёзно.

Я не в коей мере не хочу принизить значимость Вашего исследования. Я лишь надеюсь, что следующее Ваше подобное исследование будет лишено перечисленных мной недостатков.

Удачи Вам в дальнейшей работе.

P.S. И прошу, не называйте меня Валера. Мне кажется это излишним панибратством, а мы тут вроде на форуме "на Вы" общаемся. Вы - Иван, а не Ваня, моё имя - Валерий.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Иван, я решил поисследовать Ваше исследование дальше. И обнаружил ещё несколько любопытных фактов. Не забавы ради, а для размышлений при подготовке будущих исследований.

У вас баллы, выставленные антивирусу по каждому тесту соответствуют месту, занятому антивирусу в этом тесте. Но ведь это же неправильно. Хоть бы раз "Евровидение" посмотрели, где используется нелинейная шкала подсчёта баллов при большом количестве стран-участников. Или Вы только КВН смотрите, где шкала оценок линейна, 3 команды и 5 судей? Так там больше юмора и на оценки там не сильно обижаются.

Но это так, отвлечение.

Смотрим на "Количество успешно пройденных тестов VB100". Согласен, что между 11 наградами и 10 можно в итоговой таблице проставить разницу в 1 балл. А вот между MS и Пандой разрыв в 2 награды, а в результатах - 1. Несоответствие? Конечно.

Посмотрим на другие тесты. "Общий уровень обнаружения ПО". Между Авастом и AVG у вас в итоговой таблице разница в 1 балл, а разница на графике в 0,18%. Между Dr.Web и Пандой в итоговой таблице разница также в 1 бал, но разница на графике - 2,33%. Т.е. промежутки на самом деле отличаются в 13 раз. Возмутительно? Не то слово.

И так дальше по всем тестам. Итого, шкала выставления баллов была выбрана неправильно. Нужно было нормировать результаты каждого теста, чтобы они попали в промежуток от 0 (лучший результат) до 1 (худший результат). Хотя бы так, если сложнее не хотите.

Дальше видим, что у нас 3 теста на детект вирусов (с VB - 4, хотя "количество наград" я бы не стал брать в качестве хорошего критерия вообще. Уровень детекта и фолсов оттуда по-хорошему нужно было вытянуть для продуктов, которые не прошли тест и опять же пронормировать, ибо те, кто не прошли - это не нулевой результат, и не клеймо на антивирусе). Ну так вот. Все эти тесты должны иметь вес 0,25 от остальных тестов - время реакции и эвристик. Хотя бы так, приблизительно. Потому что одинаковые по сути тесты без этого имеют в 4 раза больший вес, не так ли?

Далее. Видим, что у Софоса не пройдено 5 из 8 тестов. Что за ерунда? Что он тогда вообще в таблице делает? Как можно учитывать его результаты? Вот и я не знаю.

Вот Вам и "Интегрируем оценки".

"А в попугаях-то я гораздо длиннее" (с) Удав.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Цитата:

2. Avira снова получилась в тройке (как и в большинстве тестов, как пишет автор, которые он хочет разоблачить). Не смотря на то, что по ложным срабатываниям она находится на втором месте, а "ложные срабатывания хуже вирусов". Кхм.

Валера, а что же делать с тем, что у авиры ложных срабатываний на самом деле меньше чем у Доктора Веба, но при этом детект лучше Доктора? Very Happy Тут вот и есть как раз смысл средней оценки. Я мог бы конечно еще каждому тесту свой вес задать, а не просто усреднять, но тогда бы меня обвинили в неправильном выборе весов.

Я Вам скажу, что делать. Правильно расставлять веса. То, что Авира, находясь на втором месте с конца по фолсам (мы сейчас не берём в расчёт то, что брался всего один тест по фолсам), оказалась в тройке лидеров, говорит, как раз, о неправильно расставленных весах по каждому тесту. 4 теста на детект вытянули Авиру в тройку, а 1 тест на фолсы не смог запихнуть обратно, а должен был бы по всем правилам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Валера, я все понял. :D

Я полностью с Вами согласен что все можно было бы делать по другому и интегрировать не так и тесты разоблачать по другому.

Спорить с Вами по каждому из ваших пунктов времени нет, ибо по прошлому опыту процесс сильно затяжной и довольно бесполезный. У меня к Вам другое предложение, у Вас столько ценных идей и замечаний, что в пору сделать правильную оценку с правильной методикой и весами - займитесь?

Если Вы проделаете именно такую работу с карандашем в руках - будет очень полезно, от этого выиграют все!

P.S. выражение "Валера, Вы..." вполне общепринято, я и не думал Вас называть на ты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel

Интересная статья. Согласен со многими пунктами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Я полностью с Вами согласен что все можно было бы делать по другому

Нет, я говорил не то, что делать надо по-другому. Я говорил, что так делать нельзя.

Спорить с Вами по каждому из ваших пунктов времени нет, ибо по прошлому опыту процесс сильно затяжной и довольно бесполезный.

В данной дискуссии я пытаюсь быть достаточно конструктивным.

У меня к Вам другое предложение, у Вас столько ценных идей и замечаний, что в пору сделать правильную оценку с правильной методикой и весами - займитесь?

Я провёл соответствующие расчёты и получил более точные результаты.

Сразу скажу, что и мои результаты меня не устраивают, т.к., как мне кажется, тесты были выбраны неудачно и их было отобрано мало - это работа для будущих исследований, т.к. получившийся результат неустойчив.

Например, что касается Dr.Web, я бы немного подождал и взял все тесты по версии 4.44. Я думаю, что у меня это получится сделать, когда очередной цикл различных тестов по релизу 4.44 произойдёт, тем более, что в последнее время появляется больше _разнообразных_ интересных тестов, а не только тестов на детект.

Пока же я сделал следующее: пронормировал результаты каждого теста от 0 до 1 и взял от 4 тестов на детект среднюю оценку (т.е. считал их за 1 тест).

У меня получились следующие результаты:

Kaspersky 0,838450112

NOD32 0,66903215

Avira 0,650324964

F-Secure 0,565637568

Symantec 0,561489068

Avast! 0,558879084

BitDefender 0,530453476

McAfee 0,504633189

Microsoft 0,471013469

AVG 0,455206937

Panda 0,423199258

Sophos 0,419046294

Dr.Web 0,395981728

Trend Micro 0,317145136

(вверху лучший результат - внизу худший).

Правда же, ситуация уже несколько другая? Конечно, выбранный неудачный и невсеобъемлющий (по моему мнению) набор тестов даёт о себе знать. Но методика подсчёта влияет на результат весьма сильно. Вы с этим согласны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
5. Брались только последние тесты. Я бы брал по несколько тестов каждого типа. Несколько тестов каждого типа Клементи, несколько тестов на время реакции. Ибо в конкретном тесте антивирус может провалиться, и причины тут могут быть совсем не в качестве исследуемого антивируса по данному параметру. Интегральные тесты должны быть интегральными не только по типам тестирования, но и данные по каждому параметру должны быть интегральными по времени.

На мой взгляд лучше брать только последние тесты. Какое имеет значение результат полугодовй давности, старой версии? Потом результаты продукта, скажем по детекту, могут серьезно меняться и старые заслуги в проекции на настоящее время значения не имеют.

Что конкретно стоит под словом "разоблачить" и почему оно в статье стоит в кавычках? Я не понял, к чему это там вообще. Никакие тесты вы не разоблачали. Вы их взяли как есть. Ваш анализ можно повторить на других тестах со своей методикой тестирования любой пользователь и получить если не совершенно другие, то непохожие результаты.

Мне показалось, что правильнее было бы не учитывать "разоблаченные" тесты в итоговых подсчетах. Если они плохие и ничего не показывают, то их и учитывать не стоит. Я не прав?

Добавлено спустя 3 минуты 37 секунд:

Я провёл соответствующие расчёты и получил более точные результаты.

Количество VB тоже учитывалось? Если да, то зачем? Сто раз уже обсуждали, что их значки ничего не показывают ровным счетом.

Добавлено спустя 59 секунд:

Dr.Web 0,395981728

Trend Micro 0,317145136

Перерасчет вышел не в пользу DrWeb :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

В виде графика:

Добавлено спустя 3 минуты 40 секунд:

На мой взгляд лучше брать только последние тесты. Какое имеет значение результат полугодовй давности, старой версии? Потом результаты продукта, скажем по детекту, могут серьезно меняться и старые заслуги в проекции на настоящее время значения не имеют.

Если мы говорим об интегральном тесте, то он должен быть усреднённым и по времени. Если полгода назад детект был хороший, 3 месяца назад просел, то больше вероятность того, что в будущем он снова может возрасти.

Мне показалось, что правильнее было бы не учитывать "разоблаченные" тесты в итоговых подсчетах. Если они плохие и ничего не показывают, то их и учитывать не стоит. Я не прав?

Т.е. попробовать учесть все тесты, кроме детекта? Какие выкинуть? Могу сделать.

Количество VB тоже учитывалось? Если да, то зачем? Сто раз уже обсуждали, что их значки ничего не показывают ровным счетом.

Выкинуть только VB или все тесты на детект? Или какой-то оставить? Или заменить другим тестом? Предлагайте.

Перерасчет вышел не в пользу DrWeb Wink

Я не ставил целью "поднять" Dr.Web. Это к вопросу об объективности и беспристрастности. Моя цель была показать, что методика сильно влияет на результаты. Например, когда будет проведено 4 теста на лечение активного заражения, и если я возьму эти тесты, прибавлю 1 тест на детект (какой сам захочу) и 1 тест на фолсы (какой сам захочу), то по методологии Ивана Dr.Web будет входить в тройку лидеров.

test.jpg

post-322-1195202775.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Выкинуть только VB или все тесты на детект? Или какой-то оставить? Или заменить другим тестом? Предлагайте.

Я бы осталивил все кроме VB, так как коллекция WildList морально устарела и теперь это признают все. Что касается тестов на детект Маркса и Клименти, то их выбрасывать нельзя, иначе этот важный критерий вообще не будет учитываться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

спасибо, Валерий, вот это конструктивный вариант. Хотя в Вашей идее нормирования тоже есть недостатки.

Но я человек тоже конструктивный и пошел по примерно такому же пути улучшения как и Вы, но учел больше Ваших замечаний: исключил из рассмотрения все тесты на детект кроме AV-Test.org - поскольку в этом тесте Доктор Веб брался со своей полнофункциональной (а не бета версией). Тесты VB100% Вы Валера в принципе не рекомендовали использовать в качестве критерия, не используем.

Кроме того я исключил из рассмотрения всех вендоров, которые хотя бы в одном из тестов не участвовали.

Получилась вот такая таблица.

1_122.png

Далее нормирую от 0 до 1, получаю

2_810.png

Результат опять несколько другой. Но что интересно, как не крути Авира высоко, а Доктор низко. А что касается неправильного подбора тестов...давайте другие подберем, предлагайте.

____2.PNG

____1.PNG

post-10-1195203647.png

post-1-1195203647.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Если VB выкинуть, получается так:

Kaspersky 0,840256968

Avira 0,669332807

NOD32 0,648394858

F-Secure 0,584129185

BitDefender 0,560066938

Symantec 0,547430603

Avast! 0,544425042

Microsoft 0,482154563

McAfee 0,474314468

AVG 0,455085414

Panda 0,429974326

Dr.Web 0,379867253

Sophos 0,35005431

Trend Micro 0,313157895

Конечно, снова видим другую картину. Соответственно, мы доказали, что и от выбранных тестов при той же методологии результат меняется, а не только от выбранной методологии при тех же исходных данных.

Виде графика:

Добавлено спустя 5 минут 37 секунд:

Хотя в Вашей идее нормирования тоже есть недостатки.

Они есть везде. Вот видите - 4 разных подхода - 4 разных результата. Какой из них верный? Есть ли среди них верный вообще? Это большой вопрос. СтОит ли по любому из этих 4 вариантов делать выбор неискушённому пользователю? Тоже большой вопрос. Лично я говорю пользователям: "Не смотрите на тесты. Есть демо-версии у любого антивируса. Поставьте, попробуйте, расскажите о проблемах - ведь часто они не стоят и выеденного яйца, мы вам поможем их преодолеть за 5 минут". И когда это происходит, у нас становится на одного пользователя больше.

Поэтому ещё в качестве минуса интегрального теста - нет опросов пользователей о качестве техподдержки, об эргономичности антивирусов, о качестве продуктов. И этим опросам я бы поставил бОльший вес в интегральном тесте. Ибо для кого стараемся?

Вот такие мысли.

test1.jpg

post-322-1195204003.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

результат меняется не спорю, но некие общие мотивы явно прослеживаются

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
результат меняется не спорю, но некие общие мотивы явно прослеживаются

Ну почему же? Вон НОД с середины таблицы до второго места прыгает. Софос - середины таблицы до конца. Всё относительно. Кроме того, набор тестов один и тот же. Да, на этом наборе какие-то общие закономерности видны. Но пройдёт пару месяцев, и эти результаты можно будет выкинуть в мусорку. А у интегрального теста они должны быть, ИМХО, устойчивыми. Поэтому _обязательно_ нужно интегрировать и по времени. Чтобы результаты менялись более плавно. Иначе какая польза, если мы каждый месяц будем пользователю предлагать покупать разный антивирус, если среднее время срока покупаемой лицензии - 1 год?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
результат меняется не спорю, но некие общие мотивы явно прослеживаются

Проследживаются такие:

1. Касперский всегда первый

2. В лидерах всегда Авира

3. Где-то рядом Symantec, F-Secure и Avast

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Я мог бы конечно еще каждому тесту свой вес задать,

Я тут недавно зимние шины покупал, перед этим посмотрел кой-какие тесты, например, такой.

Меня удивило, что люди тормозные свойства взвешивают на уровне разгонной динамики, а управляемость порой ниже разгона.

Лично мне нужно, что машина тормозила хорошо и была управляемой, а не то как я могу со сфетофора стартануть. :)

Это я к тому, что веса, конечно, трудно правильно расставить, но лично для меня могут быть важны скорость реакции и(или) проактивные свойства детекта и "правильные" ложные срабатывания, т.е. те, которые не трут svchost или руссификатор аськи.

А марксов и энгельсов вместе с ВБ надо вообще убрать как не имеющих никакого отношения к реальной жизни и реальным заражениям или незаражениям или же их надо как-то интегрировать с тестом на лечение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel
результат меняется не спорю, но некие общие мотивы явно прослеживаются

Проследживаются такие:

1. Касперский всегда первый

2. В лидерах всегда Авира

3. Где-то рядом Symantec, F-Secure и Avast

Тоже заметил, что Касперский всегда первый. Если добавить, как предлагал Валерий, опросы о качестве техподдержки, об эргономичности антивирусов, о качестве продуктов, думаю, ситуация у Каспера не ухудшится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit
Перерасчет вышел не в пользу DrWeb

1) У Валерия произошел поворот в мировоззрении.

2) Если что - так можно сказать, что методика выставления баллов правильная, но сам анализ по таким-то причинам в корне не верен.

Согласен с Валерием в том, что при методике оценки баллов, избранной Иваном, выводить среднее не совсем корректно.

И еще обидно, что BitDefender не "участвовал" во всех "конкурсах", иначе мог занять место значительно выше.

З.Ы: а в общем и целом за анализ Ивану спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Raven_River

Ребята, вот в списках всяких тестов постоянно присутсвует "Microsoft". Какой продукт ? One Care или Windows Defender?

Если Дефендер то это не антивирус - это antispyware , естественно у него будет детект вируса близиться нулю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Сообщения на тему "Интерактивного помощника по выбору антивируса" выделены в отдельную тему

http://www.anti-malware.ru/phpbb/viewtopic.php?t=3806

Добавлено спустя 16 минут 20 секунд:

Ребята, вот в списках всяких тестов постоянно присутсвует "Microsoft". Какой продукт ? One Care или Windows Defender?

Если Дефендер то это не антивирус - это antispyware , естественно у него будет детект вируса близиться нулю.

Если речь идет об антивирусах, то OneCare Live однозначно. Windows Defender - это не антивирус.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Chaman
На мой взгляд лучше брать только последние тесты. Какое имеет значение результат полугодовй давности, старой версии? Потом результаты продукта, скажем по детекту, могут серьезно меняться и старые заслуги в проекции на настоящее время значения не имеют.

Не согласен, довольно часто, ссылаются на старые тесты (годовой и более давности), "мол, смотрите, какие мы крутые". Учетом прошлых заслуг можно нивелировать результаты выскочек-однодневок.

На предпоследние результаты можно выставить коэффициент 0.5, так не сильно будут видны скачки, если у какого из вендоров будет благоприятная ситуация или неблагоприятная.

К примеру, как когда то лажанулась ЛК с обновлениями и за что не получила VB100%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr.Golova

> Проследживаются такие:

> 1. Касперский всегда первый

> 2. В лидерах всегда Авира

> 3. Где-то рядом Symantec, F-Secure и Avast

А Dr.Web ниразу не попал в TOP-5 (а в большинстве случаев и в TOP-10). Странно? Наверняка это происки империалистов!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 19.0.14.
    • PR55.RP55
      Microsoft ускоряет Проводник в Windows 11 с помощью предзагрузки https://www.comss.ru/page.php?id=18618
    • AM_Bot
      Вендор Crosstech Solutions Group выпустил решение для защиты контейнерной инфраструктуры Crosstech Container Security (CTCS). Оно обеспечивает безопасность контейнерных сред: от сканирования образов до контроля запуска рабочих нагрузок и реагирования на инциденты в средах выполнения.      ВведениеФункциональные возможности Crosstech Container Security2.1. Анализ и контроль безопасности образов2.2. Контроль запуска контейнеров2.3. Безопасность в средах выполнения (Runtime Security)2.4. Безопасность окружения2.5. Внешние интеграцииАрхитектура Crosstech Container Security3.1. Основные компоненты Crosstech Container SecurityСистемные требования и лицензирование Crosstech Container Security4.1. Лицензирование4.2. Требования к аппаратной части4.3. Требования к программной части4.4. Процесс установкиСценарии использования5.1. Сценарий №1. Сканирование образов5.2. Сценарий №2. Политики безопасности образов контейнеров5.3. Сценарий №3. Контроль запуска контейнеров5.4. Сценарий №4. Мониторинг безопасности сред выполненияВыводыВведениеРоссийский рынок контейнерных разработок постоянно растёт. В 2024 году затраты на ПО для контейнеризации достигли 3 млрд рублей — это на 66 % больше, чем в 2023. Контейнерные технологии ускоряют процессы разработки, экономят ресурсы компаний, поэтому их всё чаще внедряют в свою работу ИТ-департаменты.Вместе с ростом масштабов контейнеризации увеличивается и поверхность атак: уязвимости в образах, ошибки конфигураций, несанкционированные действия внутри контейнеров. Crosstech Container Security помогает компаниям выстраивать комплексную систему защиты контейнерной инфраструктуры.Функциональные возможности Crosstech Container SecurityCrosstech Container Security объединяет функции анализа, мониторинга и управления безопасностью контейнерных сред. Решение охватывает весь жизненный цикл контейнера — от момента его создания до удаления. Продукт помогает DevSecOps-командам выявлять уязвимости, проверять конфигурации, контролировать сетевую активность и реагировать на инциденты в режиме реального времени.Анализ и контроль безопасности образовCrosstech Container Security интегрируется с реестрами хранения образов и позволяет проводить их сканирование как в ручном режиме, так и по расписанию. В результате анализа система обнаруживает дефекты в образах: уязвимости, неправильные конфигурации, секреты, а также фиксирует используемые в образах OSS-лицензии для пакетов и библиотек. По каждому найденному дефекту предоставляется детальная информация.CTCS поддерживает экспорт SBOM в форматах SPDX и CycloneDx, что упрощает аудит и обмен данными с другими решениями. Интерфейс продукта предоставляет визуализацию образов с маппингом (сопоставлением данных) на дефекты безопасности. CTCS также осуществляет дискаверинг (обнаружение) образов, располагающихся в защищаемых кластерах и на standalone-хостах.Для автоматизации контроля доступны настраиваемые политики безопасности образов, разделяемые по критериям:наличие уязвимостей в образах контейнеров выше заданной оценки критичности;наличие уязвимостей в образах контейнеров согласно заданным идентификаторам;обнаружение root в Dockerfile;возможность указания перечня образов, на которые будет распространяться созданная политика безопасности образов.При нарушении хотя бы одного из критериев политики администратор получает уведомление в интерфейсе CTCS и может оперативно принять меры: заблокировать образ, исключить его из деплоя или добавить в список исключений с указанием причины. Такой подход обеспечивает прозрачность процессов и повышает уровень доверия к среде разработки и эксплуатации.Контроль запуска контейнеровРешение обеспечивает контроль запуска контейнеров как в средах Kubernetes, так и на отдельных standalone-хостах в соответствии с заданными политиками безопасности. Это позволяет предотвращать запуск рабочих нагрузок, не соответствующих требованиям безопасности компании, ещё на этапе их инициализации.В зависимости от настроек администратор может выбрать режим реагирования: блокирование или оповещение о нарушении политики безопасности. Информация обо всех срабатываниях отображается в интерфейсе системы, обеспечивая прозрачность и возможность оперативного реагирования.Политики безопасности включают следующие критерии:попытка запуска контейнеров на базе образов, не соответствующих политикам безопасности;попытка запуска контейнеров из-под пользователя root;попытка запуска контейнеров с повышенными привилегиями ядра Linux;контроль запуска контейнеров на базе образов, не прошедших сканирование CTCS.Дополнительно решение поддерживает интеграцию с OPA Gatekeeper и имеет возможность создания и импорта политик через интерфейс CTCS.Безопасность в средах выполнения (Runtime Security)CTCS использует возможности инструмента Tetragon для создания и применения кастомных политик безопасности, позволяющих контролировать сетевые взаимодействия внутри контейнеров. Администраторы могут выбрать набор кластеров для распространения политик, что обеспечивает гибкость при внедрении требований безопасности.Вся информация о срабатываниях политик фиксируется в интерфейсе CTCS, предоставляя специалистам по информационной безопасности прозрачную картину активности в средах выполнения и возможность оперативного реагирования на инциденты.Безопасность окруженияРешение выполняет сканирование кластеров на соответствие стандартам конфигурирования CIS Kubernetes Benchmarks. Аналогично система проводит проверку standalone-хостов на соответствие CIS Docker Benchmarks. Дополнительно CTCS поддерживает сканирование конфигурационных файлов, расположенных в директориях нод кластеров, выполняя роль сканера на основе IaC (Infrastructure as Code, управление инфраструктурой через использование кода).Внешние интеграцииРешение поддерживает интеграцию с реестрами хранения образов, что обеспечивает доступ к актуальным данным для анализа и контроля безопасности контейнеров. Также CTCS поддерживает передачу журналов событий в системы сбора по протоколу Syslog для их централизованного хранения и обработки.Доступна интеграция с системой идентификации, управления доступом Keycloak с поддержкой OAuth и доменными службами каталогов. Это позволяет пользователям авторизовываться в интерфейсе системы через доменные учётные записи. Рисунок 1. Планы по развитию Crosstech Container Security Архитектура Crosstech Container SecurityАрхитектура CTCS реализована в формате однонаправленных соединений со стороны ядра системы в сторону агентов защиты (протокол TCP/IP), располагающихся в защищаемых кластерах. Такой подход позволяет использовать инстанс ядра в единственном экземпляре для инфраструктур, сегментированных по уровням доверия. Рисунок 2. Логическая архитектура Crosstech Container Security Основные компоненты Crosstech Container SecurityCTCS состоит из 3 основных компонентов:CTCS Core — группа микросервисов, отвечающая за управление системой: хранение данных, настроек, создание политик безопасности, бизнес-логика продукта, а также взаимодействие со смежными системами.CTCS Agent-Manager: модуль агент-менеджера реализован в формате оператора Kubernetes с целью контроля за установкой и изменениями кастомных ресурсов (custom resource definition, CRD), а также управления и передачи информации агент-воркерам, устанавливаемым на каждую защищаемую ноду в формате DaemonSet.CTCS Scanner — модуль, сканирующий образы контейнеров на уязвимости, неправильные конфигурации, конфиденциальные данные, информацию по OSS-лицензиям для пакетов и библиотек из состава образа, а также сканирующий кластеры на соответствие стандартам конфигурирования.Системные требования и лицензирование Crosstech Container SecurityПеред выбором модели лицензирования заказчикам рекомендуется оценить масштаб защищаемой инфраструктуры и нагрузку на кластеры. Crosstech Container Security предусматривает гибкий подход: ядро и агенты могут разворачиваться в разных сегментах сети, включая тестовые и продуктивные среды. Такой принцип позволяет оптимально распределять ресурсы и лицензии, избегая избыточных затрат.ЛицензированиеCTCS лицензируется по количеству защищаемых нод, на которые распространяются агенты защиты.В продукте реализовано гибкое лицензирование, которое позволяет заказчикам самостоятельно выбирать перечень защищаемых объектов. При достижении лимита по количеству лицензий, предусмотренных договором, администратор может отключить часть текущих объектов защиты и переназначить лицензии на новые кластеры и ноды. Рисунок 3. Включение/выключение агентов защиты Рисунок 4. Лицензии CTCS На странице лицензирования доступна подробная информация о параметрах действующей лицензии. Пользователь видит:количество оставшихся дней действия лицензии;количество нод, предусмотренных лицензией;актуальные данные о числе используемых нод в рамках лицензии;сведения о типе лицензии;информация о поставщике;информация о владельце лицензии.Рисунок 5. Страница «Лицензирование» Требования к аппаратной частиКластер, на котором производится установка CTCS, должен соответствовать минимальным характеристикам, приведённым ниже. Для определения значений millicpu (единицы времени процессора, эквивалентной тысячной части работы, которую может выполнить одно ядро CPU) рекомендуется воспользоваться документацией Kubernetes.Кластер, на который будет установлен helm-чарт ядра (без учёта сканера) должен иметь характеристики не ниже 8190 millicpu, 7410 MiB RAM.Для каждого экземпляра сканера: 3 CPU, 6 GB RAM, при добавлении дополнительных экземпляров значения увеличиваются пропорционально.В случае использования большего количества реплик значения пропорционально умножаются на их число. По умолчанию в чарте допускается до 6 реплик, что требует 18 CPU, 36 GB RAM.Каждый кластер для развёртывания чарт-агента должен иметь 2 CPU, 8 GB RAM.Необходимый минимум для каждой используемой СУБД PostgreSQL: 4 CPU, 8 GB RAM, 100 GB.Приведённые требования указаны для усреднённой конфигурации и могут быть изменены в зависимости от количества одновременных сканирований образов, генерируемых событий, деплоев, пространств имён (namespaces) и подов.Требования к программной частиДля корректной интеграции и работы приложение CTCS должно быть развёрнуто в кластере Kubernetes. При настройке системы в конфигурационном файле helm-чарта должны быть настроены необходимые параметры.Поддерживаемые контейнерные среды CRI (container runtime interface): containerd и docker.В момент выполнения инструкции на хосте администратора должны быть установлены следующие утилиты для выполнения установки:tar;helm;kubectl.Необходимые сервисы в инфраструктуре:PostgreSQL: рекомендуется размещать базу данных для хранения логов на отдельном инстансе от основной БД, чтобы избежать падения производительности основных операций при большом объёме логируемых событий;Keycloak (опционально, имеется возможность поставки в составе дистрибутива);Vault (опционально, имеется возможность использования стандартного объекта Kubernetes Secret).Требования к операционной системе и ядру:рекомендуется использовать ОС с версией ядра 5.4 или выше для обеспечения поддержки Tetragon;в ядре должна быть включена функция BTF;должны быть активированы модули eBPF и cgroup, а также корректным образом настроены или отключены модули безопасности Linux (LSM), контролирующие запуск eBPF-программ (в соответствии с официальной документацией Tetragon).Требования к версиям Kubernetes:центральная управляющая часть кластера – не ниже версии 1.23;дочерние кластеры – версия 1.23 или выше.Дополнительные требования:В кластере Kubernetes должен быть установлен, подключён и настроен storage class, в котором будет минимум 10 GB свободного места.В master-кластер должен быть установлен External Secrets (опционально).В дочерние кластеры должен быть установлен External Secrets (опционально).Во всех кластерах, где развёртывается ядро и агенты CTCS, должен быть установлен ingress-контроллер.Совокупность этих требований обеспечивает стабильную работу системы и корректное взаимодействие всех модулей CTCS. При соблюдении указанных параметров производительность решения остаётся предсказуемой даже при высокой интенсивности сканирований и большом количестве событий безопасности. Такой подход гарантирует надёжность, масштабируемость и устойчивость контейнерной инфраструктуры.Процесс установкиДля развёртывания CTCS вендор предоставляет архив, содержащий helm-чарты и образы системных контейнеров. При необходимости может быть предоставлена учётная запись для выгрузки дистрибутивов из репозиториев вендора напрямую.Сценарии использованияCrosstech Container Security закрывает ключевые задачи обеспечения безопасности контейнерных платформ — от анализа уязвимостей до защиты на уровне среды выполнения. Решение органично интегрируется в процессы DevSecOps и помогает компаниям повысить устойчивость инфраструктуры к современным киберугрозам без потери скорости разработки.Сценарий №1. Сканирование образовCTCS позволяет выполнять сканирование образов контейнеров, хранящихся как в интегрированных реестрах образов, так и локально в защищаемых кластерах. Рисунок 6. Подключённые реестры После интеграции с реестрами образов на вкладке «Образы» – «Реестры» отображается подключённый реестр и информация о хранящихся в нём образах. Реализовано в формате иерархии:Реестры.Название образа и количество его версий (тегов).Название образа и его версии.Карточка конкретного образа.Рисунок 7. Образ и список его версий Рисунок 8. Карточка образа На каждом уровне иерархии есть возможность запуска сканирования по требованию с выбором типа дефектов, которые будут учитываться в процессе сканирования. Дополнительно предоставляется общая информация об образе, данные о его соответствии установленным политикам, сведения о слоях образов с маппингом на обнаруженные дефекты. Рисунок 9. Слои образа На странице интеграций с реестрами в настройках доступно выставление расписания для проведения автоматизированного сканирования. Рисунок 10. Сканирование по расписанию Для работы с образами, обнаруженными локально в защищаемых кластерах, доступна отдельная вкладка «Образы» – «Локальные образы». Рисунок 11. Таблица локальных образов При запуске процесса сканирования доступен выбор ноды, на которой он будет проводиться. Если обнаруженный образ находится в интегрированном реестре, сканирование будет приоритетно выполняться на стороне ядра системы в рамках интеграции с реестром. Рисунок 12. Выбор нода для проведения сканирования Сценарий №2. Политики безопасности образов контейнеровВ рамках Crosstech Container Security реализовано создание политик безопасности для образов контейнеров. После их настройки система автоматически проверяет все известные образы на соответствие заданным критериям. По результатам проверки на карточке каждого образа отображается информация о соответствии или несоответствии политикам безопасности (Рисунок 7). Если образ нарушает несколько политик безопасности одновременно, в карточке отображается, какие именно политики безопасности были нарушены. Рисунок 13. Создание политики безопасности образов Сценарий №3. Контроль запуска контейнеровВ CTCS доступна интеграция с OPA Gatekeeper, обеспечивающая валидацию контейнерных деплоев и реагирование в соответствии с заданными политиками безопасности.При настройке политик безопасности доступен выбор режима реагирования — оповещение либо блокировка — а также определение перечня критериев безопасности, по которым будет осуществляться контроль. Рисунок 14. Таблица политик валидации и контроля запусков Политики безопасности могут создаваться по выделенным критериям (Рисунок 13) или импортироваться в виде кастомных политик (Рисунок 14). Рисунок 15. Создание политики валидации и контроля запусков Рисунок 16. Импорт кастомных политик безопасности Результаты срабатывания политик доступны в интерфейсе системы, что позволяет оперативно анализировать инциденты и корректировать настройки безопасности. Рисунок 17. Срабатывание политик валидации и контроля запусков Сценарий №4. Мониторинг безопасности сред выполненияВ текущей версии реализован мониторинг безопасности сред выполнения на базе Tetragon, что позволяет контролировать эксплуатацию рабочих нагрузок.В CTCS доступна форма для создания или импорта готовых политик безопасности с возможностью выбора области применения. Рисунок 18. Создание политики среды выполнения При срабатывании политик система отображает перечень событий в формате таблицы. Для каждого события можно перейти в режим детального просмотра, где отображается его идентификатор, дата и время создания, короткое описание и содержание в формате json. Рисунок 19. Событие срабатывания политики среды выполнения ВыводыАнализ решения Crosstech Container Security показал, что в версии 3.0.0 продукт предоставляет широкие функциональные возможности для защиты контейнерной инфраструктуры: от обеспечения безопасности образов контейнеров до контроля запуска и реагирования на нелегитимные процессы в средах выполнения в соответствии с политиками безопасности. CTCS также предоставляет инструменты для проведения сканирований защищаемых кластеров на соответствие стандартам конфигурирования, что повышает уровень безопасности контейнерной инфраструктуры.Достоинства:Архитектура. Благодаря однонаправленным соединениям со стороны ядра системы в сторону агентов защиты обеспечивается соответствие требованиям заказчиков, которые используют «Zero Trust»-модель на уровне сегментов инфраструктуры.Широкая площадь покрытия. CTCS обеспечивает контроль запуска контейнеров не только в рамках оркестратора Kubernetes, но и на отдельных хостах контейнеризации за счёт использования standalone-агентов.Гибкие возможности при работе с API. Весь функционал из веб-интерфейса CTCS также доступен для вызова через API, что позволяет специалистам заказчика решать нетривиальные задачи в рамках своей рабочей деятельности и интегрировать продукт в существующие процессы.Удобство при работе со сканированием образов. Иерархический подход обеспечивает гибкость при выборе области сканирования и повышает прозрачность анализа.Недостатки:Отсутствие возможности встраивания в процесс сборки (CI/CD) (планируется к реализации в первом квартале 2026 года).Отсутствие данных по ресурсам Kubernetes (Workloads, RBAC, Custom Resources, Feature Gates): планируется в 4-м квартале 2025 – 1-м квартале 2026).Отсутствие настройки гибкого разграничения прав доступа пользователей в интерфейс системы (реализация запланирована на первый квартал 2026).Отсутствие отчётности по результатам работы с системой (планируется в первом квартале 2026).Реклама, 18+. ООО «Кросстех Солюшнс Групп» ИНН 7722687219ERID: 2VfnxvVGwXfЧитать далее
    • demkd
    • PR55.RP55
      И ещё это: https://www.comss.ru/page.php?id=18330 Это и на работе Образов с Live CD может сказаться ?
×