Перейти к содержанию
Иван

Panda Software: Competitive Benchmark (Veritest, Dec 2006)

Recommended Posts

Иван

Нашел тут тест, он заказан Пандой, но тем не менее результаты остальных вендоров интересны. Если вкратце тест показывает насколько запущенная задача сканирования замедляет работу пользователя, которая имитируется различными тестами WorldBench 5.0

Panda Software: Competitive Benchmark

Test report prepared under contract from Panda Software

RETAIL PRODUCTS

MCAFEE

· McAfee Internet Security 2007 [7.0.329]

SYMANTEC

· Norton Internet Security 2007 [10.0.0.86]

PANDA SOFTWARE

· Panda Internet Security 2007 [11.00.02]

KASPERSKY INTERNET SECURTIY

· Kaspersky Internet Security [6.0.0.303]

TREND MICRO

· PC-cillin Internet Security 2007 [15.00.1433]

The purpose of the first test was to demonstrate the performance impact that the presence of an antivirus application has on a computer. Utilizing WorldBench 5.0 software from the PC World Test Center, VeriTest Engineers were able to obtain a baseline performance average of a computer with no antivirus software installed. Each individual antivirus application was then installed and tested for PC performance impact using WorldBench 5.0 software. The second test tracked the length of time necessary to scan a 1GB file set. This file set consisted of many

levels of folders and many different file types, including compressed files. Known infected files were included in order to assure that each product was scanning for viruses.

Testing methodology

VeriTest configured three identical Windows XP Professional workstations. Each workstation was a Dell Optiplex GX 620 with 3.4 GHz processor and 1 GB of RAM. An ATI Radeon 9250 video card was also added to each PC. VeriTest engineers installed and configured a fully patched installation of Windows XP Professional on each PC.

Impact on World Bench 5 Performance

WorldBench 5.0 was then installed and configured. Using Norton Ghost, a hard drive image was saved to a remote storage device so that the PC may be returned to a fresh baseline when needed.

Utilizing WorldBench 5.0 software, a “Full Run” test was executed on each PC. This test included three iterations wherein all tests would be completed three times to achieve an average result. WorldBench 5.0 software executed a series of tests to determine the time taken to complete each complex task. Upon completion of the “Full Run” series of testing, the results were exported. The PC was then returned to a fresh baseline state via restoration of drive image. These “Full Run” results provide the baseline performance statistics required to compare future test results against.

The WorldBench 5.0 benchmark software is very sensitive to other applications running in the same environment in which it operates. Due to this, some of the products being tested required configuration changes in order to suppress pop-up messages. These configuration changes are listed in Appendix B. Immediately after installation, each antivirus application was instructed to complete all available updates and patches via the Internet. Utilizing WorldBench 5.0, a “Full Run” test was executed twice, completing six iterations of each World Bench 5 application test. The results from each test were exported and averaged to produce the results shown in the Test Results.

WorldBench 5.0 is a tool for measuring a computers “real-world” performance capability. WorldBench 5.0 automatically executes functions within popular desktop applications. WorldBench 5.0 times the completion of these functions to produce its scoring results.

WorldBench 5.0 executes tests through automated functions using the following bundled software:

1. ACD Systems ACDSee PowerPack 5.0

2. Adobe Photoshop 7.0.1

3. Adobe Premier 6.5

4. Ahead Software Nero Express 6.0.0.3

5. Discreet 3ds Max 5.1 (DirectX)

6. Discreet 3ds max 5.1 (OpenGL)

7. Microsoft Office XP with SP-2

8. Microsoft Windows Media Encoder 9.0

9. Mozilla 1.4

10. Multitasking: Mozilla and Windows Media Encoder

11. Musicmatch Jukebox 7.10

12. Roxio VideoWave Movie Creator 1.5

13. WinZip Computing WinZip 8.1

WorldBench1.JPG

WorldBench2.JPG

WorldBench3.JPG

post-10-1181767589.jpg

post-1-1181767589.jpg

post-1-1181767590.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr.Golova

Гм, странный тест. Если он заказной, то КАВ не должен идти в ровень с пандой. Можно же было подобрать тестовый набор чтоба медвед был явно впереди. Панда же явно тормознее шестерки на стандартном наборе пользователя. Что-то их ПР отдел халтурит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Я думаю они правильно сделали, что по результатам они не односзначно самые быстрые. Во-первых, это выглядит более достоверно в глазах пользователей, во-вторых их цель была показать, что они быстрее Symantec, McAfee и Trend Micro. Тест эту задачу решает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • Ego Dekker
      Домашние антивирусы были обновлены до версии 14.1.20.
    • AM_Bot
      Компания «АВ Софт» является российским производителем средств обеспечения информационной безопасности, которые вендор разрабатывает с 2010 г. Портфель продуктов включает в себя систему защиты от целевых атак ATHENA, программный комплекс для имитации корпоративной инфраструктуры LOKI, антивирусный мультисканер OCTOPUS, корпоративный мессенджер BOND и другие продукты, уже зарекомендовавшие себя у российских заказчиков.    ВведениеПозиционирование вендора на рынкеСектор рынкаATHENALOKIOCTOPUSBONDCRIMLABNFIКатегории заказчиковНовые продуктыЗарубежные проектыГибкость и адаптация решенийПартнёрская сетьСертификацияПодведение итоговВыводыВведениеБренд «АВ Софт» придумал Антон Чухнов, основатель компании, имея скромное желание изменить индустрию информационной безопасности в России. Сердце потребителей планировалось пронзить стрелой чего-то нового и оригинального.В 2010 году системы на базе технологии «песочницы» обладали слабой гравитацией на рынке, многим идея казалась неперспективной и странной. Антон пришел от неё в восторг и объединил в первом прототипе системы ATHENA возможность анализировать поведение программного обеспечения с антивирусным мультисканером. Единство технологий принесло первый коммерческий успех, который стал отправной точкой для набора команды и развития продукта.В 2016–2019 гг. палитра предложений компании существенно увеличилась. В ней появились классы решений по маскировке операционных систем, защите мобильных устройств и мониторингу компрометации сетевых устройств. Каждое разработанное решение имеет свой стиль и концептуальное преподнесение. Система ATHENA стала флагманским продуктом и гибко адаптировалась под различные инфраструктурные пожелания заказчиков. Компания стала участником ассоциации АРПП «Отечественный софт», резидентом инновационного центра «Сколково», выиграла несколько конкурсов по инновациям в сфере ИТ и безопасности.В 2020 г. компания «АВ Софт» стала лауреатом гранта российского фонда РФРИТ по разработке системы ложных распределённых целей на базе технологии «deception». Новое решение позволит имитировать ИТ-инфраструктуру организации и заманивать злоумышленников в «ловушки», оберегая реальные устройства от кибератак. Система ATHENA была выбрана для участия в отечественном мультисканере (аналоге VirusTotal), который уже активно проходит тестирование. Также компании удалось развить партнёрскую сеть и реализовать ряд научно-технологических проектов.В команде есть всё необходимое для развития и роста: концентрация идей, потенциал для создания новых продуктов и самый важный бриллиант для любого вендора — доверие заказчиков.Позиционирование вендора на рынкеОбъективная оценка вендора на рынке играет важную роль для потребителей продуктов и услуг в области информационной безопасности. Управление рисками при выборе поставщика решений для защиты ИТ-инфраструктуры требует высоких профессиональных компетенций. Базовая оценка контрагента, выполняемая финансовым отделом, может упустить важные аспекты этой весьма наукоёмкой сферы.Можно выделить следующие направления анализа организаций, специализирующихся на разработке программного обеспечения и оказании услуг в области информационной безопасности:сектор рынка,категории заказчиков,создание новых продуктов,зарубежные проекты,гибкость и адаптация решений,партнёрская сеть,сертификация.Оценка всегда предполагает градацию её уровней, поэтому была разработана шкала присвоения веса по каждому параметру оценки. Таблица 1. Параметры оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию Сектор рынкаЗдесь важно учесть возможность не только начитаться маркетинговых материалов на сайте, но и получить пробную версию или возможность организации «пилота», который не потерпит крушение, что достоверно подтвердит наличие самих продуктов.У компании «АВ Софт» есть следующие направления решений:антивирусный мультисканер,песочница (sandbox),ловушки (deception),контроль сетевого взаимодействия устройств,криминалистический анализ,безопасная коммуникация.Разнообразие направлений продуктов в компании даёт представление о системном охвате рынка, развитии смежных компетенций у специалистов и потенциальной возможности построения сложных конструкций в ИТ-инфраструктуре.Пробные версии показывают возможности продуктов компании, о которых будет рассказано далее.ATHENAФлагманский продукт по защите от целенаправленных атак AVSOFT ATHENA SANDBOX с помощью методов поведенческого анализа и искусственного интеллекта способен проверять всю входящую в компанию информацию на наличие опасного и вредоносного содержимого.Внутри системы ATHENA присутствует множество инструментов проверки, которые можно разделить на два больших блока анализа: статический и динамический. Рисунок 1. Интерфейс системы ATHENA При прохождении файлом или веб-ссылкой статического вида анализа выполняется проверка контента на наличие известных сигнатур множеством локальных антивирусных ядер, синтаксическими анализаторами (парсерами) и искусственным интеллектом, а также осуществляется сбор информации по исследуемому объекту во внешних репутационных базах данных.При динамической проверке осуществляется анализ поведения файла в имитационной среде — «песочнице» (она может быть как виртуальной, так и физической), которая соответствует реальному рабочему месту пользователя или серверу компании. В ней происходят запуск файла, провоцирование его на вредоносные действия, сбор событий о его поведении и вынесение вердикта на основе результатов аналитического блока и поведенческих сигнатур, которые разработаны командой аналитиков «АВ Софт».Стоит отметить, что в системе ATHENA присутствует широкая линейка поддерживаемых в песочницах операционных систем, включающая отечественные ОС:Microsoft Windows;Linux:Astra Linux,RedOS,Alt Linux,Red Hat Enterprise Linux,Debian,Ubuntu,openSUSE,CentOS;Android.После завершения всех видов анализа система ATHENA отображает подробный отчёт. Рисунок 2. Отчёт по проверке в системе ATHENA Рисунок 3. Отчёт по проверке сетевого трафика в системе ATHENA Важно обращать внимание на современность и удобство интерфейсов систем, которые вы берёте попробовать. Сейчас уже вполне устойчиво сформировались общепризнанные требования и правила по эргономике, грамотному использованию цветовых палитр, а также интерактивным возможностям современного программного обеспечения. Если вы осознаёте, что интерфейс часто вводит вас в заблуждение или недоумение, т. е. вы не понимаете, куда нужно двигаться и что делать, и вместо службы доставки вкусного ужина пытаетесь дозвониться до службы поддержки вендора, то что-то идёт не так. Любое нарушение графическими интерфейсами устоявшихся сценариев поведения пользователей тормозит бизнес-процессы компании.LOKIПрограммный комплекс AVSOFT LOKI DECEPTION имитирует корпоративную инфраструктуру на базе технологии «deception» и позволяет виртуально моделировать на различном уровне любое устройство в организации, включая оборудование IoT и IIoT (контроллеры АСУ ТП). Рисунок 4. Интерфейс системы LOKI Имитация устройств осуществляется с помощью ловушек (honeypot) и песочниц (sandbox). На рабочих местах сотрудников и серверах разворачиваются приманки, которые ведут в ловушки и песочницы, уводя вектор атаки от реальных устройств.Использовать систему LOKI несложно, достаточно сделать 4 шага:Просканировать подсети для определения состава активных устройств.Система сама предложит ловушки к ним, можно будет просто согласиться с её выбором.Развернуть ловушки в выбранной подсети одной кнопкой.Скачать приманки на рабочие места и установить их. Рисунок 5. Панель статистики системы LOKI Сейчас линейка имитируемых устройств в системе LOKI уже включает в себя большой список типов и моделей, который активно пополняется: рабочие станции, серверы, маршрутизаторы, межсетевые экраны, IP-телефоны, IP-камеры, принтеры и сканеры, PoS-терминалы, ЧПУ-станки. Рисунок 6. Карта сети ловушек и реальных устройств в системе LOKI При работе с программным продуктом не стоит забывать о простоте его использования, чтобы любой шаг был естественен и логично следовал из предыдущего. В системе LOKI есть эта особенность, хотя изначально концепция идеи может сформировать представление о чём-то громоздком и сложном. Конечно, комплексы, автоматизирующие процессы в информационной безопасности, имеют большие функциональные возможности, но продукт должен стараться исключать людей из процесса, выполняя по максимуму всё самостоятельно, т. к. человеческий фактор — это всегда риск.OCTOPUSСистема AVSOFT OCTOPUS MULTISCANNER — это антивирусный мультисканер, который может быстро обрабатывать большие объёмы трафика и подходит в том числе для небольших компаний за счёт невысокой стоимости.Внутри системы — больше 20-ти локальных антивирусных ядер, при желании можно добавить и больше. Помимо этого есть модули статического анализа файлов, модели на базе машинного обучения, интеграция с внешними репутационными сервисами.Можно отправить на проверку самые разнообразные типы файлов: исполняемые, офисные, скрипты, мобильные приложения, архивы, включая многотомные и закрытые паролем, и др. Рисунок 7. Страница проверки файлов в системе OCTOPUS При оценке любой современной системы важно учитывать скорость обработки данных; если вендор предлагает решить её только за счёт «железа», то это — порочная практика, т. к. она всегда ставит перед заказчиком вопрос о дополнительных затратах. Важно уточнять у вендора, как происходит обработка очередей и больших объёмов задач, чтобы подстраховать себя от незапланированных финансовых потоков во внешний мир.BONDAVSOFT BOND MESSENGER — мессенджер для безопасного корпоративного общения. Он позволяет управлять всей коммуникацией в компании через собственный сервер. После развёртывания мессенджера в инфраструктуре никто кроме уполномоченных администраторов из персонала заказчика не имеет доступа к серверу, включая самих разработчиков программы. Рисунок 8. Интерфейс мессенджера BOND Получение быстрого доступа к продукту, как в случае с мессенджером, который можно просто скачать и поставить, даёт возможность сразу оценить его характеристики и принять решение. Если приходится пройти сражение с драконом или спасти принцессу, чтобы получить «пилот» или пробный доступ, то стоит задуматься, стоит ли ввязываться в этот бой, поскольку так же сложно могут быть выстроены и другие процессы, связанные с поддержкой или инсталляцией в инфраструктуру.CRIMLABКриминалистическая лаборатория AVSOFT CRIMLAB ANALYTICS предоставляет инструменты для детального анализа файлов и разнообразной агрегации собранных данных: сравнение исследований, создание коллекций, формирование базы знаний и др. Решение актуально для центров мониторинга информационной безопасности (SOC) и компаний, которые хотят развить компетенции своих специалистов в данной области. Рисунок 9. Схема работы CRIMLAB Решение позволяет проводить детальный анализ содержимого любого типа файлов, изучать его поведение в виртуальных и физических песочницах, тонко индивидуализировать параметры среды исследования и добавлять инструменты исследований, а также осуществлять ретроспективный анализ. Рисунок 10. Подробный отчёт по файлу Возможность тонкой индивидуализации внутренних функций и настроек системы всегда говорит о её гибкости и адаптивности, это уже стало базовым качеством многих современных программных продуктов. Не стоит забывать, что осуществление индивидуализации не должно быть сложным или запутанным, т. к. это повышает риск ошибок, система должна запрещать пользователю выполнять заведомо некорректные настройки.NFIНебольшой программно-аппаратный комплекс AVSOFT NFI контролирует взаимодействие сетевых устройств с внешней сетью (интернетом). NFI представляет собой устройство, которое берёт в кольцо сетевые пакеты, работая на 3-м уровне модели OSI. Инспектор способен оперативно выявить и заблокировать компрометацию любого сетевого устройства и оповестить об этом службу безопасности. Рисунок 11. Схема работы AVSOFT NFI NFI имеет графический интерфейс, в котором можно задавать правила фильтрации и управлять устройством. Рисунок 12. Интерфейс программно-аппаратного устройства NFI Итак, компанией охвачены востребованные направления на рынке информационной безопасности и этих направлений больше 5-ти, что даёт основание присвоить ей 3 балла по принятой методике оценки.Категории заказчиковДля вендора большую роль играет получение опыта с разными категориями заказчиков. Все осознают, что государственные и коммерческие организации — это два больших разных «королевства» со своими требованиями и правилами. Непрерывная реконструкция и анализ многогранных кейсов с клиентами может помочь пересмотреть процесс реализации новых проектов. Заказы от коммерческих компаний преимущественно ориентированы на скорость и оптимизацию затрат, от государственных структур — на соблюдение требований регуляторов, а качество, конечно, интересует всех.Компания «АВ Софт» работает как с государственными, так и с коммерческими заказчиками. Веер направлений деятельности клиентов включает в себя промышленность, транспорт, оказание услуг по безопасности и задачи связанные с обороной. Не присутствуют пока зарубежные заказчики, что позволяет поставить по методике оценки 2 балла.Новые продуктыОриентация на создание новых продуктов — обязательный талисман для всех, кто планирует расти. Сфера кибератак развивается со скоростью гепарда, поэтому вендорам важно не упускать шанса моделировать инструменты охоты, которых ни у кого нет или которым есть куда стремиться по уровню качества. Конкуренты всегда помогают в развитии, никогда не сидят спокойно и ждут возможности забрать себе кусочек того, что кто-то потерял, потому что отстал в развитии. Если компания постоянно генерирует новые идеи и не жалеет ресурсов на развитие новых продуктов, то это выделяет её с точки зрения планирования долгосрочной стратегии.Команда «АВ Софт» почти каждый год выпускает новый продукт, и основная концепция компании как таковая базируется на непрерывном выпуске новых продуктов. По методике можно присвоить ей 3 балла.Зарубежные проектыКогда вендор вращается только в своей домашней зоне, это не даёт ему возможности развиться до уровня международных конкурентов, и тем самым он обрекает себя на стагнацию, которая наступит рано или поздно. Очень важно стремиться расширять круг заказов за границами комфортного «стеклянного шара», адаптируя свои решения под требования заказчиков из других стран.Опыта зарубежных проектов компания «АВ Софт» пока не имела шанса получить, поэтому по методике ей ставим 0 баллов.Гибкость и адаптация решенийСпособность продуктов гибко трансформироваться не всегда удобна вендорам, потому что это влечёт за собой дополнительные ресурсы на поддержку и сопровождение. Но желания заказчиков никто не отменял, и пока они не удовлетворены — это всегда отличный повод для действия. Клиентоориентированный подход уже пронизывает все сферы рынка и требует покориться ему в том числе и от поставщиков решений по информационной безопасности.Индивидуализация продуктов компании «АВ Софт» возможна и является одним из обязательных условий работы с заказчиками, взятых на себя командой. Высокая адаптивность продуктов — это всегда отчасти и риск, но при должной оптимизации этого процесса он даёт гораздо больше, чем ограничения клиентов. Формируется совершенно иной уровень доверия, появляется возможность реализовать действительно полезные проекты. По методике мы можем поставить в данной категории 3 балла.Партнёрская сетьРазвитая партнёрская сеть свидетельствует о доверии и устойчивой позиции вендора на рынке. Если среди партнёров есть крупные интеграторы и дистрибьюторы, то это показывает, что компания получила признание у сильных игроков.У компании «АВ Софт» — больше 15-ти партнёров, что даёт основание выставить ей по методике ещё 3 балла.СертификацияПолучение сертификации — ювелирная работа, которая требует в первую очередь стабильности продуктов и чёткого их соответствия заявленным требованиям. При наличии лицензий можно сделать вывод о том, что присутствует баланс между разработкой новых функций и их устойчивым состоянием.Часть продуктов компании «АВ Софт» имеет сертификацию, остальные находятся в процессе её получения, поэтому в нашей финальной метрике мы можем выставить 2 балла.Подведение итоговВ итоговой таблице компания «АВ Софт» получает 16 баллов, что вполне неплохо, но значит, что есть куда стремиться. Цветом выделены баллы, которые компания получила в результате прохождения оценки в рамках настоящего материала. Таблица 2. Методика оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию ВыводыОценка вендора может быть адаптирована под потребности конкретной организации и особенности защиты её ИТ-инфраструктуры. Рекомендуется также выстраивать управление рисками в части поставки решений по информационной безопасности и методику оценки качества продуктов и услуг вендора. Читать далее
    • andery777
    • Guffy
×