Тест антивирусов на быстродействие II (подготовка) - Страница 3 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие II (подготовка)

Recommended Posts

Umnik
1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

Почему не SP3 и SP2?

2. Установка типового набора ПО (Office, графика, утилиты, игры).

Можно список типового набора? Какие пакеты, какие программы, какие игры?

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

Можно список? Не нужно недоговоренностей и т.д. и т.п. Выключаем:

- Обновления ОС

- Индексирование диска

- Экономия электропитания

4. Измерение базовых характеристик чистой системы.

Какие базовые характеристики могут быть, если нет списка кейсов? И сколько будет замеров для вывода средней чистой?

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

Какой набор софта? Где можно посмотреть на документы?

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

Не все отключаемо. И это неотключение может быть методом защиты.

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

Никак не первая! Первая - пропускаем, игнорируем. Делаем 10 загрузок, минус первая и берем среднюю от девяти.

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

Копирование откуда куда? С одного винта на другой? Из шары на флешку? Какая коллекция? В ней должны быть и мелкие файлы, и большие. И проверяемого формата, и не проверяемого (+ расширения). Нельзя откат! Так нарушается работа технологий оптимизации и в результате этот тест будет не пригоден для пользователя, но пригоден для разработчиков, которых интересует влияние движка. Пользователь же будет работать без отключения оптимизаций и получит другие результаты.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

Зачем отключать оптимизацию, опять же?

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

Если так, то в первом случае можно отключить оптимизацию, а этот кейс оставить не факультативным, а зачетным. В процессе каждодневной работы пользователя с ОДС и ОАС накопляются данные для оптимизации и этот кейс будет ближе к его реальности, нежели предыдущий. Он не должен быть факультативным.

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

А FTP? А по каким портам? А какой набор?

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

А может не старта приложений, а открытие документов? Рааазных. Плюс их сохранение.

III Измерение потребления ресурсов

Плюс запускаем скан по расписанию каждые полчаса, обновлятор по расписанию каждые 2 часа и оставляем часов на 12. Затем отключаем расписание и ждем 30 минут, снимаем показатели. Продукты должны уметь высвободжать ресурсы. Проверку все ОС я могу оставить на ночь или включить ее перед уходом на прогулку, но после ее окончания я должен быть уверен, что память освободилась и нагрузка на ЦП упала до нормальных значений.

Да, нужно проверить:

1. Копирование файлов в/из сетевой шары

2. Копирование файлов из одной папки в другую в пределах ЖД

3. Копирование файлов с ЖД с/на сменный носитель

4. Удаление файлов (обычных чистых файлов, удаление пользователем, а не продуктом как зараженных)

5. Архивация/Разархивация (zip, rar, 7zip)

Все это предварительно на чистой ОС, конечно. Минимум 5 раз для получения средней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Почему не SP3 и SP2?

Потому что методология старая- 2008 года.

Предлагаю еще и Windows 7. Если тестирование будет после 22 октября 2009 года.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Например, с тем. что некоторые антивирусы после инсталляции в фоновом режиме, не торопясь, проверяют содержимое дисков, запоминают даты изменения файлов и потом проверяют их только, если они вновь изменены?

Ведь тут с точки зрения быстродействия - потенциальный плюс, но не сразу.

С точки же зрения безопасности - не уверен, что плюс, но в этом тесте ведь не это самое главное, да? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
Кстати, выбор настроек можно было бы оставить за вендором, разработчиком конкретного продукта, но с условием, что эти настройки будут едины для всей серии тестов. Каждый из вендоров сам должен принять решение какую репутацию он хочет обрести, а в каком из тестов проиграть

а по сути каждый из вендоров эти настройки определил - по умолчанию все настройки уже "лучшие", справедливо будет их таким образом и оставить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Мой пост читал? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ответы будут? Или тест запустится без изменения методы, которая является неправильной с точки зрения энд юзера?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Мой пост читал? :)

(осторожно)

Да...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

По теме:

Чпок!

там правда только касаемо Висту и 7-ки, но все-равно будет полезно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit
Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

интересно увидеть, как идет повторная проверка, но уже после обновления баз... с учетом частых (но нужных) обновлений, это была бы интересная картина...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

детишек,любителей суперновых игр-в счет не брать,у них пк меняются чаще.

... 1000$ - я за AMD 6000+ 4 gb RAM и видеокарту с 1 GB на борту отдал 300$ поменее...без монитора..)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
и видеокарту с 1 GB

на таких и рассчитан этот лохотрон...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
на таких и рассчитан этот лохотрон...

Весьма нелюбезно,фи...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hitman_007

и все же срок выхода январь...ну что же, всех тогда с наступающим! :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Начали выкладывать. Уже можно ознакомиться с новой методологией http://www.anti-malware.ru/node/2185

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

А результаты сегодня?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
А результаты сегодня?

Нет, чуть позже, все уже готово, собираются комментарии аверов, делаются последние штрихи для отчетности перед народом :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Хочу сразу обратить внимание, что мы сменили схему награждения, если сравнивать с прошлым тестом: отказались от номинации за минимальное влияние на загрузку ОС, стали учитывать оптимизацию при сканировании для on-demand сканеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA

Acronis True Image использованный в тестировании, на данный момент и есть лучшая защита для пользователя, извиняюсь за офф. :)

Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Обычный Backup

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss
Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Награды за быстродействие антивирусных мониторов, которые можно получить за 20-50% тормоза (золото) и за тормоза на уровне 50-100-150% (серебро и бронза) это новое слово в тестировании быстродействия.

На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки". Но тормозов уровня 100-150% не давал даже заслуженный тормоз КАВ 4.

Собираетесь подарить каждому партнеру по бонусной золотой, серебряной или платиновой медальке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки".

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

[q]Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает более 6 минут[/q]

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Hiss, спасибо за вопросы, попробую объяснить.

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

Если у нас без антивируса файлы копируются 3 минуты, а после установки антивируса - 7.5 минут, то это будет означать как раз замедление на 150%. Обычная формула процента: замедление равно=(7.5-3)*100/3.

Или же если "в разах" мерить, то будет как раз 2.5 раза, т.е. вы все верно написали.

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Я там поправил, чтобы было корректнее: Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает 6 минут и есть существенная оптимизация в последующих итерациях.

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Как-то рука не поднимается оставить "самый быстрый антивирус" без медали ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Как-то рука не поднимается оставить "самый быстрый антивирус" без медали wink.gif

Ах вот почему Виталик бесится :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
    • PR55.RP55
      И ещё это: https://www.comss.ru/page.php?id=18330 Это и на работе Образов с Live CD может сказаться ?
    • PR55.RP55
      Тема: https://www.comss.ru/page.php?id=18331    " Ошибка проявляется в том, что при закрытии окна программы с помощью кнопки Закрыть (X) процесс taskmgr.exe не завершается полностью. При повторном открытии Диспетчера задач предыдущий экземпляр продолжает работать в фоне, хотя окно не отображается. В результате со временем накапливаются несколько процессов, что приводит к избыточному потреблению ресурсов системы и снижению производительности... " и это натолкнуло на мыслю. Раз есть такая проблема с taskmgr - то это может повториться с "любой" другой программой... т.е. можно? Реализовать команды: " Обнаружить и завершить все нетипично активные экземпляры Системных процессов\программ".  и " Обнаружить и завершить все нетипично активные экземпляры не Системных...". Такое может быть и с браузерами - например Firefox - если есть две версии программы установленные в разные каталоги и пользователь их запускает - часто бывает неполное завершение. тогда жрёт всё и вся...  
    • Ego Dekker
      Компания ESET (/исэ́т/) ― лидер в области информационной безопасности ― сообщает об обновлении ESET HOME Security Essential и ESET HOME Security Premium, комплексных подписок для защиты устройств домашних пользователей, и ESET Small Business Security, решения для малого бизнеса.

      Среди новинок ― функция восстановления после атак программ-вымогателей, мониторинг микрофона и улучшения безопасности при просмотре веб-сайтов, а также VPN, который предотвращает нежелательное отслеживание, обеспечивая неограниченный доступ к онлайн-контенту. Поскольку мошенничество сегодня является глобальной угрозой для всех пользователей, ESET обеспечивает усовершенствованную защиту от различных мошеннических методов, противодействуя атакам из разных типов источников, включая SMS-сообщения, электронную почту, телефонные звонки, URL-адреса, QR-коды, вредоносные файлы и другие.

      Обновленная платформа ESET HOME также упрощает управление безопасностью, что облегчает пользователям защиту своих семей, а владельцам малого бизнеса позволяет точно отслеживать защищенные устройства, а также устанавливать программы безопасности на все устройства благодаря доступному и понятному интерфейсу. 

      «Как поставщик передовых решений для защиты цифровой жизни, ESET тщательно отслеживает текущую ситуацию с угрозами и соответственно разрабатывает свои решения по кибербезопасности, ― комментирует вице-президент ESET в сегменте домашних пользователей и Интернета вещей. ― Усиленная защита от мошенничества, новая функция восстановления после атак программ-вымогателей и многочисленные усовершенствования безопасности конфиденциальных данных делают продукты ESET для домашних пользователей и малых предприятий мощными комплексными решениями, которые сочетают минимальное влияние на продуктивность и простоту в использовании».

      Решения для домашних устройств и малого бизнеса защищают все основные операционные системы ― Windows, macOS, Android ― и поддерживают разные устройства умного дома. Кроме того, ESET Small Business Security также защищает серверы Windows.

      Основные улучшения для пользователей Windows:

      •    Добавлен VPN (теперь доступно в подписке ESET HOME Security Premium): функция защитит сетевое подключение благодаря анонимному IP-адресу, а безлимитная пропускная способность обеспечит неограниченный доступ к онлайн-контенту. Кроме Windows, VPN также доступен пользователям MacOS, Android и iOS.

      •    Усилена защита конфиденциальных данных (доступно в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security): новый мониторинг микрофона обнаруживает и уведомляет пользователей о несанкционированных попытках доступа к микрофону на устройствах Windows.

      •    Улучшена безопасность при использовании браузера (доступно в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security) для защиты от фишинга, мошенничества и вредоносных веб-сайтов. Эта функция сканирует воспроизводимый HTML-код в браузере, чтобы обнаружить вредоносное содержимое, которое не фиксируется на уровне сети и с помощью «черного» списка URL.

      •    Добавлено восстановление после атак программ-вымогателей (доступно в решении ESET Small Business Security): первоначально разработанная для крупного бизнеса, функция позволяет минимизировать ущерб, вызванный этими угрозами. Как только защита от программ-вымогателей выявляет потенциальную угрозу, функция восстановления после атак немедленно создает резервные копии файлов, а после устранения опасности восстанавливает файлы, эффективно возвращая систему в прежнее состояние. Основные улучшения для пользователей macOS (доступны в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security):

      •    Поддержка macOS 26 (Tahoe) позволяет использовать защиту на текущей версии macOS.

      •    Поддержка HTTPS & HTTP/3 улучшает безопасность пользователей в Интернете.

      •    Управление устройствами контролирует внешние устройства, подключенные к Mac. Функция помогает защитить от вредоносного программного обеспечения и несанкционированной передачи данных, ограничивая доступ к определенным типам или даже отдельным устройствам. Следует отметить, что эти усовершенствования помогут противодействовать постоянно совершенствующимся угрозам с особым акцентом на предотвращение. Компания ESET также считает чрезвычайно важным сочетание кибергигиены с удобной защитой, поскольку действительно эффективная кибербезопасность должна быть простой в настройке и управлении.

      Более подробная информация о многоуровневой защите устройств домашних пользователей и решении для малого бизнеса. Пресс-выпуск.
    • Ego Dekker
      ESET NOD32 Antivirus 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Internet Security 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Smart Security Premium 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Security Ultimate 19.0.11  (Windows 10/11, 64-разрядная)
                                                                                  ● ● ● ●
              Руководство пользователя ESET NOD32 Antivirus 19  (PDF-файл)
              Руководство пользователя ESET Internet Security 19  (PDF-файл)
              Руководство пользователя ESET Smart Security Premium 19  (PDF-файл)
              Руководство пользователя ESET Security Ultimate 19  (PDF-файл)
              
      Полезные ссылки:
      Технологии ESET
      ESET Online Scanner
      Удаление антивирусов других компаний
      Как удалить антивирус 19-й версии полностью?
×