Тест антивирусов на быстродействие II (подготовка) - Страница 3 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие II (подготовка)

Recommended Posts

Umnik
1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

Почему не SP3 и SP2?

2. Установка типового набора ПО (Office, графика, утилиты, игры).

Можно список типового набора? Какие пакеты, какие программы, какие игры?

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

Можно список? Не нужно недоговоренностей и т.д. и т.п. Выключаем:

- Обновления ОС

- Индексирование диска

- Экономия электропитания

4. Измерение базовых характеристик чистой системы.

Какие базовые характеристики могут быть, если нет списка кейсов? И сколько будет замеров для вывода средней чистой?

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

Какой набор софта? Где можно посмотреть на документы?

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

Не все отключаемо. И это неотключение может быть методом защиты.

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

Никак не первая! Первая - пропускаем, игнорируем. Делаем 10 загрузок, минус первая и берем среднюю от девяти.

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

Копирование откуда куда? С одного винта на другой? Из шары на флешку? Какая коллекция? В ней должны быть и мелкие файлы, и большие. И проверяемого формата, и не проверяемого (+ расширения). Нельзя откат! Так нарушается работа технологий оптимизации и в результате этот тест будет не пригоден для пользователя, но пригоден для разработчиков, которых интересует влияние движка. Пользователь же будет работать без отключения оптимизаций и получит другие результаты.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

Зачем отключать оптимизацию, опять же?

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

Если так, то в первом случае можно отключить оптимизацию, а этот кейс оставить не факультативным, а зачетным. В процессе каждодневной работы пользователя с ОДС и ОАС накопляются данные для оптимизации и этот кейс будет ближе к его реальности, нежели предыдущий. Он не должен быть факультативным.

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

А FTP? А по каким портам? А какой набор?

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

А может не старта приложений, а открытие документов? Рааазных. Плюс их сохранение.

III Измерение потребления ресурсов

Плюс запускаем скан по расписанию каждые полчаса, обновлятор по расписанию каждые 2 часа и оставляем часов на 12. Затем отключаем расписание и ждем 30 минут, снимаем показатели. Продукты должны уметь высвободжать ресурсы. Проверку все ОС я могу оставить на ночь или включить ее перед уходом на прогулку, но после ее окончания я должен быть уверен, что память освободилась и нагрузка на ЦП упала до нормальных значений.

Да, нужно проверить:

1. Копирование файлов в/из сетевой шары

2. Копирование файлов из одной папки в другую в пределах ЖД

3. Копирование файлов с ЖД с/на сменный носитель

4. Удаление файлов (обычных чистых файлов, удаление пользователем, а не продуктом как зараженных)

5. Архивация/Разархивация (zip, rar, 7zip)

Все это предварительно на чистой ОС, конечно. Минимум 5 раз для получения средней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Почему не SP3 и SP2?

Потому что методология старая- 2008 года.

Предлагаю еще и Windows 7. Если тестирование будет после 22 октября 2009 года.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Например, с тем. что некоторые антивирусы после инсталляции в фоновом режиме, не торопясь, проверяют содержимое дисков, запоминают даты изменения файлов и потом проверяют их только, если они вновь изменены?

Ведь тут с точки зрения быстродействия - потенциальный плюс, но не сразу.

С точки же зрения безопасности - не уверен, что плюс, но в этом тесте ведь не это самое главное, да? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
Кстати, выбор настроек можно было бы оставить за вендором, разработчиком конкретного продукта, но с условием, что эти настройки будут едины для всей серии тестов. Каждый из вендоров сам должен принять решение какую репутацию он хочет обрести, а в каком из тестов проиграть

а по сути каждый из вендоров эти настройки определил - по умолчанию все настройки уже "лучшие", справедливо будет их таким образом и оставить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Мой пост читал? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ответы будут? Или тест запустится без изменения методы, которая является неправильной с точки зрения энд юзера?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Мой пост читал? :)

(осторожно)

Да...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

По теме:

Чпок!

там правда только касаемо Висту и 7-ки, но все-равно будет полезно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit
Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

интересно увидеть, как идет повторная проверка, но уже после обновления баз... с учетом частых (но нужных) обновлений, это была бы интересная картина...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

детишек,любителей суперновых игр-в счет не брать,у них пк меняются чаще.

... 1000$ - я за AMD 6000+ 4 gb RAM и видеокарту с 1 GB на борту отдал 300$ поменее...без монитора..)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
и видеокарту с 1 GB

на таких и рассчитан этот лохотрон...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
на таких и рассчитан этот лохотрон...

Весьма нелюбезно,фи...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hitman_007

и все же срок выхода январь...ну что же, всех тогда с наступающим! :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Начали выкладывать. Уже можно ознакомиться с новой методологией http://www.anti-malware.ru/node/2185

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

А результаты сегодня?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
А результаты сегодня?

Нет, чуть позже, все уже готово, собираются комментарии аверов, делаются последние штрихи для отчетности перед народом :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Хочу сразу обратить внимание, что мы сменили схему награждения, если сравнивать с прошлым тестом: отказались от номинации за минимальное влияние на загрузку ОС, стали учитывать оптимизацию при сканировании для on-demand сканеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA

Acronis True Image использованный в тестировании, на данный момент и есть лучшая защита для пользователя, извиняюсь за офф. :)

Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Обычный Backup

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss
Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Награды за быстродействие антивирусных мониторов, которые можно получить за 20-50% тормоза (золото) и за тормоза на уровне 50-100-150% (серебро и бронза) это новое слово в тестировании быстродействия.

На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки". Но тормозов уровня 100-150% не давал даже заслуженный тормоз КАВ 4.

Собираетесь подарить каждому партнеру по бонусной золотой, серебряной или платиновой медальке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки".

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

[q]Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает более 6 минут[/q]

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Hiss, спасибо за вопросы, попробую объяснить.

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

Если у нас без антивируса файлы копируются 3 минуты, а после установки антивируса - 7.5 минут, то это будет означать как раз замедление на 150%. Обычная формула процента: замедление равно=(7.5-3)*100/3.

Или же если "в разах" мерить, то будет как раз 2.5 раза, т.е. вы все верно написали.

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Я там поправил, чтобы было корректнее: Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает 6 минут и есть существенная оптимизация в последующих итерациях.

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Как-то рука не поднимается оставить "самый быстрый антивирус" без медали ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Как-то рука не поднимается оставить "самый быстрый антивирус" без медали wink.gif

Ах вот почему Виталик бесится :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×