Перейти к содержанию
Kopeicev

Тест самозащиты антивирусов III (результаты)

Recommended Posts

Виталий Я.
я не имел ввиду конкретно аутпост, а лишь принип выдачи медалей. который, на мой взгляд, детерминирован слишком искуственно

Понял, а по Аутпосту сейчас все еще разбираем кейс тестирования на W7. Выскажусь по поводу наград попозже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
она дорога вам как память? smile.gif

я ещё понимаю - методика тестирования, её есть смысл наследовать, но методику награждения...

Вот как раз методику можно и нужно актуализировать, но какой смысл менять критерии для наград? Будет полный идиотизм и чехарда. Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро и т.п. Это все лишние поводы для разговоров о подтасовке результатов под медали. Тут некоторые горячие головы и в прошлый раз уверяли, что "спалили тему" с Платиновой наградой Доктора ... что тут еще можно сказать? Представляю сколько шума было бы, если мы сейчас поменяли % для наград ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро

Надо смотреть на только на количественные выражения, но и на качественные, а также на отрывы от соперников. То есть не должно быть строгого критерия 80% - золото. Особенно, если этот процент состоит из двух неравнозначных половин (две версии виндоус) и, тем более, когда присутствует отбалдистская система начисления баллов. Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Здравая мысль.

а также на отрывы от соперников

Не здравая, имхо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Не здравая, имхо

допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Вроде бы логично. Но если мы 80 "прилепим" к 81, то сразу возникает вопрос, как действовать в ситуации:

100 81 79

100 81 78

100 81 77

100 81 76

100 81 75

........ (когда уже нужно остановиться?).........

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
когда уже нужно остановиться?

поэтому я и говорю - смотреть на отрывы. если их нет, а все прочие критерии, неотраженные в рейтинге, равноценны, то тогда уже следовать "водоразделу"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Очень теоретически все это. Сразу видно, что вы не разу не собирали шишек на таких делах. Первый же тест по такой системе опустят ВСЕ вендоры, потому что в 100% случаях скажут, что вы градации подогнали. Кроме того, группировка часто может вообще отсутствовать и что тогда?

А так жестко, согласен, но так принятно.

Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

А чего вы не спорите на тему того, почему за ничью в спорте дают 1 очко, а за победу 3? Почему не 1.5 или не 0.5? Почему раньше было 1 и 2 соответственно?

0.5 балла - это в данном случае утешительные баллы для слабых. Надо бы вообще 0 ставить, но крику в этом случае будет много на тему того, что это был всего лишь гуи, или модуль антиспама, например.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Я лично вообще не пойму, что сейчас обсуждать методику оценки? Где вы были до начала тестирования? Почему не обсуждали? Как говорится - после драки кулаками не машут.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Сегодня мы изменили оценку для Outpost Security Suite Pro 7.0. Полученные результаты для Windows 7 этого продукта были весьма странные, но причины проблем были неясны. Мы несколько дней совместно с сотрудниками Agnitum пытались локализовать проблему именно в той конкретной инсталляции, но факты некорректной работы самозащиты не были полностью выявлены (версии ошибок в продукте или ошибок в ходе тестирования были проверены и опровергнуты во время обсуждения и последующего верифицирующего повторного тестирования). "Пробои" самозащиты не воспроизводились на том же билде и в тех же самых условиях.

В ходе совместного разбирательства сотрудников компании Agnitum и команды Anti-Malware.ru было установлено что проблемы не наблюдаются (при этом проверено, что отвечающие за самозащиту файлы продукта не изменялись между тестированиями с обновлениями, т.е. улучшение самозащиты не было подтасовано). В связи с чем было принято решение провести тестирование продукта Outpost Security Suite Pro 7.0 той же версии и билда на Windows 7 ещё раз. Поэтому результаты теста этого продукта обновлены.

Текущий результат Outpost Security Suite Pro 7.0 - 97%

На цвет награды ретест не повлиял.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Текущий результат Outpost Security Suite Pro 7.0 - 97%

Вот это по-взрослому!

P. S. Сергей Ильин, извинения приняты :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

Excel файл нужно подправить

zzkk, ох ты ж... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Найденный баг будет устранен уже в ближайшей (или через 1, как максимум) версии продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Excel файл нужно подправить

Поменяли, это закэшировался старый файл в браузере. ;)

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Вам тоже с Павлом большое спасибо за то, что обратили внимание на проблему, в таких ситуациях важна обратная связь в вендорами. Именно поэтому мы и призываем всех к партнерству, чтобы иметь возможность обсуждать такие вот непростые моменты до официальной публикации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Виталий, очень рад что у нас прошёл конструктивный диалог!

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Razboynik

Россияне всех сделали. Молодцы! :)

А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

>в 100% случаях скажут, что вы градации подогнали

нет, а где подгонка-то? проценты они и есть проценты, медали по убыванию процентов, какие претензии? вы же имеете право какие угодно значки присваивать, хоть знак качества, хоть заработанные баллы

>группировка часто может вообще отсутствовать и что тогда?

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

>почему за ничью в спорте дают 1 очко, а за победу 3?

это в каком спорте? в хоккее ничьих давно не бывает. ну и вы за победу не три очка даёте

>Почему раньше было 1 и 2 соответственно?

два это в нхл :)

>после драки кулаками не машут

это же не последний тест на данном ресурсе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 rolleyes.gif

Оффтоп, но Доктор по факту московская компания, у них тут основной офис ;) Так что 2:2, все поровну!

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

Как вариант да, можно будет так делать. Кстати говоря, в последнем тесте на быстродействие именно так и было. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

А что стало причиной пересмотра результатов, какой тревожный звонок?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А что стало причиной пересмотра результатов, какой тревожный звонок?

Сильное расхождение результатов между XP и 7 при условии, что продукт фактически один и тот же. Кроме того, вендор не смог воспроизвести пробивы в самозищите. Стали разбираться и оказалось, что по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся. Версия, билд те же самые.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
...по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Видимо, нервно курила 7ка на виртуалке :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Видимо, нервно курила 7ка на виртуалке :)

Я бы на этом моменте заострил внимание тестировщиков.

Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Видимо, нервно курила 7ка на виртуалке :)

Возможно, что тестировщики столкнулись с так называемым fuzzy code. ;) Если они смогут его вычленить, то предлагаю раздать медали. :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Нет, там все вполне логично везде. Тут явно было что-то не так. Вы видели какое было падение качества самозащиты на Windows 7, изначательно было подозрительно. Виртуалки тут не причем абсолютно. Вообще мы все перепроверяли. Вы же не думаете, что прогнали мы тупо по набору утилит и все, правда? ;)

Вообще спекуляции на тему виртуалок не имеют в данном случае никакого основания. Уже три года прошло с первого подобного теста и что-то я ни от кого так и не увидел какие-то конкретных сведений, что это чем-то плохо или на что-то точно влияет. У меня таких сведений нет. Вот когда говорят о проблемах с виртуалками при тестах эмуляторов или о тестах на быстродействие, там это имеют место быть погрешности и неточности, это понятно и конкретно вполне.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? wink.gif

Мы перепроверяли, воспроизводилось именно на той конкретной инсталяции и той конкретно системе. Точно также просматривали и перепроверяли многое. Нельзя что-то списать на невнимательность или что тестировщик отвлекся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×