Перейти к содержанию
Kopeicev

Тест самозащиты антивирусов III (результаты)

Recommended Posts

Виталий Я.
я не имел ввиду конкретно аутпост, а лишь принип выдачи медалей. который, на мой взгляд, детерминирован слишком искуственно

Понял, а по Аутпосту сейчас все еще разбираем кейс тестирования на W7. Выскажусь по поводу наград попозже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
она дорога вам как память? smile.gif

я ещё понимаю - методика тестирования, её есть смысл наследовать, но методику награждения...

Вот как раз методику можно и нужно актуализировать, но какой смысл менять критерии для наград? Будет полный идиотизм и чехарда. Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро и т.п. Это все лишние поводы для разговоров о подтасовке результатов под медали. Тут некоторые горячие головы и в прошлый раз уверяли, что "спалили тему" с Платиновой наградой Доктора ... что тут еще можно сказать? Представляю сколько шума было бы, если мы сейчас поменяли % для наград ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро

Надо смотреть на только на количественные выражения, но и на качественные, а также на отрывы от соперников. То есть не должно быть строгого критерия 80% - золото. Особенно, если этот процент состоит из двух неравнозначных половин (две версии виндоус) и, тем более, когда присутствует отбалдистская система начисления баллов. Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Здравая мысль.

а также на отрывы от соперников

Не здравая, имхо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Не здравая, имхо

допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Вроде бы логично. Но если мы 80 "прилепим" к 81, то сразу возникает вопрос, как действовать в ситуации:

100 81 79

100 81 78

100 81 77

100 81 76

100 81 75

........ (когда уже нужно остановиться?).........

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
когда уже нужно остановиться?

поэтому я и говорю - смотреть на отрывы. если их нет, а все прочие критерии, неотраженные в рейтинге, равноценны, то тогда уже следовать "водоразделу"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Очень теоретически все это. Сразу видно, что вы не разу не собирали шишек на таких делах. Первый же тест по такой системе опустят ВСЕ вендоры, потому что в 100% случаях скажут, что вы градации подогнали. Кроме того, группировка часто может вообще отсутствовать и что тогда?

А так жестко, согласен, но так принятно.

Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

А чего вы не спорите на тему того, почему за ничью в спорте дают 1 очко, а за победу 3? Почему не 1.5 или не 0.5? Почему раньше было 1 и 2 соответственно?

0.5 балла - это в данном случае утешительные баллы для слабых. Надо бы вообще 0 ставить, но крику в этом случае будет много на тему того, что это был всего лишь гуи, или модуль антиспама, например.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Я лично вообще не пойму, что сейчас обсуждать методику оценки? Где вы были до начала тестирования? Почему не обсуждали? Как говорится - после драки кулаками не машут.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Сегодня мы изменили оценку для Outpost Security Suite Pro 7.0. Полученные результаты для Windows 7 этого продукта были весьма странные, но причины проблем были неясны. Мы несколько дней совместно с сотрудниками Agnitum пытались локализовать проблему именно в той конкретной инсталляции, но факты некорректной работы самозащиты не были полностью выявлены (версии ошибок в продукте или ошибок в ходе тестирования были проверены и опровергнуты во время обсуждения и последующего верифицирующего повторного тестирования). "Пробои" самозащиты не воспроизводились на том же билде и в тех же самых условиях.

В ходе совместного разбирательства сотрудников компании Agnitum и команды Anti-Malware.ru было установлено что проблемы не наблюдаются (при этом проверено, что отвечающие за самозащиту файлы продукта не изменялись между тестированиями с обновлениями, т.е. улучшение самозащиты не было подтасовано). В связи с чем было принято решение провести тестирование продукта Outpost Security Suite Pro 7.0 той же версии и билда на Windows 7 ещё раз. Поэтому результаты теста этого продукта обновлены.

Текущий результат Outpost Security Suite Pro 7.0 - 97%

На цвет награды ретест не повлиял.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Текущий результат Outpost Security Suite Pro 7.0 - 97%

Вот это по-взрослому!

P. S. Сергей Ильин, извинения приняты :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

Excel файл нужно подправить

zzkk, ох ты ж... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Найденный баг будет устранен уже в ближайшей (или через 1, как максимум) версии продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Excel файл нужно подправить

Поменяли, это закэшировался старый файл в браузере. ;)

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Вам тоже с Павлом большое спасибо за то, что обратили внимание на проблему, в таких ситуациях важна обратная связь в вендорами. Именно поэтому мы и призываем всех к партнерству, чтобы иметь возможность обсуждать такие вот непростые моменты до официальной публикации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Виталий, очень рад что у нас прошёл конструктивный диалог!

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Razboynik

Россияне всех сделали. Молодцы! :)

А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

>в 100% случаях скажут, что вы градации подогнали

нет, а где подгонка-то? проценты они и есть проценты, медали по убыванию процентов, какие претензии? вы же имеете право какие угодно значки присваивать, хоть знак качества, хоть заработанные баллы

>группировка часто может вообще отсутствовать и что тогда?

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

>почему за ничью в спорте дают 1 очко, а за победу 3?

это в каком спорте? в хоккее ничьих давно не бывает. ну и вы за победу не три очка даёте

>Почему раньше было 1 и 2 соответственно?

два это в нхл :)

>после драки кулаками не машут

это же не последний тест на данном ресурсе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 rolleyes.gif

Оффтоп, но Доктор по факту московская компания, у них тут основной офис ;) Так что 2:2, все поровну!

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

Как вариант да, можно будет так делать. Кстати говоря, в последнем тесте на быстродействие именно так и было. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

А что стало причиной пересмотра результатов, какой тревожный звонок?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А что стало причиной пересмотра результатов, какой тревожный звонок?

Сильное расхождение результатов между XP и 7 при условии, что продукт фактически один и тот же. Кроме того, вендор не смог воспроизвести пробивы в самозищите. Стали разбираться и оказалось, что по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся. Версия, билд те же самые.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
...по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Видимо, нервно курила 7ка на виртуалке :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Видимо, нервно курила 7ка на виртуалке :)

Я бы на этом моменте заострил внимание тестировщиков.

Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Видимо, нервно курила 7ка на виртуалке :)

Возможно, что тестировщики столкнулись с так называемым fuzzy code. ;) Если они смогут его вычленить, то предлагаю раздать медали. :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Нет, там все вполне логично везде. Тут явно было что-то не так. Вы видели какое было падение качества самозащиты на Windows 7, изначательно было подозрительно. Виртуалки тут не причем абсолютно. Вообще мы все перепроверяли. Вы же не думаете, что прогнали мы тупо по набору утилит и все, правда? ;)

Вообще спекуляции на тему виртуалок не имеют в данном случае никакого основания. Уже три года прошло с первого подобного теста и что-то я ни от кого так и не увидел какие-то конкретных сведений, что это чем-то плохо или на что-то точно влияет. У меня таких сведений нет. Вот когда говорят о проблемах с виртуалками при тестах эмуляторов или о тестах на быстродействие, там это имеют место быть погрешности и неточности, это понятно и конкретно вполне.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? wink.gif

Мы перепроверяли, воспроизводилось именно на той конкретной инсталяции и той конкретно системе. Точно также просматривали и перепроверяли многое. Нельзя что-то списать на невнимательность или что тестировщик отвлекся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
×