Виталий Я. 859 Опубликовано Сентябрь 14, 2010 я не имел ввиду конкретно аутпост, а лишь принип выдачи медалей. который, на мой взгляд, детерминирован слишком искуственно Понял, а по Аутпосту сейчас все еще разбираем кейс тестирования на W7. Выскажусь по поводу наград попозже. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 она дорога вам как память? smile.gifя ещё понимаю - методика тестирования, её есть смысл наследовать, но методику награждения... Вот как раз методику можно и нужно актуализировать, но какой смысл менять критерии для наград? Будет полный идиотизм и чехарда. Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро и т.п. Это все лишние поводы для разговоров о подтасовке результатов под медали. Тут некоторые горячие головы и в прошлый раз уверяли, что "спалили тему" с Платиновой наградой Доктора ... что тут еще можно сказать? Представляю сколько шума было бы, если мы сейчас поменяли % для наград ... Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
GReY 35 Опубликовано Сентябрь 14, 2010 Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро Надо смотреть на только на количественные выражения, но и на качественные, а также на отрывы от соперников. То есть не должно быть строгого критерия 80% - золото. Особенно, если этот процент состоит из двух неравнозначных половин (две версии виндоус) и, тем более, когда присутствует отбалдистская система начисления баллов. Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
zzkk 130 Опубликовано Сентябрь 14, 2010 Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам. Здравая мысль. а также на отрывы от соперников Не здравая, имхо Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
GReY 35 Опубликовано Сентябрь 14, 2010 Не здравая, имхо допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов? Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
zzkk 130 Опубликовано Сентябрь 14, 2010 допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов? Вроде бы логично. Но если мы 80 "прилепим" к 81, то сразу возникает вопрос, как действовать в ситуации: 100 81 79 100 81 78 100 81 77 100 81 76 100 81 75 ........ (когда уже нужно остановиться?)......... Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
GReY 35 Опубликовано Сентябрь 14, 2010 когда уже нужно остановиться? поэтому я и говорю - смотреть на отрывы. если их нет, а все прочие критерии, неотраженные в рейтинге, равноценны, то тогда уже следовать "водоразделу" Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов? Очень теоретически все это. Сразу видно, что вы не разу не собирали шишек на таких делах. Первый же тест по такой системе опустят ВСЕ вендоры, потому что в 100% случаях скажут, что вы градации подогнали. Кроме того, группировка часто может вообще отсутствовать и что тогда? А так жестко, согласен, но так принятно. Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам. А чего вы не спорите на тему того, почему за ничью в спорте дают 1 очко, а за победу 3? Почему не 1.5 или не 0.5? Почему раньше было 1 и 2 соответственно? 0.5 балла - это в данном случае утешительные баллы для слабых. Надо бы вообще 0 ставить, но крику в этом случае будет много на тему того, что это был всего лишь гуи, или модуль антиспама, например. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Danilka 678 Опубликовано Сентябрь 14, 2010 Я лично вообще не пойму, что сейчас обсуждать методику оценки? Где вы были до начала тестирования? Почему не обсуждали? Как говорится - после драки кулаками не машут. 5 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 Сегодня мы изменили оценку для Outpost Security Suite Pro 7.0. Полученные результаты для Windows 7 этого продукта были весьма странные, но причины проблем были неясны. Мы несколько дней совместно с сотрудниками Agnitum пытались локализовать проблему именно в той конкретной инсталляции, но факты некорректной работы самозащиты не были полностью выявлены (версии ошибок в продукте или ошибок в ходе тестирования были проверены и опровергнуты во время обсуждения и последующего верифицирующего повторного тестирования). "Пробои" самозащиты не воспроизводились на том же билде и в тех же самых условиях. В ходе совместного разбирательства сотрудников компании Agnitum и команды Anti-Malware.ru было установлено что проблемы не наблюдаются (при этом проверено, что отвечающие за самозащиту файлы продукта не изменялись между тестированиями с обновлениями, т.е. улучшение самозащиты не было подтасовано). В связи с чем было принято решение провести тестирование продукта Outpost Security Suite Pro 7.0 той же версии и билда на Windows 7 ещё раз. Поэтому результаты теста этого продукта обновлены. Текущий результат Outpost Security Suite Pro 7.0 - 97% На цвет награды ретест не повлиял. 5 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
zzkk 130 Опубликовано Сентябрь 14, 2010 Текущий результат Outpost Security Suite Pro 7.0 - 97% Вот это по-взрослому! P. S. Сергей Ильин, извинения приняты Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Dmitriy K 603 Опубликовано Сентябрь 14, 2010 Excel файл нужно подправить zzkk, ох ты ж... Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Виталий Я. 859 Опубликовано Сентябрь 14, 2010 Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил. Найденный баг будет устранен уже в ближайшей (или через 1, как максимум) версии продуктов. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 Excel файл нужно подправить Поменяли, это закэшировался старый файл в браузере. Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил. Вам тоже с Павлом большое спасибо за то, что обратили внимание на проблему, в таких ситуациях важна обратная связь в вендорами. Именно поэтому мы и призываем всех к партнерству, чтобы иметь возможность обсуждать такие вот непростые моменты до официальной публикации. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Kopeicev 94 Опубликовано Сентябрь 14, 2010 Виталий, очень рад что у нас прошёл конструктивный диалог! 5 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Razboynik 105 Опубликовано Сентябрь 14, 2010 Россияне всех сделали. Молодцы! А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
GReY 35 Опубликовано Сентябрь 14, 2010 >в 100% случаях скажут, что вы градации подогнали нет, а где подгонка-то? проценты они и есть проценты, медали по убыванию процентов, какие претензии? вы же имеете право какие угодно значки присваивать, хоть знак качества, хоть заработанные баллы >группировка часто может вообще отсутствовать и что тогда? тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы >почему за ничью в спорте дают 1 очко, а за победу 3? это в каком спорте? в хоккее ничьих давно не бывает. ну и вы за победу не три очка даёте >Почему раньше было 1 и 2 соответственно? два это в нхл >после драки кулаками не машут это же не последний тест на данном ресурсе? Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 rolleyes.gif Оффтоп, но Доктор по факту московская компания, у них тут основной офис Так что 2:2, все поровну! тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы Как вариант да, можно будет так делать. Кстати говоря, в последнем тесте на быстродействие именно так и было. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Deja_Vu 366 Опубликовано Сентябрь 14, 2010 А что стало причиной пересмотра результатов, какой тревожный звонок? Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 А что стало причиной пересмотра результатов, какой тревожный звонок? Сильное расхождение результатов между XP и 7 при условии, что продукт фактически один и тот же. Кроме того, вендор не смог воспроизвести пробивы в самозищите. Стали разбираться и оказалось, что по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся. Версия, билд те же самые. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Андрей-001 1099 Опубликовано Сентябрь 14, 2010 ...по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся. Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Виталий Я. 859 Опубликовано Сентябрь 14, 2010 Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? Видимо, нервно курила 7ка на виртуалке Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Groft 65 Опубликовано Сентябрь 14, 2010 Видимо, нервно курила 7ка на виртуалке Я бы на этом моменте заострил внимание тестировщиков. Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
dr_dizel 385 Опубликовано Сентябрь 14, 2010 Видимо, нервно курила 7ка на виртуалке Возможно, что тестировщики столкнулись с так называемым fuzzy code. Если они смогут его вычленить, то предлагаю раздать медали. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты
Сергей Ильин 1538 Опубликовано Сентябрь 14, 2010 Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет. Нет, там все вполне логично везде. Тут явно было что-то не так. Вы видели какое было падение качества самозащиты на Windows 7, изначательно было подозрительно. Виртуалки тут не причем абсолютно. Вообще мы все перепроверяли. Вы же не думаете, что прогнали мы тупо по набору утилит и все, правда? Вообще спекуляции на тему виртуалок не имеют в данном случае никакого основания. Уже три года прошло с первого подобного теста и что-то я ни от кого так и не увидел какие-то конкретных сведений, что это чем-то плохо или на что-то точно влияет. У меня таких сведений нет. Вот когда говорят о проблемах с виртуалками при тестах эмуляторов или о тестах на быстродействие, там это имеют место быть погрешности и неточности, это понятно и конкретно вполне. Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? wink.gif Мы перепроверяли, воспроизводилось именно на той конкретной инсталяции и той конкретно системе. Точно также просматривали и перепроверяли многое. Нельзя что-то списать на невнимательность или что тестировщик отвлекся. Поделиться сообщением Ссылка на сообщение Поделиться на другие сайты