Каким должен быть тест средст защиты ПК

[Storm 0]

И так, на мой взгляд была затронута интересная тема доверия к различным тестам. Хотелось бы узнать мнение форумчан по вопросу:

"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

[SuperBrat 6]

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

[Mike 125]

.

[alexgr 556]

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

абсолютно поддерживаю! + прозрачность методического материала

[Сергей Ильин 1538]

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

абсолютно поддерживаю! + прозрачность методического материала

При все моем уважении, это теория. Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.

Не вижу ничего плохого, если кого-то из людей, оказавших реальную помощь в подготовке тесту указать в итоговом документе. В конечном итоге, независимый проект, как Anti-Malware.ru обазуется следовать принципам объективности.

Добавлено спустя 1 минуту 54 секунды:

прозрачность методического материала

Согласен, но с одной оговоркой. Полностью методический материал может быть доступен только вендорам. Не будет провоцировать вирусописателей на новые подвиги ;-)

[alexgr 556]

в данном случае мы говорим теоретически все же. Ведь топик "по критериям". реалии, безусловно, жестче

Добавлено спустя 2 минуты 47 секунд:

но стремиться к идеалам - не зазорно

[Inkogn 0]

"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Только его источник.Условия же либо соблюдаемы,что не очень гарантирует невозможность манипуляции через необговоренное,либо задавливают тест,делая его малозначимым.Обманщику можете любые условия ставить,в этом плане он хитрее.Идеальные тесты,по-моему,должны на другие вопросы отвечать,а не поверят им или нет.Так как я в этом не разбираюсь,то понимающему мне сказать нечего,куда ему смотреть.Ограничивать незачем.Поверить или нет,от квалификации его не зависит.

[SuperBrat 6]

Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров.

Золотые слова! Корень тут: различных вендоров!

[Inkogn 0]

...провести качественный тест ...с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.

Это не тест,а PR,отражающий сильные стороны так,как будто это нормальный результат продукта.Вирусописатели и вендоры знают вес этим рекламам и про что не сказано.Не только они,конечно,но из всех сторон обделены,пожалуй,только пользователи.Конечно,может и сам К. или Д. непосредственно провести и опубликовать тест антивирусов и бесспорно знают то о сегодняшних защитных ПО,о чём мы понятия не имеем.Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

[Сергей Ильин 1538]

Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Это уже должны решать те, кто проводит тест, а спросить и получить квалифицированные консультации никто не мешает, за спрос денег не берут ;-)

[alexgr 556]

как резюме длинных флеймов здесь - если позволите:

1. открытость коллекции - сколько чего мы в тесте имеем

2. Доступность и воспроизводимость методики

3. независимость тесторов

4. согласование методики с различными вендорами - когда то приходилось это делать

5. Объективность метоики -воспроизводимость и непротиворечивость, полнота оценки функионала ( в данном случае не только детект, а дезинфекция)

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

7. оценка работы продукта по атакованной системе, когда она "ЛЕГЛА" к примеру - krotten, GPcode etc.

хотя на религиозные взгляды это никак не влияет а антивирус близок к этому состоянию

[vaber 350]

В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно, чтобы тест был как можно более справедливым и правильным в плане методики.

1 - открытость коллекции - самплы будут доступны представителям антивирусных компаний.

2 - доступность и воспроизводимость методики - над этим будем работать и создадим соответствующую тему.

3 - независимость тестеров - само собой

4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

5 - объективность и непротиворечивость, полнота оценки функционала - выставление оценок тоже будет обсуждаться. Что касается оценки функционала (детект/дезинфекция), то провести такой тест (на детект и лечение) очень сложно. И я даже не слышал, чтобы кто-то проводил такой тест.

6 - alexgr во тут поясните, что значит работа по трупам и что за атака.

7 - я так понял, это и есть лечение активного заражения.

З.Ы.

Что касается вирусов типа krotten, я считаю, что их не нужно применять в тестах на лечение активного заражения. Во многих таких случаях там и лечить нечего, т.к. идея теста предполагает запуск малвары, многократная перезагрузка и установка антивируса. На этот момент активного вируса и нет как такового. Он просто изменил реестр как требовалось создателю малвары и завершил работу или самоудалился. Задача лечения сводится просто к восстановлению реестра. Да и для восстановления системы многие вендоры предлагают отдельные утилиты (вроде бы сами антивирусы этим не занимаются).

Это все касается тест активного заражения.

[Сергей Ильин 1538]

4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

С западными коллегами тоже будем работать по этому пункту, все возможности для этого есть.

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

[Inkogn 0]

К 3.:Это не единственное решающее условие,так как не устраняет предвзятости,позитивные и негативные,тестера на продукт,продукта команду,высказывания болельщиков продукта и подобное.Собственный выбор уже имеет вес.В своё время за границей журналисты,писавшие (независимую) оценку политпартиям увольнялись шефом,если были замечены в отсутствии нейтральности через имение предпочтения определённой партии.Не без основания.

Насчёт остальных самоограничений стоит подумать,стоят ли они перед вирусописателями.

[Mike 125]

В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно.....

я в эти игры тоже играю.....

предоставлю несколько семплов,

которых нет не только

у касперского с mcafee, но и даже

у нас с vaber'oм

[Inkogn 0]

3-й пункт с его подпунктами можно выключить,если тестер подойдёт с желанием опять найти продукт для себя.Конечно,из каждой весовой категории,так как иначе КИС выиграет КАВа.Сколько разделять дальше для сравнения,думаю,тестеру видней.Насколько трудоёмко делать два теста для продукта:стандартные настройки и продвинуые настройки?При стандартных настройках должен добавляться минус в общую оценку каждый раз,если настройки требуют наличие специфических знаний пользователя для "правильного" ответа,либо ведут по умолчанию к нарушению функций ОС.Для данного профиля должен быть этот минус очень весомый в процентном,так как есть немало людей,после лет пользования АВ смотрящие на окошки,как на китайскую грамоту и жмущие наугад в панике,что что-то там происходит.

При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.Незадетектированный зловред,естественно,минус.Предлагаю,как отдельная категория оценки,в случае неопознания зловреда запускать его на обоих профилях пользователей со своими у каждого настройками.

[Latin 5]

При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.

Это скорее минус, чем плюс :-) Согласен, что пользователь, в больших случаях выставляя настройки на максимум отдает себе отчет в своих действиях, но есть и крайне противоположная ситуация. Пользователь узнал/услышал/прочитал про максимум и что это гуд, но что потом с этим делать не знает. Таких случаев встречалось достаточно.

Срабатывание на чистый файл это всегда не есть гуд. Это вызывает лишние вопросы и подозрения к файлу/АВ не зависимо от того насколько подкован пользователь, согласны?

[Михаил Кондрашин 55]

Каким же должен быть тест... во-первых больше тестов хороших и разных и не только на детект.

Если мы говорим от тесте на детект, то тут дело в том, что не существует возможности сделать репрезентативную выборку вредоносных программ. Очень важно определить критерий попадания образца в тестовую коллекцию чтобы правильно интерпретировать результат теста. Это очень важно. Имено правильная интерпретация является слабым местом большинства тестов.

[Inkogn 0]

...согласны?

Конечно.Этого пользователя можно отнести к профилю,скажем,переоценивающего себя.Можно дальше размельчать на профили.Тогда уходим от теста самого АВ,делая его делая результат непонятным,так как очень зависимым от пользователя,отвечающего раз так,раз наоборот для того же вируса.Оценить реальную возможность продвинутых настроек имеет смысл только для "продвинутого".Остальное будет только недооценка,нетестирование того,что захотели протестировать.

.

Кто уж имеет такие возможности,как http://www.antimalware.ru/phpbb/viewtopic....asc&start=0 ,что бы взять все новые сегодняпоявившиеся "в оборот" вирусы и протестировать?Хотя и вся выборка одного дня может по составу далеко отличаться от выборки за год.Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.Неделя от начала обнародования вопроса?Ключевая персона остаётся тестер(ы).А исказить результаты можно даже благодаря следованию постановений.Зависит от постановлений.Их их реализуемости.

[alexgr 556]

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ")' date=' имел в виду, что пропуск вредоноса однозначно влечет атаку [/quote']

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

именно, абсолютно верно.

Кроме того, говоря по троянов, еоторые укладывают систему - я подразумевал некую возможность уничтожения тела вредоноса. часто это крайне необходимо перед запуском утилит. Я ж не беру в рассмотрение Corrupter, поскольку тут вообще сложно работать. При этом некоторые антивирусные программы "уложенную" систему в том состоянии и оставляют, что неверно. ИМХО

[Inkogn 0]

Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.

Почему-то я подумал,что планируется тест.