Перейти к содержанию
Storm

Каким должен быть тест средст защиты ПК

Recommended Posts

Storm

И так, на мой взгляд была затронута интересная тема доверия к различным тестам. Хотелось бы узнать мнение форумчан по вопросу:

"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

абсолютно поддерживаю! + прозрачность методического материала

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.
абсолютно поддерживаю! + прозрачность методического материала

При все моем уважении, это теория. Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.

Не вижу ничего плохого, если кого-то из людей, оказавших реальную помощь в подготовке тесту указать в итоговом документе. В конечном итоге, независимый проект, как Anti-Malware.ru обазуется следовать принципам объективности.

Добавлено спустя 1 минуту 54 секунды:

прозрачность методического материала

Согласен, но с одной оговоркой. Полностью методический материал может быть доступен только вендорам. Не будет провоцировать вирусописателей на новые подвиги ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

в данном случае мы говорим теоретически все же. Ведь топик "по критериям". реалии, безусловно, жестче

Добавлено спустя 2 минуты 47 секунд:

но стремиться к идеалам - не зазорно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Только его источник.Условия же либо соблюдаемы,что не очень гарантирует невозможность манипуляции через необговоренное,либо задавливают тест,делая его малозначимым.Обманщику можете любые условия ставить,в этом плане он хитрее.Идеальные тесты,по-моему,должны на другие вопросы отвечать,а не поверят им или нет.Так как я в этом не разбираюсь,то понимающему мне сказать нечего,куда ему смотреть.Ограничивать незачем.Поверить или нет,от квалификации его не зависит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров.

Золотые слова! Корень тут: различных вендоров!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

...провести качественный тест ...с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.
Это не тест,а PR,отражающий сильные стороны так,как будто это нормальный результат продукта.Вирусописатели и вендоры знают вес этим рекламам и про что не сказано.Не только они,конечно,но из всех сторон обделены,пожалуй,только пользователи.Конечно,может и сам К. или Д. непосредственно провести и опубликовать тест антивирусов и бесспорно знают то о сегодняшних защитных ПО,о чём мы понятия не имеем.Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Это уже должны решать те, кто проводит тест, а спросить и получить квалифицированные консультации никто не мешает, за спрос денег не берут ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

как резюме длинных флеймов здесь - если позволите:

1. открытость коллекции - сколько чего мы в тесте имеем

2. Доступность и воспроизводимость методики

3. независимость тесторов

4. согласование методики с различными вендорами - когда то приходилось это делать :)

5. Объективность метоики -воспроизводимость и непротиворечивость, полнота оценки функионала ( в данном случае не только детект, а дезинфекция)

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

7. оценка работы продукта по атакованной системе, когда она "ЛЕГЛА" к примеру - krotten, GPcode etc.

хотя на религиозные взгляды это никак не влияет :) а антивирус близок к этому состоянию :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно, чтобы тест был как можно более справедливым и правильным в плане методики.

1 - открытость коллекции - самплы будут доступны представителям антивирусных компаний.

2 - доступность и воспроизводимость методики - над этим будем работать и создадим соответствующую тему.

3 - независимость тестеров - само собой :)

4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

5 - объективность и непротиворечивость, полнота оценки функционала - выставление оценок тоже будет обсуждаться. Что касается оценки функционала (детект/дезинфекция), то провести такой тест (на детект и лечение) очень сложно. И я даже не слышал, чтобы кто-то проводил такой тест.

6 - alexgr во тут поясните, что значит работа по трупам и что за атака.

7 - я так понял, это и есть лечение активного заражения.

З.Ы.

Что касается вирусов типа krotten, я считаю, что их не нужно применять в тестах на лечение активного заражения. Во многих таких случаях там и лечить нечего, т.к. идея теста предполагает запуск малвары, многократная перезагрузка и установка антивируса. На этот момент активного вируса и нет как такового. Он просто изменил реестр как требовалось создателю малвары и завершил работу или самоудалился. Задача лечения сводится просто к восстановлению реестра. Да и для восстановления системы многие вендоры предлагают отдельные утилиты (вроде бы сами антивирусы этим не занимаются).

Это все касается тест активного заражения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

С западными коллегами тоже будем работать по этому пункту, все возможности для этого есть.

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

К 3.:Это не единственное решающее условие,так как не устраняет предвзятости,позитивные и негативные,тестера на продукт,продукта команду,высказывания болельщиков продукта и подобное.Собственный выбор уже имеет вес.В своё время за границей журналисты,писавшие (независимую) оценку политпартиям увольнялись шефом,если были замечены в отсутствии нейтральности через имение предпочтения определённой партии.Не без основания.

Насчёт остальных самоограничений стоит подумать,стоят ли они перед вирусописателями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike
В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно.....

я в эти игры тоже играю..... :lol:

предоставлю несколько семплов,

которых нет не только

у касперского с mcafee, но и даже

у нас с vaber'oм :lol::lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

3-й пункт с его подпунктами можно выключить,если тестер подойдёт с желанием опять найти продукт для себя.Конечно,из каждой весовой категории,так как иначе КИС выиграет КАВа.Сколько разделять дальше для сравнения,думаю,тестеру видней.Насколько трудоёмко делать два теста для продукта:стандартные настройки и продвинуые настройки?При стандартных настройках должен добавляться минус в общую оценку каждый раз,если настройки требуют наличие специфических знаний пользователя для "правильного" ответа,либо ведут по умолчанию к нарушению функций ОС.Для данного профиля должен быть этот минус очень весомый в процентном,так как есть немало людей,после лет пользования АВ смотрящие на окошки,как на китайскую грамоту и жмущие наугад в панике,что что-то там происходит.

При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.Незадетектированный зловред,естественно,минус.Предлагаю,как отдельная категория оценки,в случае неопознания зловреда запускать его на обоих профилях пользователей со своими у каждого настройками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Latin
При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.
Это скорее минус, чем плюс :-) Согласен, что пользователь, в больших случаях выставляя настройки на максимум отдает себе отчет в своих действиях, но есть и крайне противоположная ситуация. Пользователь узнал/услышал/прочитал про максимум и что это гуд, но что потом с этим делать не знает. Таких случаев встречалось достаточно.

Срабатывание на чистый файл это всегда не есть гуд. Это вызывает лишние вопросы и подозрения к файлу/АВ не зависимо от того насколько подкован пользователь, согласны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

Каким же должен быть тест... во-первых больше тестов хороших и разных и не только на детект.

Если мы говорим от тесте на детект, то тут дело в том, что не существует возможности сделать репрезентативную выборку вредоносных программ. Очень важно определить критерий попадания образца в тестовую коллекцию чтобы правильно интерпретировать результат теста. Это очень важно. Имено правильная интерпретация является слабым местом большинства тестов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
...согласны?

Конечно.Этого пользователя можно отнести к профилю,скажем,переоценивающего себя.Можно дальше размельчать на профили.Тогда уходим от теста самого АВ,делая его делая результат непонятным,так как очень зависимым от пользователя,отвечающего раз так,раз наоборот для того же вируса.Оценить реальную возможность продвинутых настроек имеет смысл только для "продвинутого".Остальное будет только недооценка,нетестирование того,что захотели протестировать.

.

Кто уж имеет такие возможности,как http://www.antimalware.ru/phpbb/viewtopic....asc&start=0 ,что бы взять все новые сегодняпоявившиеся "в оборот" вирусы и протестировать?Хотя и вся выборка одного дня может по составу далеко отличаться от выборки за год.Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.Неделя от начала обнародования вопроса?Ключевая персона остаётся тестер(ы).А исказить результаты можно даже благодаря следованию постановений.Зависит от постановлений.Их их реализуемости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ")' date=' имел в виду, что пропуск вредоноса однозначно влечет атаку [/quote']

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

именно, абсолютно верно.

Кроме того, говоря по троянов, еоторые укладывают систему - я подразумевал некую возможность уничтожения тела вредоноса. часто это крайне необходимо перед запуском утилит. Я ж не беру в рассмотрение Corrupter, поскольку тут вообще сложно работать. При этом некоторые антивирусные программы "уложенную" систему в том состоянии и оставляют, что неверно. ИМХО

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.

Почему-то я подумал,что планируется тест.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • BooiCasino
    • BooiCasino
    • BooiCasino
      20 линейные игровые автоматы
      3д игровые автоматы
      777 игровые автоматы
      777 игровые автоматы онлайн
      aztec игровой автомат
      book of ra бесплатно
      book of ra играть
      borderlands 2 игровые автоматы
      casino игровые автоматы
      casino отзывы
      casino платья
      casino скачать
      crazy monkey бесплатно
      crazy monkey игровые автоматы бесплатно
      crazy monkey онлайн
      crazy monkey скачать
      slot игровые автоматы
      автомат crazy monkey
      БОНУСЫ КАЗИНО ВУЛКАН от 100 до 400% за депозит 
      Выбирай казино и выигрывай  https://sochi.go-2.link/go/vrZZ?p57552p241174peed9 ВУЛКАН ДЕЛЮКС  https://sochi.go-2.link/go/PgGl?p57552p241175pb7d7 Казино ВаБанк  https://sochi.go-2.link/go/qgdk?p57552p241176pe255 Вулкан клуб
      https://tech.game-bonuses.club/eldorado/main?p57552p241177p7ff1 Эльдорадо  https://sochi.go-2.link/go/BDLB?p57552p241178p459eЛОТОРУ  https://sochi.go-2.link/go/bvrW?p57552p241179pca77 Vulkan Casino https://sochi.go-2.link/go/53ar?p57552p241180p1a18 ВУЛКАН 24 Лучшая подборка казино вулкан  https://richplayland.com/2117r/?refCode=wp_w28424p43_ Вулкан казино https://richplayland.com/2095_24/?refCode=wp_w28424p162_ Вулкан 24 https://richplayland.com/2095_24/?refCode=wp_w28424p162_ Вулкан делюкс https://richplayland.com/2114/?refCode=wp_w28424p46_ Вулкан Слотс https://richplayland.com/1963/?refCode=wp_w28424p129_ Фараон казино https://richplayland.com/1964/?ref=wp_w28424p123_ Вулкан ставка https://richplayland.com/2077/?ref=wp_w28424p3_ Максбет Слотс  https://richplayland.com/1956/?partner=wp_w28424p130_ Вулкан старз https://richplayland.com/8104/?refCode=wp_w28424p122_ Адмирал 777 https://richplayland.com/2085/?ref=wp_w28424p8_ Слотозал казино https://richplayland.com/1959/?refCode=wp_w28424p157_ Эльдорадо казино https://richplayland.com/2084/?refCode=wp_w28424p176_ Джойказино
      бесплатные игровые аппараты
      https://visandgo.co/7jZssN?c=0117S4_OqkD713dcc783d20a39085b&saff_id=583  CasinoShans https://visandgo.co/7jZssN?c=0120S4_OqkD7133a0407cd0dbeba7a&saff_id=583 Furor Casino     https://visandgo.co/7jZssN?c=0114S4_OqkD7132d06a456a0c71770&saff_id=583  Вулкан Олимп     https://visandgo.co/7jZssN?c=0106S4_OqkD713627ec49215571e67&saff_id=583  Вулкан Maximum     http://visandgo.co/7jZssN?c=0091S4_OqkD713cc88948e9566fdf8&saff_id=583 Вулкан Миллион     http://visandgo.co/7jZssN?c=0094S4_OqkD7131efdd7d88cfbcd64&saff_id=583 Вулкан Олимп     http://visandgo.co/ctXWmT?c=0086S4_OqkD7136c8ca804a847a4eb&saff_id=583 Вулкан Prestige     http://visandgo.co/7jZssN?c=0104S4_OqkD71370629306dc83ff47&saff_id=583 Вулкан Победа     http://visandgo.co/7jZssN?c=0102S4_OqkD71329eab51b3dbd73c0&saff_id=583 Вулкан Neon     http://visandgo.co/7jZssN?c=0105S4_OqkD7133a7a4633ec2eeb05&saff_id=583 Admiral888 http://visandgo.co/7jZssN?c=0109S4_OqkD713ab04c78f5d33f76a&saff_id=583 Чудо Слот     http://visandgo.co/7jZssN?c=0108S4_OqkD7135e5931a83728fa89&saff_id=583 Вулкан Гранд    
      бесплатные игровые аппараты 777
      бесплатные игровые аппараты без регистрации
      бесплатные игровые аппараты вулкан
      бесплатные игровые аппараты играть бесплатно
      бесплатные игровые аппараты онлайн
      бесплатные игровые аппараты онлайн играть
      бесплатные игровые гаминатор
      бесплатные игровые клубы
      бесплатные игровые слоты
      бесплатные игровые слоты без регистрации бесплатные симуляторы игровых автоматов играть
      бесплатные старые игровые автоматы
      бесплатные эмуляторы игровых автоматов
      бесплатный book of ra
      бесплатный игровой автомат алькатрас
      бесплатный игровой автомат гладиатор
      бесплатный игровой автомат клубнички
      бесплатный игровой клуб вулкан
      бесплатный игровой клуб вулкан
      бесплатный слот играть онлайн
      бизнес игровые автоматы
      бонус за регистрацию в казино
      бонусы в казино
      бонусы интернет казино
      бонусы онлайн казино
      братва игровой автомат
      вегас игровые автоматы
      веселая ферма русская рулетка онлайн
      видео рулетка онлайн
      видеопокер
      видеопокер играть бесплатно
      видеопокер онлайн
      вип клуб вулкан
      вулкан игровой зал
      вулкан игровые автоматы
      вулкан игровые автоматы 777
      вулкан игровые автоматы бесплатно
      вулкан игровые автоматы на деньги
      вулкан игрософт
      вулкан казино игровые автоматы бесплатно
      вулкан клуб
      вулкан клуб игровые автоматы
      вулкан клуб игровые автоматы
      відео рулетка онлайн платные игровые автоматы
      платы игрософт
      поиграть в бесплатные игровые автоматы
      поиграть в игровые автоматы
      поиграть в игровые автоматы бесплатно
      поиграть в игровые аппараты
      поиграть в игровые аппараты бесплатно
      поиграть онлайн игровые автоматы
      порно игровые автоматы
      пробки игровые автоматы
      продажа игровых автоматов
      продажа игровых аппаратов
      работа в игровых автоматах
      реальное интернет казино
      реальные игровые автоматы
      реальные онлайн игровые автоматы
      рейтинг интернет казино
      рулетка игра онлайн
      рулетка играть онлайн бесплатно
      рулетка онлайн
      рулетка онлайн бесплатно
      рулетка онлайн бесплатно без регистрации
      рулетка онлайн бесплатно чат
      рулетка онлайн на деньги
      рулетка онлайн с девушками
      рулетка с живым дилером
      русская рулетка играть онлайн
      русская рулетка играть онлайн бесплатно
      русская рулетка онлайн
      русская рулетка онлайн бесплатно
      русская рулетка онлайн игра
      русская рулетка ферма играть онлайн
      русские игровые автоматы
      русские игровые автоматы бесплатно
      сайты игровых автоматов
      секреты игровых автоматов
      секс рулетка онлайн
      семерки игровые автоматы
      симулятор игровых автоматов играть
      симулятор игровых аппаратов скачать
      симуляторы игровых автоматов
      симуляторы игровых автоматов бесплатно
      симуляторы игровых автоматов играть бесплатно
      симуляторы игровых автоматов скачать бесплатно
      симуляторы игровых аппаратов
      скайп рулетка онлайн
      скачать crazy игровые автоматы
      скачать азартные игры бесплатные
      скачать бесплатно игровые автоматы компьютер
      скачать бесплатно игровые слоты
      скачать бесплатные игровые аппараты
      скачать бесплатные игры игровые автоматы
      скачать игровые автоматы
      скачать игровые автоматы resident
      скачать игровые автоматы на андроид
      скачать игровые автоматы на компьютер
      скачать игровые аппараты
      скачать игровые слоты
      скачать игру игровые автоматы
      скачать симулятор игровых автоматов
      скачать слоты игровые автоматы бесплатно
      скачать торрент игру игровые автоматы
      скачать эмулятор игровых автоматов бесплатно
      скачать эмуляторы игровых автоматов
      скачать эмуляторы игровых аппаратов
      слот автоматы играть онлайн бесплатно
      слот автоматы онлайн
      слот автоматы онлайн бесплатно
      слотозал 
      слотомания игровые автоматы
      слотомания игровые автоматы бесплатно
      слотомания игровые автоматы играть бесплатно
      слотосфера игровые автоматы
      слотосфера игровые автоматы играть бесплатно
      слоты играть онлайн
      слоты играть онлайн без регистрации
      слоты игровые бесплатно без регистрации
      слоты игровых автоматов вулкан
      слоты игровых автоматов играть бесплатно
      слоты игровых автоматов играть бесплатно
      слоты игровых автоматов скачать
      слоты игровых автоматов скачать
      слоты онлайн
      слоты онлайн без регистрации
      слоты онлайн бесплатно
      слоты онлайн бесплатно без регистрации
      смотреть игровые автоматы
      собачки игровые автоматы
      старые игровые автоматы играть бесплатно
      старые игровые аппараты
      старый игровой автомат
      супер игровые автоматы
      фараон игровые автоматы
      ферма русская рулетка онлайн
      флеш игровые автоматы
      флэш игровых автоматов
      черти игровые автоматы
      эмуляторы игровых автоматов
      эмуляторы игровых автоматов бесплатно
      эмуляторы игровых автоматов играть бесплатно
      эмуляторы игровых аппаратов
    • Ego Dekker
      Антивирусы были обновлены до версии 12.2.23.
    • KarinaDrozd
      Разыскиваются профессиональные дизайнеры для творческого onion проекта изготовления лэндов.
      Пример дизайна студии: http://ruonion.net/
      http://onionwiki.xyz/
      http://godnota.online/
      https://hydra2web.bio/
      https://hydraonion.la/
      http://hydra2web.wine/
      http://hydra2web.gy/
      http://hydra2web.gg/
      http://tor-browser.biz/ Тематические разделы:
      Бизнес Молодсть
      Трансфрматор
      Аяз Шабутдинов
      Косенко
      Оплата попроектаная, от 50к за профессиональный дизайн.
      Пиши свою почту под темой и ссылку на портфолио, мы обязательно свяжемся с тобой!
×