Перейти к содержанию
Storm

Каким должен быть тест средст защиты ПК

Recommended Posts

Storm

И так, на мой взгляд была затронута интересная тема доверия к различным тестам. Хотелось бы узнать мнение форумчан по вопросу:

"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike

.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

абсолютно поддерживаю! + прозрачность методического материала

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.
абсолютно поддерживаю! + прозрачность методического материала

При все моем уважении, это теория. Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.

Не вижу ничего плохого, если кого-то из людей, оказавших реальную помощь в подготовке тесту указать в итоговом документе. В конечном итоге, независимый проект, как Anti-Malware.ru обазуется следовать принципам объективности.

Добавлено спустя 1 минуту 54 секунды:

прозрачность методического материала

Согласен, но с одной оговоркой. Полностью методический материал может быть доступен только вендорам. Не будет провоцировать вирусописателей на новые подвиги ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

в данном случае мы говорим теоретически все же. Ведь топик "по критериям". реалии, безусловно, жестче

Добавлено спустя 2 минуты 47 секунд:

но стремиться к идеалам - не зазорно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Только его источник.Условия же либо соблюдаемы,что не очень гарантирует невозможность манипуляции через необговоренное,либо задавливают тест,делая его малозначимым.Обманщику можете любые условия ставить,в этом плане он хитрее.Идеальные тесты,по-моему,должны на другие вопросы отвечать,а не поверят им или нет.Так как я в этом не разбираюсь,то понимающему мне сказать нечего,куда ему смотреть.Ограничивать незачем.Поверить или нет,от квалификации его не зависит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров.

Золотые слова! Корень тут: различных вендоров!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

...провести качественный тест ...с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.
Это не тест,а PR,отражающий сильные стороны так,как будто это нормальный результат продукта.Вирусописатели и вендоры знают вес этим рекламам и про что не сказано.Не только они,конечно,но из всех сторон обделены,пожалуй,только пользователи.Конечно,может и сам К. или Д. непосредственно провести и опубликовать тест антивирусов и бесспорно знают то о сегодняшних защитных ПО,о чём мы понятия не имеем.Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Это уже должны решать те, кто проводит тест, а спросить и получить квалифицированные консультации никто не мешает, за спрос денег не берут ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

как резюме длинных флеймов здесь - если позволите:

1. открытость коллекции - сколько чего мы в тесте имеем

2. Доступность и воспроизводимость методики

3. независимость тесторов

4. согласование методики с различными вендорами - когда то приходилось это делать :)

5. Объективность метоики -воспроизводимость и непротиворечивость, полнота оценки функионала ( в данном случае не только детект, а дезинфекция)

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

7. оценка работы продукта по атакованной системе, когда она "ЛЕГЛА" к примеру - krotten, GPcode etc.

хотя на религиозные взгляды это никак не влияет :) а антивирус близок к этому состоянию :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно, чтобы тест был как можно более справедливым и правильным в плане методики.

1 - открытость коллекции - самплы будут доступны представителям антивирусных компаний.

2 - доступность и воспроизводимость методики - над этим будем работать и создадим соответствующую тему.

3 - независимость тестеров - само собой :)

4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

5 - объективность и непротиворечивость, полнота оценки функционала - выставление оценок тоже будет обсуждаться. Что касается оценки функционала (детект/дезинфекция), то провести такой тест (на детект и лечение) очень сложно. И я даже не слышал, чтобы кто-то проводил такой тест.

6 - alexgr во тут поясните, что значит работа по трупам и что за атака.

7 - я так понял, это и есть лечение активного заражения.

З.Ы.

Что касается вирусов типа krotten, я считаю, что их не нужно применять в тестах на лечение активного заражения. Во многих таких случаях там и лечить нечего, т.к. идея теста предполагает запуск малвары, многократная перезагрузка и установка антивируса. На этот момент активного вируса и нет как такового. Он просто изменил реестр как требовалось создателю малвары и завершил работу или самоудалился. Задача лечения сводится просто к восстановлению реестра. Да и для восстановления системы многие вендоры предлагают отдельные утилиты (вроде бы сами антивирусы этим не занимаются).

Это все касается тест активного заражения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

С западными коллегами тоже будем работать по этому пункту, все возможности для этого есть.

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

К 3.:Это не единственное решающее условие,так как не устраняет предвзятости,позитивные и негативные,тестера на продукт,продукта команду,высказывания болельщиков продукта и подобное.Собственный выбор уже имеет вес.В своё время за границей журналисты,писавшие (независимую) оценку политпартиям увольнялись шефом,если были замечены в отсутствии нейтральности через имение предпочтения определённой партии.Не без основания.

Насчёт остальных самоограничений стоит подумать,стоят ли они перед вирусописателями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike
В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно.....

я в эти игры тоже играю..... :lol:

предоставлю несколько семплов,

которых нет не только

у касперского с mcafee, но и даже

у нас с vaber'oм :lol::lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

3-й пункт с его подпунктами можно выключить,если тестер подойдёт с желанием опять найти продукт для себя.Конечно,из каждой весовой категории,так как иначе КИС выиграет КАВа.Сколько разделять дальше для сравнения,думаю,тестеру видней.Насколько трудоёмко делать два теста для продукта:стандартные настройки и продвинуые настройки?При стандартных настройках должен добавляться минус в общую оценку каждый раз,если настройки требуют наличие специфических знаний пользователя для "правильного" ответа,либо ведут по умолчанию к нарушению функций ОС.Для данного профиля должен быть этот минус очень весомый в процентном,так как есть немало людей,после лет пользования АВ смотрящие на окошки,как на китайскую грамоту и жмущие наугад в панике,что что-то там происходит.

При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.Незадетектированный зловред,естественно,минус.Предлагаю,как отдельная категория оценки,в случае неопознания зловреда запускать его на обоих профилях пользователей со своими у каждого настройками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Latin
При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.
Это скорее минус, чем плюс :-) Согласен, что пользователь, в больших случаях выставляя настройки на максимум отдает себе отчет в своих действиях, но есть и крайне противоположная ситуация. Пользователь узнал/услышал/прочитал про максимум и что это гуд, но что потом с этим делать не знает. Таких случаев встречалось достаточно.

Срабатывание на чистый файл это всегда не есть гуд. Это вызывает лишние вопросы и подозрения к файлу/АВ не зависимо от того насколько подкован пользователь, согласны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

Каким же должен быть тест... во-первых больше тестов хороших и разных и не только на детект.

Если мы говорим от тесте на детект, то тут дело в том, что не существует возможности сделать репрезентативную выборку вредоносных программ. Очень важно определить критерий попадания образца в тестовую коллекцию чтобы правильно интерпретировать результат теста. Это очень важно. Имено правильная интерпретация является слабым местом большинства тестов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
...согласны?

Конечно.Этого пользователя можно отнести к профилю,скажем,переоценивающего себя.Можно дальше размельчать на профили.Тогда уходим от теста самого АВ,делая его делая результат непонятным,так как очень зависимым от пользователя,отвечающего раз так,раз наоборот для того же вируса.Оценить реальную возможность продвинутых настроек имеет смысл только для "продвинутого".Остальное будет только недооценка,нетестирование того,что захотели протестировать.

.

Кто уж имеет такие возможности,как http://www.antimalware.ru/phpbb/viewtopic....asc&start=0 ,что бы взять все новые сегодняпоявившиеся "в оборот" вирусы и протестировать?Хотя и вся выборка одного дня может по составу далеко отличаться от выборки за год.Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.Неделя от начала обнародования вопроса?Ключевая персона остаётся тестер(ы).А исказить результаты можно даже благодаря следованию постановений.Зависит от постановлений.Их их реализуемости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ")' date=' имел в виду, что пропуск вредоноса однозначно влечет атаку [/quote']

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

именно, абсолютно верно.

Кроме того, говоря по троянов, еоторые укладывают систему - я подразумевал некую возможность уничтожения тела вредоноса. часто это крайне необходимо перед запуском утилит. Я ж не беру в рассмотрение Corrupter, поскольку тут вообще сложно работать. При этом некоторые антивирусные программы "уложенную" систему в том состоянии и оставляют, что неверно. ИМХО

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.

Почему-то я подумал,что планируется тест.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
    • Dmitrius
      Канализация из септиков под ключ На предприятии каждый сможет заказать установку септиков, созданных из ЖБ конец - они не только практичны, но и отличаются безукоризненным качеством. Ищите где заказать монтаж септика астра - получите всю необходимую информацию на сайте. Важным моментом является то, что услуги оказываются на должном, профессиональном уровне. Это достигается за счет того, что в бригаде трудятся специалисты, которые знают все особенности своей работы. При этом стоимость работ остается на доступном уровне. Огромный стаж работы позволил приобрести большое количество клиентов – они советуют предприятие знакомым. Бетонные септики пользуются популярностью не только за счет своей небольшой стоимости, но и благодаря прочности, а также невосприимчивы к негативным условиях среды, они не нуждаются в сервисном обслуживании. И самое важное, что установка проводится на грунте любого типа. Такой вид септика считается самым быстрым способом организовать очистное сооружение на дачном участке. Сотрудники предприятия специально для вас подготовят предложение, произведут расчеты, грамотно расположат септик, а заодно и закупят все необходимые материалы по доступным ценам, выполнят доставку и монтажные работы. На все, включая материалы, предоставляются гарантии. Услуги оказываются не только по столице, но и области, на любом грунте: песке, глине и др. Монтаж септиков различной сложности, а также с подключением бани или дачи, переливом, любых соединений. Есть возможность вызвать целую бригаду специалистов на малый участок либо дачу, на которой вы проживаете время от времени или постоянно. Монтажные работы в ограниченные сроки. Во время монтажных работ учитывается то, сколько человек проживает в доме, особенности – о них поведает консультант. Теперь и вы сможете заказать высококлассные работы.
×