Перейти к содержанию
Storm

Каким должен быть тест средст защиты ПК

Recommended Posts

Storm

И так, на мой взгляд была затронута интересная тема доверия к различным тестам. Хотелось бы узнать мнение форумчан по вопросу:

"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.

абсолютно поддерживаю! + прозрачность методического материала

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Полная прозначность лабораторного материала. Отсутствие конструкции "нам помогал сотрудник компании N - победил продукт компании N". Имхо, необходимое условие.
абсолютно поддерживаю! + прозрачность методического материала

При все моем уважении, это теория. Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.

Не вижу ничего плохого, если кого-то из людей, оказавших реальную помощь в подготовке тесту указать в итоговом документе. В конечном итоге, независимый проект, как Anti-Malware.ru обазуется следовать принципам объективности.

Добавлено спустя 1 минуту 54 секунды:

прозрачность методического материала

Согласен, но с одной оговоркой. Полностью методический материал может быть доступен только вендорам. Не будет провоцировать вирусописателей на новые подвиги ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

в данном случае мы говорим теоретически все же. Ведь топик "по критериям". реалии, безусловно, жестче

Добавлено спустя 2 минуты 47 секунд:

но стремиться к идеалам - не зазорно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
"Каким критериям должен удовлетворять тест, чтобы лично Вы засчитали его корректным?".

Только его источник.Условия же либо соблюдаемы,что не очень гарантирует невозможность манипуляции через необговоренное,либо задавливают тест,делая его малозначимым.Обманщику можете любые условия ставить,в этом плане он хитрее.Идеальные тесты,по-моему,должны на другие вопросы отвечать,а не поверят им или нет.Так как я в этом не разбираюсь,то понимающему мне сказать нечего,куда ему смотреть.Ограничивать незачем.Поверить или нет,от квалификации его не зависит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
Подготовить методологию и провести качественный тест не получится без тесного контакта с представителями различных вендоров.

Золотые слова! Корень тут: различных вендоров!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

...провести качественный тест ...с представителями различных вендоров. Они как никто хорошо знакомы со реалиями, знают что могут продукты, а что - нет, и всегда посоветуют как сделать лучше.
Это не тест,а PR,отражающий сильные стороны так,как будто это нормальный результат продукта.Вирусописатели и вендоры знают вес этим рекламам и про что не сказано.Не только они,конечно,но из всех сторон обделены,пожалуй,только пользователи.Конечно,может и сам К. или Д. непосредственно провести и опубликовать тест антивирусов и бесспорно знают то о сегодняшних защитных ПО,о чём мы понятия не имеем.Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Их авторитет (в плане:ищет тебя человек где только можно обмануть,воспользовавшись своими знаниями,или нет) будет очень зависеть от того при этом,как они другие АВ протестировали,так же,как если это свой бы был,с выстановкой всех сильных сторон?И как свой протестировали,умолчали про то,что других менее выгодно ставит?

Это уже должны решать те, кто проводит тест, а спросить и получить квалифицированные консультации никто не мешает, за спрос денег не берут ;-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

как резюме длинных флеймов здесь - если позволите:

1. открытость коллекции - сколько чего мы в тесте имеем

2. Доступность и воспроизводимость методики

3. независимость тесторов

4. согласование методики с различными вендорами - когда то приходилось это делать :)

5. Объективность метоики -воспроизводимость и непротиворечивость, полнота оценки функионала ( в данном случае не только детект, а дезинфекция)

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

7. оценка работы продукта по атакованной системе, когда она "ЛЕГЛА" к примеру - krotten, GPcode etc.

хотя на религиозные взгляды это никак не влияет :) а антивирус близок к этому состоянию :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно, чтобы тест был как можно более справедливым и правильным в плане методики.

1 - открытость коллекции - самплы будут доступны представителям антивирусных компаний.

2 - доступность и воспроизводимость методики - над этим будем работать и создадим соответствующую тему.

3 - независимость тестеров - само собой :)

4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

5 - объективность и непротиворечивость, полнота оценки функционала - выставление оценок тоже будет обсуждаться. Что касается оценки функционала (детект/дезинфекция), то провести такой тест (на детект и лечение) очень сложно. И я даже не слышал, чтобы кто-то проводил такой тест.

6 - alexgr во тут поясните, что значит работа по трупам и что за атака.

7 - я так понял, это и есть лечение активного заражения.

З.Ы.

Что касается вирусов типа krotten, я считаю, что их не нужно применять в тестах на лечение активного заражения. Во многих таких случаях там и лечить нечего, т.к. идея теста предполагает запуск малвары, многократная перезагрузка и установка антивируса. На этот момент активного вируса и нет как такового. Он просто изменил реестр как требовалось создателю малвары и завершил работу или самоудалился. Задача лечения сводится просто к восстановлению реестра. Да и для восстановления системы многие вендоры предлагают отдельные утилиты (вроде бы сами антивирусы этим не занимаются).

Это все касается тест активного заражения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
4 - согласование методики с различными вендорами - этот форум часто посещают представители KL и DoctorWeb, а также и представители других вендоров и, думаю, они выскажут свои идеи и предложения.

С западными коллегами тоже будем работать по этому пункту, все возможности для этого есть.

6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ"), имел в виду, что пропуск вредоноса однозначно влечет атаку

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

К 3.:Это не единственное решающее условие,так как не устраняет предвзятости,позитивные и негативные,тестера на продукт,продукта команду,высказывания болельщиков продукта и подобное.Собственный выбор уже имеет вес.В своё время за границей журналисты,писавшие (независимую) оценку политпартиям увольнялись шефом,если были замечены в отсутствии нейтральности через имение предпочтения определённой партии.Не без основания.

Насчёт остальных самоограничений стоит подумать,стоят ли они перед вирусописателями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike
В связи с будущим тестом "Лечение активного заражения:тест 2" очень важно.....

я в эти игры тоже играю..... :lol:

предоставлю несколько семплов,

которых нет не только

у касперского с mcafee, но и даже

у нас с vaber'oм :lol::lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

3-й пункт с его подпунктами можно выключить,если тестер подойдёт с желанием опять найти продукт для себя.Конечно,из каждой весовой категории,так как иначе КИС выиграет КАВа.Сколько разделять дальше для сравнения,думаю,тестеру видней.Насколько трудоёмко делать два теста для продукта:стандартные настройки и продвинуые настройки?При стандартных настройках должен добавляться минус в общую оценку каждый раз,если настройки требуют наличие специфических знаний пользователя для "правильного" ответа,либо ведут по умолчанию к нарушению функций ОС.Для данного профиля должен быть этот минус очень весомый в процентном,так как есть немало людей,после лет пользования АВ смотрящие на окошки,как на китайскую грамоту и жмущие наугад в панике,что что-то там происходит.

При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.Незадетектированный зловред,естественно,минус.Предлагаю,как отдельная категория оценки,в случае неопознания зловреда запускать его на обоих профилях пользователей со своими у каждого настройками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Latin
При продвинутых настройках предлагаю фолсам,показывающем на чистый файл/действие как на вирус,совсем не давать минуса,так как предполагается,что пользователь знает,что делает и ошибки в конечном итоге не произойдёт.
Это скорее минус, чем плюс :-) Согласен, что пользователь, в больших случаях выставляя настройки на максимум отдает себе отчет в своих действиях, но есть и крайне противоположная ситуация. Пользователь узнал/услышал/прочитал про максимум и что это гуд, но что потом с этим делать не знает. Таких случаев встречалось достаточно.

Срабатывание на чистый файл это всегда не есть гуд. Это вызывает лишние вопросы и подозрения к файлу/АВ не зависимо от того насколько подкован пользователь, согласны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

Каким же должен быть тест... во-первых больше тестов хороших и разных и не только на детект.

Если мы говорим от тесте на детект, то тут дело в том, что не существует возможности сделать репрезентативную выборку вредоносных программ. Очень важно определить критерий попадания образца в тестовую коллекцию чтобы правильно интерпретировать результат теста. Это очень важно. Имено правильная интерпретация является слабым местом большинства тестов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
...согласны?

Конечно.Этого пользователя можно отнести к профилю,скажем,переоценивающего себя.Можно дальше размельчать на профили.Тогда уходим от теста самого АВ,делая его делая результат непонятным,так как очень зависимым от пользователя,отвечающего раз так,раз наоборот для того же вируса.Оценить реальную возможность продвинутых настроек имеет смысл только для "продвинутого".Остальное будет только недооценка,нетестирование того,что захотели протестировать.

.

Кто уж имеет такие возможности,как http://www.antimalware.ru/phpbb/viewtopic....asc&start=0 ,что бы взять все новые сегодняпоявившиеся "в оборот" вирусы и протестировать?Хотя и вся выборка одного дня может по составу далеко отличаться от выборки за год.Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.Неделя от начала обнародования вопроса?Ключевая персона остаётся тестер(ы).А исказить результаты можно даже благодаря следованию постановений.Зависит от постановлений.Их их реализуемости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
6. четкость воспроизводства реальныых условий (а не работа по "ТРУПАМ")' date=' имел в виду, что пропуск вредоноса однозначно влечет атаку [/quote']

Очевидно, alexgr имел ввиду, что коллекция должны быть чистая от разного мусора (только полностью работоспособные семплы, это сейчас нет ни у кого, кто тестит детект, слишком трудоемко перелапачивать все базы).

именно, абсолютно верно.

Кроме того, говоря по троянов, еоторые укладывают систему - я подразумевал некую возможность уничтожения тела вредоноса. часто это крайне необходимо перед запуском утилит. Я ж не беру в рассмотрение Corrupter, поскольку тут вообще сложно работать. При этом некоторые антивирусные программы "уложенную" систему в том состоянии и оставляют, что неверно. ИМХО

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
Одним словом,остаётся решить просто,на какой день считать всё сказанным,кто что хотел сказать.

Почему-то я подумал,что планируется тест.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      а вот это странно, надо будет почитать может еще что-то отключать надо
    • SQx
      В моем случае я кажется нашел этот - DhcpDomain папаметр: HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Services\Tcpip\Parameters\Interfaces\{64846981-4885-4d8b-af0b-1097a90e00f6} EnableDHCP REG_DWORD 0x1 Domain REG_SZ NameServer REG_SZ DhcpServer REG_SZ 192.168.2.1 Lease REG_DWORD 0x3f480 LeaseObtainedTime REG_DWORD 0x6145e5fe T1 REG_DWORD 0x6147e03e T2 REG_DWORD 0x61495bee LeaseTerminatesTime REG_DWORD 0x6149da7e AddressType REG_DWORD 0x0 IsServerNapAware REG_DWORD 0x0 DhcpConnForceBroadcastFlag REG_DWORD 0x0 DhcpNetworkHint REG_SZ 8616070797 RegistrationEnabled REG_DWORD 0x1 RegisterAdapterName REG_DWORD 0x0 IPAddress REG_MULTI_SZ SubnetMask REG_MULTI_SZ DefaultGateway REG_MULTI_SZ DefaultGatewayMetric REG_MULTI_SZ DhcpIPAddress REG_SZ 192.168.2.103 DhcpSubnetMask REG_SZ 255.255.255.0 DhcpDomain REG_SZ home DhcpNameServer REG_SZ 192.168.2.1 DhcpDefaultGateway REG_MULTI_SZ 192.168.2.1 DhcpSubnetMaskOpt REG_MULTI_SZ 255.255.255.0 DhcpInterfaceOptions REG_BINARY FC00000000000000000000000000000043880400790000000000000000000000000000004388040077000000000000000000000000000000438804002F000000000000000000000000000000438804002E000000000000000000000000000000438804002C000000000000000000000000000000438804002B0000000000000000000000000000004388040021000000000000000000000000000000438804001F000000000000000000000000000000438804000F000000000000000400000000000000C339F780686F6D6506000000000000000400000000000000C339F780C0A8020103000000000000000400000000000000C339F780C0A8020101000000000000000400000000000000C339F780FFFFFF0033000000000000000400000000000000C339F7800003F48036000000000000000400000000000000C339F780C0A8020135000000000000000100000000000000C339F78005000000 DhcpGatewayHardware REG_BINARY C0A8020106000000B8D94D42ED7E DhcpGatewayHardwareCount REG_DWORD 0x1 также я могу его пинговать. >ping -a home Pinging home.home [192.168.2.1] with 32 bytes of data: Reply from 192.168.2.1: bytes=32 time=1ms TTL=64 Reply from 192.168.2.1: bytes=32 time=1ms TTL=64  
    • SQx
      Мне ЛК, также написали:
        Но пользователь сказал, что не было галочки на "Автоматически определять настройки".
    • PR55.RP55
      Например есть  пакет с драйверами ( сотни... тысячи драйверов ) Предполагается использовать этот пакет для обновления системных драйверов, или WIM Часть драйверов подписана, часть нет... Хотелось бы, чтобы uVS  ( по команде в меню: Файл ) - создала из этих драйверов пакет установки\обновления. Копию только из подписанных ( прошедших проверку ( и проверенных по SHA ) драйверов. Копию по типу программы: " Double Driver" http://soft.oszone.net/program/5936/Double_Driver/ + Возможность создать копию системных драйверов, системы - но, опять таки... копировать только подписанные драйвера и те, что есть в базе SHA.  
    • demkd
      гляну, но это дыра с wpad все равно закрывается лишь отключением автонастройки прокси в браузере, больше никак.
×