Перейти к содержанию
Сергей Ильин

Тест антивирусов на поддержку упаковщиков II (подготовка)

Recommended Posts

Сергей Ильин

Коллеги, мы реанимируем идею проведения очередного теста антивирусов на поддержку упаковщиков. Как вы знаете, первый тест антивирусов на поддержку пакеров был опубликован еще в Августе 2006. Второй, к сожалению, сорвался по различным причинам.

Я помню, что методология этого теста подверглась критике, особенно представителями зарубежных вендорами Eset и F-Prot и нашим Доктором Вебом. Поэтому надеюсь на вашу помощь в выработке/доработке методологии.

Планируемые нововведения (отличия от предыдущего теста):

1. Пакеров будет больше, будут использоваться различные версии (Т.е. исключительно свободные или ломанные/зарегенные тулзы

все версии, способные генерить на выходе exe-шники безо всяких демо-сообщений и т.п. + сломанные и "расковырянные" именнно для упаковки малвары) Всего будет около 140 наименований упаковщиков и порядка 300 версий.

2. Вредоносы будут браться наиболее редкие, но детектируемые всеми, чтобы максимально исключить вероятность детект поверх пакера.

3. Из списка продуктов будет удалены UNA и CA.

4. Вероятнее всего будет изменена система оценки результатов. Будет градация (Полная поддержка - Частичная поддержка - Отсутствие поддержки).

5. Будет произведена проверка на ложные срабатывания

6. Частично будет изменены критерии для присуждения наград.

Этот тест будет проводить NickXists уже в самое ближайшее время.

Релиз - декабрь 2007.

**************************************

Если ли какие-то еще пожелания или замечания по тесту?

Готов ответить на любые вопросы. Надеюсь, что их будет много.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Относительно F-Prot:

откровенно порадовало добавление правил эвристики "Eldorado"

( http://forum.f-prot.com/index.php/topic,737.0.html )

и сопутствовавшее данному факту более или менее внятное наименование найденного

(по сравнению с ранее виденным "кажется, я что-то нашел" aka "[Found possible virus] <{no name} (not disinfectable)>", значительно осложнявшим трактовку результатов)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Настройки всех я так понимаю будут на максимум дабы опять таки исключить лишние вопросы позже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists
Настройки всех я так понимаю будут на максимум дабы опять таки исключить лишние вопросы позже.

Да, конечно: все продукты будут настроены на макс. эффективность проверки.

---------------------------------------------------------------

По этому поводу есть небольшой вопрос отн-но

Vba32 и F-Prot

У Vba32 есть следующие настройки

.../PM[+|-]             - thorough check mode (VERY slow);/HA=[0|1|2|3]        - heuristic analysis level (0 - disabled, 2 - maximum);...

/PM+ замедлял процесс проверки примерно на 1/4

(а в итогах, в числе прочего, указывается и время проверки)

При иcпользовании крайнего значения /HA увеличится число ложняков (например, av подозревает Pinch-а там, где он и рядом не валялся)

---------------------------------------------------------------

Аналогично с F-Prot:

при задирании "уровня" эвристики в крайнее положение существенно увеличится число ложняков, но, вероятно, что-то будет и "зачтено"

---------------------------------------------------------------

Как правильнее мерять : ) ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

И так и так.

И на настройках по умолчанию и на максимальных.

Заодно увидим качество настроек каждого вендора.

Насколько хорошо был выбран уровень по умолчанию ;) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

В идеале было бы здорово проверить при дефолтовых и максимальных настройках. Думаю тут много бы всего интересного вылезло, особенно по фолсам.

Единственное, это заметно увеличит время тестирования и обработки результатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

За каждый фолс - 0,5 штрафных балла.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Согласен, при проверке при (настройках по default-у) / ("выкрученных" на максимум) статистика получилась бы еще интереснее.

Время обработки результатов увеличится (не в два раза, но в >> 1.5 точно).

В принципе, при наличии достаточного интереса ничто не мешает сделать так.

---------------------------------------------------------

Добавлено спустя 19 минут 15 секунд:

За каждый фолс - 0,5 штрафных балла.

Если на грубом примере.

Проверка на определенной версии распространенного (для защиты вполне легального софта) протекторе N дала результат вида:

- продукт A - детект 40 из упакованных 100 файлов; фолсов 0;

- продукт B - детект 60 из упакованных 100 файлов; плюс 20 фолсов

(Грубо говоря: если упаковать блокнот с настройками A...B...C - он будет определен, например, как Trojan.x.x)

Что лучше для пользователя?

-------------------------------------------------

На мой взгляд, система штрафных баллов в данном случае - не лучший вариант, а пропорции - спорны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Штрафовать не стоит. Правильнее в выводах четко отметить, за счет чего достигается высокий детект упакованных зловредов у некоторых антивирусов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Хорошо. Согласен. Но упоминать о фолсах все-таки стоит. Ибо из-за фолса пользователь может снести любимое ПО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Нет друзья по стойте, какие фолсы и скорость. Вопрос лежит либо детект либо нет детекта, неважно с какой скоростью, важно смог распаковать или нет я так понимаю, а то потом невидна будет общая картина теста, если все будут говорить о фолсах и о скоростях, а ведь идея не в этом а в поддержке пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

По моему, если антивирус фолсит на упакованный каким то пакером объект, то поддержка данного пакера спорна ;) .

Если только пакер не малварный, типа NSAnti.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

1.) Фолсы не учитываются при подсчете результатов

в_следующем_смысле:

на примере

"продукт B - детект 60 из упакованных 100 файлов; плюс 20 фолсов"

в результатах по данной версии данного пакера будет фигурировать

60/100

Фолсы - отдельной таблицей.

По моему, если антивирус фолсит на упакованный каким то пакером объект, то поддержка данного пакера спорна ;) .

Если только пакер не малварный, типа NSAnti.

В этом случае для данного продукта в соотв. поле будут цифры.

Например:

Таблица "Результаты детекта" -> : 60/100

Таблица "Ложные срабатываения" -> 20/100

Как вам такой вариант?

dan, и еще один момент : )

является ли, например, ExeCryptor (не ломанный exe-шник, а честно : ) зарегенный на, к примеру, Джона Ли Хукера) малварным пакером ?

И является ли реакция Kav вида "Packed.Win32.CryptExe..."

на все файлы, им "запротекченные" чем-то, отличным от фолса?

-------------------------------

Нет друзья по стойте, какие фолсы и скорость. Вопрос лежит либо детект либо нет детекта, неважно с какой скоростью, важно смог распаковать или нет я так понимаю, а то потом невидна будет общая картина теста, если все будут говорить о фолсах и о скоростях, а ведь идея не в этом а в поддержке пакеров.

2.) время будет указано как "факультативный" : ) параметр.

Просто для сведения:

"Вот за такое время продукт A проверил тестовый набор,

а за такое - продукт B на той_же_системе, в ~тех_же_условиях"

(влияние колебаний влажности воздуха, лунных приливов и увеличения поголовья тушканов в Мексике в расчет не принимаются : )

На результат теста пакеров данное число не влияет и ни в какие суммы не входит.

Если тест дает такую информацию, отчего бы ее не показать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Я считаю, что срабатывание на запакованный любым пакером Нотепад - фолса :-) Будем забираться уже по факту, хотел этого производитель или нет, малварный пакер или нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
dan, и еще один момент : )

является ли, например, ExeCryptor (не ломанный exe-шник, а честно : ) зарегенный на, к примеру, Джона Ли Хукера) малварным пакером :) ?

И является ли реакция Kav вида "Packed.Win32.CryptExe..."

на все файлы, им "запротекченные" чем-то, отличным от фолса?

Если это "скарденная" версия пакера, которую использовали исключительно вирмаки, то почему бы не задетектить.

А если детектить всё подряд запакованное купленной тулзой, то конечно 100% фолса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

-> dan:

ok. Спасибо, понятно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Семашко
По этому поводу есть небольшой вопрос отн-но

Vba32 и F-Prot

У Vba32 есть следующие настройки

.../PM[+|-]             - thorough check mode (VERY slow);/HA=[0|1|2|3]        - heuristic analysis level (0 - disabled, 2 - maximum);...

/PM+ замедлял процесс проверки примерно на 1/4

(а в итогах, в числе прочего, указывается и время проверки)

При иcпользовании крайнего значения /HA увеличится число ложняков (например, av подозревает Pinch-а там, где он и рядом не валялся)

Применять /pm и /ha=3 при сканированиия с помощью VBA32 официально не рекомендуется (в GUI интерфейсе при попытке выставить эти настройки выдается дополнительное предупреждение). Консольный сканер возмущаться не будет, но информация о том, что для эвристики '2 - maximum' не является опечаткой. Данные настройки предназначены только для тех случаев, когда антивирус при стандартных настройках ничего не находит, но пользователь подозревает что на компьютере творится что-то неладное и хочет найти наиболее подозрительные файлы для дальнейшего анализа.

Обычных настроек '/ha=2' и '/af' должно быть достаточно для тестирования. В GUI сканере вообще по умолчанию выставлен уровень эвристики эквивалентный /ha=1.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

-> Сергей Семашко:

т.е. в качестве максимальных настроек рекомендуется использовать

/M=2 /HA=2?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Семашко
-> Сергей Семашко:

т.е. в качестве максимальных настроек рекомендуется использовать

/M=2 /HA=2?

Да

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Раз возражений больше нет, то можно приступать к тесту :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Да, в общем, видимо, все, кто хотели высказаться, уже сделали это : )

А возражений "по факту" все равно будет...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr.Golova

> А возражений "по факту" все равно будет...

Да, будет :) Если будете тестить семерку, возьмите хотябы один файл, который однозначно берется эвристикой, а не только сигнатурами. Узнаем сколько пакеров может пройти новый эмулятор на дефолтовых настойках :) В смысле если после упаковки детект стал не сигнатурным а эвристическим, значит native поддержки пакера нет, но эмулятор его проходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists
> А возражений "по факту" все равно будет...

Да, будет :) Если будете тестить семерку, возьмите хотябы один файл, который однозначно берется эвристикой, а не только сигнатурами. Узнаем сколько пакеров может пройти новый эмулятор на дефолтовых настойках :) В смысле если после упаковки детект стал не сигнатурным а эвристическим, значит native поддержки пакера нет, но эмулятор его проходит.

Ну вот и первые претензии : )

Сорри, Dr.:

рад бы, но набор уже устаканился и во весь опор "кипит работа".

Видимо, это будет одним из пробелов.

Нет, блин, предела совершенству : )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Есть ли какие-либо предложения насчет состава набора для проверки фолсов?

Интересуют три момента:

1.) Есть ли внятные аргументы против того, что ложные срабатывания будут проверяться только на тех тулзах, которые предусматривают использование в "мирных целях"?

Говоря проще - это минус крипторы и прочие конструкторы, однозначно заточенные под малвару.

2.) Какие предложения непосредственно по составу файлА?

Есть ли, что дополнить по комплекту вида

{стандартные файлы Win} + {нераспространенные standalone exe-шники} ?

3.) Нет ли принципиальных возражений отн-но того, что в под-тесте на ложняки будут фигурировать только exe?

т.е. w/o dll/sys/... и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1.) Есть ли внятные аргументы против того, что ложные срабатывания будут проверяться только на тех тулзах, которые предусматривают использование в "мирных целях"?

По хорошему, интересно посмотреть все тестируемые упаковщики на "фалсы". Будет видно, кто ставит вердикты по упаковщику, а кто реально поддерживает его.

2.) Какие предложения непосредственно по составу файлА?

Есть ли, что дополнить по комплекту вида

{стандартные файлы Win} + {нераспространенные standalone exe-шники} ?

Поддерживаю. ИМХО будет достаточно такого комплекта.

3.) Нет ли принципиальных возражений отн-но того, что в под-тесте на ложняки будут фигурировать только exe?

т.е. w/o dll/sys/... и т.д.

У меня нет возражений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
    • Dmitrius
      Канализация из септиков под ключ На предприятии каждый сможет заказать установку септиков, созданных из ЖБ конец - они не только практичны, но и отличаются безукоризненным качеством. Ищите где заказать монтаж септика астра - получите всю необходимую информацию на сайте. Важным моментом является то, что услуги оказываются на должном, профессиональном уровне. Это достигается за счет того, что в бригаде трудятся специалисты, которые знают все особенности своей работы. При этом стоимость работ остается на доступном уровне. Огромный стаж работы позволил приобрести большое количество клиентов – они советуют предприятие знакомым. Бетонные септики пользуются популярностью не только за счет своей небольшой стоимости, но и благодаря прочности, а также невосприимчивы к негативным условиях среды, они не нуждаются в сервисном обслуживании. И самое важное, что установка проводится на грунте любого типа. Такой вид септика считается самым быстрым способом организовать очистное сооружение на дачном участке. Сотрудники предприятия специально для вас подготовят предложение, произведут расчеты, грамотно расположат септик, а заодно и закупят все необходимые материалы по доступным ценам, выполнят доставку и монтажные работы. На все, включая материалы, предоставляются гарантии. Услуги оказываются не только по столице, но и области, на любом грунте: песке, глине и др. Монтаж септиков различной сложности, а также с подключением бани или дачи, переливом, любых соединений. Есть возможность вызвать целую бригаду специалистов на малый участок либо дачу, на которой вы проживаете время от времени или постоянно. Монтажные работы в ограниченные сроки. Во время монтажных работ учитывается то, сколько человек проживает в доме, особенности – о них поведает консультант. Теперь и вы сможете заказать высококлассные работы.
×