Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Сергей Ильин

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Весьма странное утверждение, т.к. чем больше коллекция, тем больше реальных человекочасов нужно на проверку. И хоть вероятность и не увеличивается, но это же прогноз, а не статистика - в реальности разброс кол-ва битых самплов может быть и выше при увеличении числа сэмплов в коллекции. Без претензий.

А доказать, не сводится ли внешняя "перепроверка" результатов к добавлению вендорами малораспространенных битых файлов как malware или suspicious со скоростью работы "автодятла", не очень легко. Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним

F-Prot в автодятлизме замечен вроде не был? А детект самплов, которых не нашел в тесте добавил. Аналогично Микрософт и Norman.

Да и к тому же упирание рогом не поможет особо, в каждом новом тесте - новые самплов. Так что по большому счету пофигу отработал ты по старой коллекции или нет.

Так что стандартная отмазка занимающих нижние позиции в подобных тестах мне очень не нравится - она конечно помогает отмазаться тем же Доктору и Агнитуму, когда их тестами к стенке прижимают - но вот насколько она соответсвует реальности...я очень сильно не уверен.

Так что как отмазка для клиентов и партнеров - это да, это работатет. А вот насколько высказанные вами предположения влияют на положение дел - вот это большой вопрос, по крайней мере для меня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      1. на самом деле можно и не удалять, а редактировать единственный критерий для создания запросов. Было бы только удобно формировать такой запрос.... например, "все объекты с цифровой, которая не входит в белый список". здесь ты одним значением не найдешь их фильтруя все объекты сквозным образом по ИНФО, как минимум необходимо два условия, а значит и два значения вводить для запроса. 2. подсветки нет, но это наверное не самое главное. для скорости анализа важно, (хотя бы строку из инфо, которая соответствует критерию).... когда ИНФО содержит много информации. для формирования скрипта- не критично. 3. старых и новых критериев нет. все действующие. ненужные удалить. хотя может и полезно было бы ставить check "отключить" или "включить" данное правило в базе.
        вся эта работа выполняется на стадии формирования списка объектов автозапуска. все исполняемые файлы, которые встречаются по ссылкам в реестре, в cmdLine, и проч. Если ты набрал в поиске по наименованию "cmd.exe", ты уже нашел данный объект в списке со всей его историей (ИНФО), собранной на стадии формирования образа автозапуска.... в какие параметры, ссылки входит в реестре или в cmdLine. цитата "выше Разве?" взята из предложения по деструктивным действиям чистых файлов, когда эти деструктивные действия находятся с помощью критериев, но чистый хэш снимает статус, подтверждающий дейструктивность действия данного файла в анализируемой системе.
    • PR55.RP55
      Недостатки uVS:
      1) Невозможно задать временный критерий. После поиска созданный критерий нужно удалять... Решение: При создании критерия добавить чек бокс:  НЕ вносить изменений в snms [ V ] 2) В Инфо. нет подсветки по типу поиска в браузере ( подсветить всё найденное ) 3) Поиск идёт по всем критериям -  по старым и по новым. Когда критериев много ( а их много ) такой поиск теряет смысл. Разве ? Нет смысла искать в других полях по: каталог; имя производителя; цифровой подписи; хэш. Напомню:  " Пока что вижу эти: wmic.exe, vssadmin.exe, cmd.exe, svchost.exe + powershell.exe+ netsh.exe конечно, остальные можно по мере поступления добавить.  "      
    • santy
      1. уточни, о каком функционале по ИНФО идет речь. одно дело фильтрующий поиск, т.е. список объектов фильтруется (сейчас) по определенному полю, и поиск выполняется сразу после введения одного символа, далее, уже по двум добавленным символам. и т.д. запрос же выполняется после введения некоторого значения. (не единственного символа.) запросов в таком виде сейчас нет, они могли бы быть, если будет реализована функция фильтрации по единственному критерию. (т.е. в этом случае мы получаем результат не по всем критериям, а по одному из списка) ----- здесь не факт, что фильтрующий поиск будет работать настолько быстро при проверке введенного символа по всем полям. 2. приведи примеры, когда введенное значение имеет смысл фильтровать по всем полям ИНФО. скажем если мы ищем имя файла, то нет смысла его искать в качестве вхождения в другие поля, аналогично и имя каталога, и имя производителя, и цифровой подписи, хэшей. и т.д. т.о. может получиться, что мы только увеличим время обновления зафильтрованного списка, и не получив ожидаемого лучшего результата.
    • gromm
    • gromm
×