Перейти к содержанию
Сергей Ильин

Тест антивирусов на детектирование полиморфных вирусов (результаты)

Recommended Posts

sww
Судя по Вашему live:

Record has been corrected Win32.Dwee.2 Eduard Moskalchuk 13:10

Record has been corrected Win32.Dwee Eduard Moskalchuk 13:10

вы уже давно разобрались. Озвучьте что ли ...

Еще не разобрались. Все дело в том, что движки/эмуляторы у разных вендоров работают по-разному, из-за этого можно просто "пролететь" мимо. Что тут еще объяснять?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Цитата(A. @ 28.02.2008, 15:50)

То есть про Allaple.4 и Twido.2 комментариев не будет ?

Я же прокомментировал уже все что можно. Мы разбираемся... Или я высказывал какие-то претензии по старману и Dwee?

т.е. если принять тот факт, что Доктор Веб справедливо не детектирует самплы Virutа и получил бы за него 100%, то набрал бы он 25 балов, как Аваст.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Фины конечно смишные ... как бага и провал - так "это не мы, это у Касперского базы", а как чего-то выиграть, так сразу "уровень профессионализма специалистов антивирусной лаборатории F-Secure" :)

:rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
За долго до начала теста я связывался со всеми вендорами и предлагал им поучаствовать в разработке методологии теста и помочь с составлением начального набора самплов. Почти никто не откликнулся!

Значит кто-то откликнулся.

Можно узнать кто?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

Отчет о тестировании оперативно изменен. Спасибо Groft за обнаруженную критическую ошибку в ходе тестирования.

VBA32 Workstation получает в итоге Bronze Anti-Polymorphic Protection Award.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

Отчет о тестировании оперативно изменен. Спасибо Groft за обнаруженную критическую ошибку в ходе тестирования.

VBA32 Workstation получает в итоге Bronze Anti-Polymorphic Protection Award.

все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

Угу, эволюция возможна и радует.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Как я обещал выше, результаты VBA32 были пересчитаны на новой версии 3.12.6.2

3.12.6.2 вышла в свет 25 февраля. Тест к этому моменту был уже завершен, насколько я понимаю.

Ничего не имею против белорусов, но возникает вопрос ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
3.12.6.2 вышла в свет 25 февраля. Тест к этому моменту был уже завершен, насколько я понимаю.

Ничего не имею против белорусов, но возникает вопрос ...

Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

сдается мне, что тестировать 3.12.2 котороая по какой-то странной причине не обновилась при наличии 3.12.6.1 было еще нечестнее

если самплы белоруссам не давали - то я не думаю, что та фора что у них образовалась засчет того что взяли свежую 3.12.6.2 существенно может исказить результат

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Дело не в версиях и не в самплах.

Дело в принципе. Есть установленные правила и это явное их нарушение.

Я прекрасно помню, как отказывали DrWeb-у пересчитать результаты теста самозащиты для 4.44. И правильно делали. А сейчас примерно то же самое, но с обратным результатом, делается для VBA.

Это прецедент, который в будущем АМ могут припомнить. Вкупе с другими накладками текущего теста - это в целом задает весьма скептическое и негативное отношение к тесту. А ведь АМ уже не новички в тестировании и сослаться на отсутствие опыта уже нельзя.

Простой факт. Никакой версии 3.12.6.2 в момент проведения теста с 15 января по 20 февраля - в природе не существовало. Исходя из этого - само наличие этого продукта в тексте - глупость.

Это тут нам, Ильин со товарищи могут обьяснить что, как и почему так и мы даже наверное поймем и согласимся. Но если АМ собирается составлять конкуренцию тем же Марксам и Энгельсам - такие вещи западной публике будут непонятны, со всеми вытекающими ...

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Это тут нам, Ильин со товарищи могут обьяснить что, как и почему так и мы даже наверное поймем и согласимся. Но если АМ собирается составлять конкуренцию тем же Марксам и Энгельсам - такие вещи западной публике будут непонятны, со всеми вытекающими ...

а вот это совсем смешно, взгляните на тесты Маркса - там ни то что версии, там даже названия продуктов отсутствуют http://www.sunbelt-software.com/ihs/alex/R...1_20_282_29.xls и западная публика хавает за обе щеки.

а вы говорите об минорном индексе версии после третьей точки, смешно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Я говорю о том, что Маркс никакого пересмотра по непонятным критериям не делает, поэтому никаких вопросов у западной публики не возникает. (зато у нас\вас возникают).

Ну да, представьте себе что он сделал тест, его опубликовали в журнале, а в следующем номере Маркс выкатывает поправку - этому "медаль" все-таки дадим.

если АМ считает возможным последующий пересчет результатов, то надо четко определить принципы по которым это делается. И огласить. Если не раз и навсегда, то хотя бы на длительный срок. А то как тест, так какие-то новые правила - "тут мы газету читаем, а тут в нее рыбу заворачиваем".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я говорю о том, что Маркс никакого пересмотра по непонятным критериям не делает, поэтому никаких вопросов у западной публики не возникает. (зато у нас\вас возникают).

Ну да, представьте себе что он сделал тест, его опубликовали в журнале, а в следующем номере Маркс выкатывает поправку - этому "медаль" все-таки дадим.

если АМ считает возможным последующий пересчет результатов, то надо четко определить принципы по которым это делается. И огласить. Если не раз и навсегда, то хотя бы на длительный срок. А то как тест, так какие-то новые правила - "тут мы газету читаем, а тут в нее рыбу заворачиваем".

а если же говорить о том, что нельзя принципы нарушать - сделал тест, и несмотря ни на что менять его результаты нельзя - то и тут мировой практике тестирования известны случаи: VBстошники после долгих припирательств дали заветный значок VB100% Есету, который изначально тест не прошел. И опять общественность схавала.

я не говорю, что это хорошо. я говорю что так есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
а если же говорить о том, что нельзя принципы нарушать - сделал тест, и несмотря ни на что менять его результаты нельзя - то и тут мировой практике тестирования известны случаи: VBстошники после долгих припирательств дали заветный значок VB100% Есету, который изначально тест не прошел. И опять общественность схавала.

я не говорю, что это хорошо. я говорю что так есть

Какая общественность схавала ? Я схавал ? Сотрудники всех других антивирусных компаний ? Вы схавали ? Тот же Маркс схавал ? Да ничего подобного. И как раз этим примером вы сами и тыкаете, а я говорю - что в АМ будут тыкать примером с VBA.

Вообще какая-то фигня получается. Лечение не тестировано, некоторые самплы в наборе "спорные", результаты пересчитываются для несуществующих продуктов, самплы выдаются вендорам (!! - это вообще отдельная тема и я опять же припомню случай, когда я просил самплы после какого-то из тестов-сравнений на АМ и мне было отказано и мотивация была высказана вроде "наша задача не помогать вендорам детектировать вирье, а помогать пользователям определить кто есть кто").

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Какая общественность схавала ? Я схавал ? Сотрудники всех других антивирусных компаний ? Вы схавали ? Тот же Маркс схавал ?

так нам с вами в каждом тесте что-то не нравится, мы не показатель

если же говорить о перечисленных недостатках, то они свойствены всем западным тестам:

Лечение не тестировано

ну так оно ни у VB100% ни у климентия на полиморфах тоже не тестируется

некоторые самплы в наборе "спорные"

а у маркса и климентия тоже самплы спорные, вон тот же клементий все никак отмазку за свой августовский тест не подготовит QA of August 2007 test-set & corrections January 2008 delayed, but coming soon

результаты пересчитываются для несуществующих продуктов

приведенный выше пример с VB100%

самплы выдаются вендорам

а вон тот климентий с марксом тоже дают самплы вендорам, по крайней мере первый точно

а что вам не дали - так и западники то дают самплы, то не дают - по настроению

короче все недостатки этого теста надо исправлятьв будущем, но говорить что типа этот тест по западным критериям рылом не вышел - от этого не надо :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Иван, ну вот вы пишете - "у них тоже самое", "они тоже", "и там так". Все понимаю.

Не понимаю только с чего бы западные заказчики вдруг должны взять и полюбить АМ и начать его данные использовать - если он такой же как и все остальные существующие тест-лабы ? Точно так же косячит, то есть.

Надо быть лучше Маркса и ВБ. Очередной "невнятный" тестер не нужен никому. Даже западникам. А уж в свете создания AMTSO ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Надо быть лучше Маркса и ВБ. Очередной "невнятный" тестер не нужен никому.

от с этим согласен

а что касается конкретно AMTSO, то пусть сначала договорятся, а то Маркс ужо почитай год всем рассказывает что надо методолгию тестирования хипсов утвердить, а толку нема, тока те же невнятные тесты от того же маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
от с этим согласен

а что касается конкретно AMTSO, то пусть сначала договорятся, а то Маркс ужо почитай год всем рассказывает что надо методолгию тестирования хипсов утвердить, а толку нема, тока те же невнятные тесты от того же маркса

Просто они еще не все бабло симантека поделили, некогда там методологиями заниматься :lol::lol::lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
все таки меня антималваре радует, в отличии от клементиев с марксом наши готовы исправлять ошибки и давать самплы

и правильно делаете :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да, я тоже хотел обратить внимание что тест начался 15-го января.

Значит проводить обновления после этого - как минимум нечестно.

Улучшение результатов VBA32 связаны не столько с новой версией, а тем, что в первый раз обновление произошло криво. Было бы еще более нечестно оставить ошибочные результаты, которые получились каким-то чудесным образом? Самплы мы им не давали. Докрутить что-то времени не было.

Был косяк, я его признал и честно поправил результаты. Пусть ценой такого шага будет падение авторитета тестовой площадки, важнее исправить ошибку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вообще какая-то фигня получается. Лечение не тестировано, некоторые самплы в наборе "спорные", результаты пересчитываются для несуществующих продуктов, самплы выдаются вендорам (!! - это вообще отдельная тема и я опять же припомню случай, когда я просил самплы после какого-то из тестов-сравнений на АМ и мне было отказано и мотивация была высказана вроде "наша задача не помогать вендорам детектировать вирье, а помогать пользователям определить кто есть кто").

Что лечение не тестировалось - это плохо, я это признаю. В будущих версиях теста будем это делать. Что касается выдачи самплов, то это, как уже очевидно, была моя ошибка. Получив какие-то самплы любой продвинутый специалист может опустить ниже плинтуса результаты любого теста. Вообщем такой халявы больше не будет - только обоюдный обмен с авторизованными партнерами.

Пропущенные самплы у меня сейчас просит добрая половина вендоров из первой 10-ки. Что-то я не припомню, чтобы они так же активно участвовали в подготовке теста :) Тест сложный и как показало обсуждение результатов можно было его существенно улучшить, но, не смотря не на что, в таком виде он все равно интереснее аналогов.

Сформулирую золотое правило на будущее: не участвовал в подготовке теста - никаких самплов, никакого права и возможностей что-то просить/требовать после публикации результатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Сформулирую золотое правило на будущее: не участвовал в подготовке теста - никаких самплов, никакого права и возможностей что-то просить/требовать после публикации результатов.

меня вот лично другое напрягает

я так понимаю участвовать в обсуждении методологии теста никому не запрещено, но почему-то вместо этого ряд товарищей предпочитают уже после теста рассказать всем, что тест дерьмо и постараться его дискредитировать.

И даже больше, они предпочитают заявлять, что вот мол не было проведено лечение, поэтому тест никуда не годится.

1. при этом во-первых, все почему-то не говорят, что если нет детекта, то лечения не будет заведомо и тест проверяет необходимое условие - детект, что уже показатель

2. во-вторых, никто даже после теста не предложил реального метода проверки корректности лечения большого числа самплов. Все предпочитают слова - надо было лечение проверять и все тут. Вот подумайте и предложите на обсуждение корректную реализуемую схему проверки лечения. Тогда и выступайте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
2. во-вторых, никто даже после теста не предложил реального метода проверки корректности лечения большого числа самплов. Все предпочитают слова - надо было лечение проверять и все тут. Вот подумайте и предложите на обсуждение корректную реализуемую схему проверки лечения. Тогда и выступайте.

Очень правильное замечание. Готов в следующий раз проверять лечение. Кто-то готов предложить методику или все останется на уровне демагогии "надо было сделать лучше"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Virusu.net

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×