Тест антивирусов на детектирование полиморфных вирусов (результаты)

[Zyx 45]

Да уж. Странный тест какой-то получился...

Сначала пишете:

"Важно! Первоначальный отбор, анализ и группировка самплов является главной частью подготовки теста, занявшей большее количество времени."

А потом отвечаете на вопрос:

">Каждый сэмпл необходимо проверять на его работоспособность и следить за тем, что вирус действительно:

>1) Заразил удачно

>2) Получает управление

>>Это делает тест нереальным в приципе. Каким образом можно проверить на работоспособность 30 тыс. самплов?

>>Какой-то небольшо процент битых файлов, конечно, есть. С другой стороны их почему-то прекрасно детектит таже Авира."

Так чем вы занимались то?

А то чем-то напоминает тест Климентия(тестируеться помойная яма, мое ихмо).

Получается зараженные образцы не тестировались? Или тестировались абы как?

Я конечно же понимаю что любое тестирование - дело неблагодарное, но раз уж взялись тестировать не "кучу мусора" а "алгоритмы распознования полиморфных вирусов", то и держите качество тестирования на уровне.

Получаеться, раз вы сами в ручную не тестировали каждые семпл, то должны были полагаться на результаты каких-либо вендоров(вендора), иначе как бы вы после запуска определили все зараженные образцы?

"Фиксировались изменений файловой системы (список зараженных файлов) при помощи специальной утилиты." - по измененным файлам в системе что-ли?

" специальной утилиты" - тож звучит =)) А потом все измененные файлы проверяли....проверяли как я понимаю не руками

А раз оперались на результаты, значит и результаты тестирования нельзя назвать валидными.

И как можно проверять детект вирусов БЕЗ лечения? и что с ними делать пользователю, солить после обнаружения?

Мое ИХМО:

Нужно было взять несколько десятков семполов каждого образца, поотдельности размножить до нескольких сотен и проверить как детект, так и лечение.

Вы конечно же можете отпираться, говоря, что "Это делает тест нереальным в приципе", но тест должен соответствовать своему названию(тестируються, между прочим не трояны с полиморфным движком, а именно вирусы!!!), иначе гроше цена ему.

Вообще очень нравился подходт anti-malware к тестированию, но этот как то ввел в ступор =(

С Уважением.

[Иван 290]

Флаг вам в руки Разрешаем посмотреть: силой мысли, гаданием на кофейной гуще, подкладыванием расчески под подушку, бросанием костей, в нотепаде, по F3 в FAR'е, в hiew, в ida, в любом дебаггере или еще где угодно

я выбираю подушку, научите!

и все же проверить было бы интересно и не только по Доктору, ибо имхо надо уж либо совсем битые не трогать, либо детектить по максимуму - иначе непонятен критерий почему одни самплы бурутся, а другие нет.

[Иван 290]

p.s. Мне вот что-то подсказывает, что все сэмплы Virut'а которые мы не определили - битые.

sww, я знаю что вы и A. с высоты своего опыта крайне прнебрежительно относитесь к вопросам таких профанов как я...но все же у меня просьба прокомментировать вот это заявление:

Логично, что если файл был изменен вредоносной программой, но пользователю нужно об этом знать, тем более, если этот файл можно корректно вылечить.

Верно ли оно и если нет, то почему?

Нужно было взять несколько десятков семполов каждого образца, поотдельности размножить до нескольких сотен и проверить как детект, так и лечение.

я вот опять же как профан (при этом не лишенный логики) слежу за обсуждениями тестов и вижу: если берут мало самплов, но каждый из них проверяют т тестируют и лечение тоже - часть аудитории говорит, что тест плох - мало самплов, выборка неверная. Если берут много самплов при этом не запуская каждый из них для проверки, то сразу ответ - тестировали непонятно что, надо было самплы было все проверить.

походу нет и не будет тестов, которые были лишены и тех и других недостатков. Что конечно жаль.

[Black Angel 125]

походу нет и не будет тестов, которые были лишены и тех и других недостатков. Что конечно жаль.

Думаю, что при любых тестах все равно найдутся недовольные.

[sww 486]

sww, я знаю что вы и A. с высоты своего опыта крайне прнебрежительно относитесь к вопросам таких профанов как я...но все же у меня просьба прокомментировать вот это заявление:

Логично, что если файл был изменен вредоносной программой, но пользователю нужно об этом знать, тем более, если этот файл можно корректно вылечить.

Верно ли оно и если нет, то почему?

Мое мнение - не верно. Это не дело антивируса. Давайте тогда детектить измененные пользовательские файлы: вордовские документы, еще что-то. Почему нет - изменено же.

Я, возможно, повторюсь, но еще раз говорю: вирусу управление не передается. Дело в том, что Virut сначала вставляет свой код, потом ищет место где пропатчить вызов и если места не находит, то так все и оставляет, иначе раздвигает секцию PE-файла и файл считается зараженным. А так, его совершенно безопасный код находится в оверлее файла. Объясните мне непутевому в чем опасность этих незараженных файлов? Какую угрозу они представляют для пользователя? Места у него стало на несколько мегабайт (при особом везении) меньше на диске или что?

Мне кажется, что просто некоторые вендоры не умеют писать движки и эмуляторы, точнее я в этом даже уверен И пользуются автодятлами по 32-ум контрольным суммам даже не думая (утрирую конечно, но близко к правде).

я вот опять же как профан (при этом не лишенный логики) слежу за обсуждениями тестов и вижу: если берут мало самплов, но каждый из них проверяют т тестируют и лечение тоже - часть аудитории говорит, что тест плох - мало самплов, выборка неверная. Если берут много самплов при этом не запуская каждый из них для проверки, то сразу ответ - тестировали непонятно что, надо было самплы было все проверить.

походу нет и не будет тестов, которые были лишены и тех и других недостатков. Что конечно жаль.

Мне больше по-душе такие тесты, например, как Василий проводит: каждый сэмпл выбран не случайно, нет повторяющихся методов перехвата, выбраны разные и интересные экземпляры, каждый из которых на самом деле представляет какой-либо класс руткита. Это как выжимка из общей массы, математически: пересечение.

А когда проверяются помойки в миллион сэмплов - этого я вообще не понимаю. Там настолько громадный процент мусора, битых файлов и прочего трэша который никто не проверяет на валидность и не собирается этого делать. Я слышал отмазки: проще записать, чем потом каждому объяснять почему тест не пройден и от этого только грустно становится, деваться-то некуда, этих дуболомов потом весь мир слушает и тыкает в тебя результатами тестирования.

[Сергей Ильин 1538]

Sticky, версия Eset Nod32 указана - 3.0.

Спекуляции на тему битых файлов в коллекции ни к чему не приведут. Я уже написал все мнение выше. Если есть желание пообсуждать методики очистки тестовых коллекций, то создавайте новую тему.

[Zyx 45]

я вот опять же как профан (при этом не лишенный логики) слежу за обсуждениями тестов и вижу: если берут мало самплов, но каждый из них проверяют т тестируют и лечение тоже - часть аудитории говорит, что тест плох - мало самплов, выборка неверная. Если берут много самплов при этом не запуская каждый из них для проверки, то сразу ответ - тестировали непонятно что, надо было самплы было все проверить.

походу нет и не будет тестов, которые были лишены и тех и других недостатков. Что конечно жаль.

Не обязательно проверять все руками. Полиморфные вирусы дело тонкое, прям как восток

Можно было бы какую-то часть отсеить статическим тестом, по характерным признакам "правильного заражения"(точно не битого), конечно же учитывая особенности каждого вируса. Всетаки 30тыс не совершенно разных файлов, а вполне оперделенных!

Для оставшихся семплов, которые были подвержены подозрению в неработоспособности в статическом тесте, написать динамический!

Автоматом запускать и проверять действия,которые выполняет вирус. Действия вполне определены, из-за конкретности семплов(семейств всего несколько).

(Автоматизировать все это не сложно!!!)

Семплы которые не прошли, либо не брать, либо подвергать подробному ручному анализу.

Если уж так хотелось 30тыс, можно было повторять эту процедуру до того как не наберется 30 тыс, отсеивая все подозрительные на неработоспособность файлы. И ответ "Это делает тест нереальным в приципе. " не уместен. Все вполне реально было сделать.

Так что никакой сложности не вижу, думаю авторы немножко поторопились....хотелось как лучше...

С Уважением.

[Zyx 45]

Sticky, версия Eset Nod32 указана - 3.0.

Спекуляции на тему битых файлов в коллекции ни к чему не приведут. Я уже написал все мнение выше. Если есть желание пообсуждать методики очистки тестовых коллекций, то создавайте новую тему.

Извините,Сергей,со всем Уважением, но

Ведь это Вы оргаизатор тестирования и ,как я понимаю, именно Вы отвечаете за его качество. А ответ на вполне корректные вопросы в стиле "сам дурак, мое дело было провести, на все вопросы уже ответил" - помоему неуместен.

Тестирование было "алгоритмов распознования полморфных вирусов", а не "алгоритмов распознования битых файлов, или файлов с попыткой заражения вирусами", так что спор о том стоит ли детектить битые семплы считаю бессмысленным и неуместным.

Вы проводили тестирование на конкретно заданных образцах, это не 30 тыс случайных семплов - это совершенно разные вещи. Да образцы сложные, так и методалогия тестирования должна была это учитывать.

Вобщем скомкано и нелогично.

[dr_dizel 385]

Если говорить о конкретно этих самплах, то они зараженные и детектировать их все равно нужно, что правильно делают другие антивирусы. Логично, что если файл был изменен вредоносной программой, но пользователю нужно об этом знать, тем более, если этот файл можно корректно вылечить.

Я думаю, корень спора в том, что применяемые методы детекта у некоторых антивирусов основаны на разборе работоспособного кода, а недосягаемый код просто не проверяется. Выигрыш - в скорости проверки. Если начать детектить все некорректные заражения, то упадёт скорость, и надо будет перелопачивать базу антивируса для нужного функционала, да и движок видимо тоже. Кто на это пойдёт ради какого-то там теста?

[Сергей Ильин 1538]

Нужно было взять несколько десятков семполов каждого образца, поотдельности размножить до нескольких сотен и проверить как детект, так и лечение.

В этом случае как обычно нас бы обвинили в нерепрезентативности выборки. Каждый бы писал, что полиморфные вирусы имеют тысячи вариантов и крайне не корректно брать такой мизер для теста.

Можно было бы какую-то часть отсеить статическим тестом, по характерным признакам "правильного заражения"(точно не битого), конечно же учитывая особенности каждого вируса. Всетаки 30тыс не совершенно разных файлов, а вполне оперделенных!

В следующий раз возьмем это на вооружение, спасибо за совет и конструктивную критику.

Мне вот что-то подсказывает, что все сэмплы Virut'а которые мы не определили - битые.

Я с большим уважением отношусь к вашему профессионализму и результатам работы (DrWeb в тесте выглядит очень прилично), но я вам вчера повторно отправил по одному работающему самплу Virut.4, Allaple.4 и Twido.2, которые ваши продукты не детектируют. Эти самплы показывают, что 100% детекта по этим семействам нет.

За долго до начала теста я связывался со всеми вендорами и предлагал им поучаствовать в разработке методологии теста и помочь с составлением начального набора самплов. Почти никто не откликнулся! Игнорирование или отстутствие содействия - это норма. Зато потом всегда есть шанс сказать, что в коллекции куча мусора и тест вообще странный.

Влиять на методологию надо было раньше и честно участвовать в подготовке начальной коллекции самплов. Вот тогда не будут возникать разговоры, которые мы наблюдаем выше.

[sww 486]

Я с большим уважением отношусь к вашему профессионализму и результатам работы (DrWeb в тесте выглядит очень прилично), но я вам вчера повторно отправил по одному работающему самплу Virut.4, Allaple.4 и Twido.2, которые ваши продукты не детектируют. Эти самплы показывают, что 100% детекта по этим семействам нет.

Они попали в спам, только сейчас вытащил. Посмотрел только Virut'а и оказалось все тоже самое - не заражен файл, вирус не активен. Спасибо, кстати, за новый сэмпл кликера которым он является.

[Иван 290]

Они попали в спам, только сейчас вытащил.

Антиспам ваш?

[Иван 290]

F-Secure http://sferabs.ru/content/view/731/52/

[Ego1st 95]

хы быстро F-Secure накатали обьявленице и суток не успело пройти=))

[A. 875]

хы быстро F-Secure накатали обьявленице и суток не успело пройти=))

"Полиморфные вирусы являются одними из наиболее сложных для обнаружения, и 100% их обнаружение антивирусом F-Secure в очередной раз подтверждает надежность самого продукта"

Где там 100% ??

"Кроме того, качество обнаружения полиморфных вирусов, как наиболее сложных, может косвенно свидетельствовать об уровне профессионализма специалистов антивирусной лаборатории F-Secure, ведь им необходимо не только тщательно проанализировать сложнейшие образцы вирусов, но и выработать надежные процедуры и методы по их 100% обнаружению."

Фины конечно смишные ... как бага и провал - так "это не мы, это у Касперского базы", а как чего-то выиграть, так сразу "уровень профессионализма специалистов антивирусной лаборатории F-Secure"

[sww 486]

Антиспам ваш?

Неа

[dan 10]

Мое мнение - не верно. Это не дело антивируса. Давайте тогда детектить измененные пользовательские файлы: вордовские документы, еще что-то. Почему нет - изменено же.

Я, возможно, повторюсь, но еще раз говорю: вирусу управление не передается. Дело в том, что Virut сначала вставляет свой код, потом ищет место где пропатчить вызов и если места не находит, то так все и оставляет, иначе раздвигает секцию PE-файла и файл считается зараженным. А так, его совершенно безопасный код находится в оверлее файла. Объясните мне непутевому в чем опасность этих незараженных файлов? Какую угрозу они представляют для пользователя? Места у него стало на несколько мегабайт (при особом везении) меньше на диске или что?

Мне кажется, что просто некоторые вендоры не умеют писать движки и эмуляторы, точнее я в этом даже уверен И пользуются автодятлами по 32-ум контрольным суммам даже не думая (утрирую конечно, но близко к правде).

Что ж Вы такое говорите?

Если вирус взял да поменял кучу программ на диске, по-моему это дело чести взять и пользователю весь этот мусор вылечить.

А что если логика программы нарушится из-за наличия оверлея?

И дело тут совершенно не в степени опасности, а в том чтобы работу доделать до конца качественно.

[Сергей Ильин 1538]

Просьба обсуждение вопросов правильности составления коллекции и детектирования "битых" вирусов вести в отдельной теме http://www.anti-malware.ru/forum/index.php?showtopic=4266

[sww 486]

"Кроме того, качество обнаружения полиморфных вирусов, как наиболее сложных, может косвенно свидетельствовать об уровне профессионализма специалистов антивирусной лаборатории F-Secure, ведь им необходимо не только тщательно проанализировать сложнейшие образцы вирусов, но и выработать надежные процедуры и методы по их 100% обнаружению."

Фины конечно смишные ... как бага и провал - так "это не мы, это у Касперского базы", а как чего-то выиграть, так сразу "уровень профессионализма специалистов антивирусной лаборатории F-Secure"

Только я именно это и хотел написать

Они там видимо совсем свои головы в Куала-Лумпур перегрели...

Что ж Вы такое говорите?

Если вирус взял да поменял кучу программ на диске, по-моему это дело чести взять и пользователю весь этот мусор вылечить.

А что если логика программы нарушится из-за наличия оверлея?

И дело тут совершенно не в степени опасности, а в том чтобы работу доделать до конца качественно.

Рекомендую для начала ознакомиться с азами структуры PE-файла и с загрузчиком ОС, а потом уже говорить про логику и оверлей. На этом в этой ветке я больше не отвечаю.

[Umnik 997]

Virusu.net

Кнопка "Жалоба" используется для указания Администрации на нарушение правил Портала. Потому я прикладываю текст жалобы в топик, как и должны были сделать Вы.

Считаю ответ Ильина: "Качал с сайта, какая версия официально выложена, такая и тестировалась. Мне кажется, это логично." недостойным ответом. Версия VBA32 3.12.6.2 (действующая) отличается от версии, которую тестировали как минимум на один год, это во первых. Во вторых, в тесте использовалась версия без обновления. Если бы было выполнено обновление в тесте участвовала бы новая версия и соответственно свежие вирусные базы данных.

С Вашей стороны это не корректно;

Считаю, что Вы обязаны как минимум опровергнуть результаты тестов и выполнить новое тестирование для VBA32. С уважением ООО "ВирусБлокАда"

[A. 875]

Рекомендую для начала ознакомиться с азами структуры PE-файла и с загрузчиком ОС, а потом уже говорить про логику и оверлей. На этом в этой ветке я больше не отвечаю.

То есть про Allaple.4 и Twido.2 комментариев не будет ?

[Сергей Ильин 1538]

Результаты ВБА будут скорректированы.

Только что перепроверил их результаты на новой версии, разница существенная. Приношу свои извинения. В течении пары часов отпишуть о допущенных ошибках точно.

[Сергей Ильин 1538]

Что касается результата по DrWeb, то даже если предположить, что Virut был взят на 100%, это не позволяет данному антивирусу получить золото.

[sww 486]

То есть про Allaple.4 и Twido.2 комментариев не будет ?

Я же прокомментировал уже все что можно. Мы разбираемся... Или я высказывал какие-то претензии по старману и Dwee?

[A. 875]

Я же прокомментировал уже все что можно. Мы разбираемся... Или я высказывал какие-то претензии по старману и Dwee?

Судя по Вашему live:

Record has been corrected Win32.Dwee.2 Eduard Moskalchuk 13:10

Record has been corrected Win32.Dwee Eduard Moskalchuk 13:10

вы уже давно разобрались. Озвучьте что ли ...