Перейти к содержанию
Сергей Ильин

Тест антивирусов на детектирование полиморфных вирусов (результаты)

Recommended Posts

Иван
Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

видимо вас результат не устроил конечный:)

имхо плохая идея

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Virusu.net
видимо вас результат не устроил конечный:)

имхо плохая идея

Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen
видимо вас результат не устроил конечный:)

имхо плохая идея

Попытаюсь более точно сформулировать позицию ВирусБлокАды по возникшей проблеме.

Для начала разъясню политику нашей компании с теми инсталляшками, которые лежат на нашем серваке.

Инсталляшки мы пересобираем только при изменении мажорной цифры в версии антивируса (таковой мы

считаем третью цифру) . Т.е. 3.12.0 , 3.12.2 , 3.12.6, а те изменения в компонентах антивируса, которые

выходят в промежутках (соответственно минорная цифра) скачиваются нашими пользователями в качестве обновлений.

Инсталляционный пакет 3.12.2 был собран в августе 2007 года, соответственно в данной версии лежит

не только антивирусное ядро за тот период, но и антивирусные базы.

Тестирование началось в январе. Первоначально опубликованные результаты выглядели как результаты,

соответствующие версии антивируса за август. Что позже было подтверждено Groft и Сергеем Ильиным.

А теперь наша позиция.

1. Мы не согласны с первыми результатами тестирования, так как они не соответствуют состоянию нашего антивируса на 15 января

2. Мы СОГЛАСНЫ с теми результатами, которые были опубликованы после повторного тестирования, но было взято состояние за конец февраля

3. Но, так как мы понимаем, что это создало не очень приятный прецедент в работе AM, мы согласны на то, чтобы тестирование нашего антивируса было либо исключено из данного теста, либо было вынесено за его рамки

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

Бугагага. Понеслась.

В принципе то о чем я и говорил :)

Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

Отличный пафос!

Только одно мааааленькое такое уточнение - это была не коллекция вирусов. Это были 11 вирусов. Которые ВАМ безусловно известны. Потому что, если бы они не были вам известны - вы бы показали 0%. А у вас проценты есть по каждому.

Это полиморфы. Их так "случайно" не задетектишь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

тут я соглашусь с Иваном. И дело не в прецедентности. Хотя с А. тоже согласен -это дает и понятие прецедента, и осадок. Но ... криво ли обновилось или ...? Может, апдейт кривоватенький лег? Ну бывает... Но ведь результаты с тем обновлением - даже берем его в кавычки - были получены объективно? Чего их тогда пересматривать? Если объективно криво обновилось?

Больше тревожит результат "обновленного" теста - условия уже были не те же. Докручивал или не докручивал - вопрос второй. Мы имели 4.33 и 4.44, но это разные версии - совсем. И по детекту, и по лечению. Делать - " а давайте, мы уже имели" звучит как то не совсем.... ИМХО, разумеется

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Virusu.net

Конечно они нам известны... Может поясните почему Twido.2 - 0.16%.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Конечно они нам известны... Может поясните почему Twido.2 - 0.16%.....

Фалса ? :)

результат получен на коллекции вирусов, нам не известной

вы с "кайфом" определитесь что ли ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

На своей очень часто ее владелец впереди планеты всей. Проверено, честно - так и есть. Весь и фокус игры на чужом поле, которое изначально незнакомо. Может, потому и в футболе гол на чужом поле стоит выше, чем на своем? Есть, есть тут логика.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Кстати смешно еще знаете что ? Twido - made in Belarus.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen
тут я соглашусь с Иваном. И дело не в прецедентности. Хотя с А. тоже согласен -это дает и понятие прецедента, и осадок. Но ... криво ли обновилось или ...? Может, апдейт кривоватенький лег? Ну бывает... Но ведь результаты с тем обновлением - даже берем его в кавычки - были получены объективно? Чего их тогда пересматривать? Если объективно криво обновилось?

Господа представители вендоров, это - чушь. Кривоватенький апдейт - это не к этой ситуации. В данной ситуации, как нам кажется, обновления не было вообще. В тестировании участвовала версия VBA32 полугодовой давности с полугодовыми базами.

Больше тревожит результат "обновленного" теста - условия уже были не те же. Докручивал или не докручивал - вопрос второй. Мы имели 4.33 и 4.44, но это разные версии - совсем. И по детекту, и по лечению. Делать - " а давайте, мы уже имели" звучит как то не совсем.... ИМХО, разумеется

Вы думаете о нас даже лучше, чем мы сами о себе думаем. За пару дней перелопатили всю базу по Virut?

Мы заинтересованы в том, чтобы нас тестировали корректно и объективно и в будущем не возникало таких накладок.

Кстати смешно еще знаете что ? Twido - made in Belarus.

Могу вас заверить - это не наша разработка :rolleyes:

Наверное кто-то писал на экспорт :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Могу вас заверить - это не наша разработка :rolleyes:

Наверное кто-то писал на экспорт :rolleyes:

Это я к тому что он вам якобы "неизвестен". Извините, но - "не верю" (с) Станиславский.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen
Это я к тому что он вам якобы "неизвестен". Извините, но - "не верю" (с) Станиславский.

«Все идет по плану» (с) Гражданская оборона (1988) :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Господа представители вендоров, это - чушь. Кривоватенький апдейт - это не к этой ситуации. В данной ситуации, как нам кажется, обновления не было вообще. В тестировании участвовала версия VBA32 полугодовой давности с полугодовыми базами.

оперирирую приведенными данными. Не более. Вы пропустили - версия от версии отличаются - факт! для того их и делают. Примите результаты версии - участника. а так - как то стрельба вдогон... не интересно... Все вендоры постоянно что-то обновляют, прикручивают. В данном случае ничего личного, но пересмотр явно не в тему. Нужен новый тест. Сновыми движками и базами, с новыми семплами... Попросить Василия подобрать веселые такие, технологичные - он это умеет, ей-Богу. Дано ему. И - с белого листа. Тогда снова будем смотреть, даже без функционала лечения., поскольку нашим соседям (не восточным славянам. По области обитания токмо. Без национальностей. Сорри, ничего личного!) сей функционал все одно не по зубам

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen
оперирирую приведенными данными. Не более. Вы пропустили - версия от версии отличаются - факт! для того их и делают. Примите результаты версии - участника. а так - как то стрельба вдогон... не интересно... Все вендоры постоянно что-то обновляют, прикручивают. В данном случае ничего личного, но пересмотр явно не в тему. Нужен новый тест. Сновыми движками и базами, с новыми семплами... Попросить Василия подобрать веселые такие, технологичные - он это умеет, ей-Богу. Дано ему. И - с белого листа. Тогда снова будем смотреть, даже без функционала лечения., поскольку нашим соседям (не восточным славянам. По области обитания токмо. Без национальностей. Сорри, ничего личного!) сей функционал все одно не по зубам

Мы говорим о том же.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

я что-то пропустил? Не вы ли предлагали не считать результаты либо считать результаты как бы для промо -участника?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Virusu.net
Кстати смешно еще знаете что ? Twido - made in Belarus.

Похоже в Росии свои вируса... Twido - made in Russia. Интересно в чем отличие от Twido - made in Belarus?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

всегда были и видимо всегда будут. В силу соцальных практик и особенностей распространения...Например, Plastix (Krotten) - в АМЕРИКЕ, к примеру, ВИДИМО, НЕ СОЗДАСТ УГРОЗ

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen
я что-то пропустил? Не вы ли предлагали не считать результаты либо считать результаты как бы для промо -участника?

Нет. Вы ничего не пропустили. Мы говорим с вами об одном и том же.

Вы не хотите видеть в одной таблице dr.web от 15 января и vba32 от 28 февраля, а мы не хотим видеть vba32 от августа 2007 и dr.web от 15 января 2008.

Потому мы и предлагаем как один из вариантов vba32 из таблицы исключить, раз уж возникла такая ситуация.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Похоже в Росии свои вируса... Twido - made in Russia. Интересно в чем отличие от Twido - made in Belarus?

Мда ...

в Белоруссии реальная эпидемия вируса уже с начала лета прошлого года, а представители VBA32 продолжают делать круглые глаза ...

Что-то как-то даже неинтересно - просто тупое отрицалово идет. Да и черт с вами, не мои проблемы же.

tvido.jpg

post-413-1204306383_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft

Поддерживаю sergey ulasen. Надо исключать. Ставим всех в равные условия и мотаем на ус ошибки, дабы не повторять их.

2 А., эпидемия говорите... ну да... как и у всех, которые летают без шлёма. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например :)

Прав я не имею, просто высказываю свое мнение, это же форум?))

Да и тут не всякие Виталиги, а офф предаставители Vba32.

Все равно решение не от нас зависит: исключать или нет:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

не от нас... и что теперь? а давайте ни фига не делать - все равно от нас ничего не зависит? Иль - типа - доберемся - до сентенции - всяк антивирус бесполезен, поскольку на ...% реактивен? К фигу он нужон?

исследование операций в последнем случае имело парадокс зениток на торговых судах. Критерием поставили число сбитых самолетов, а не число реально отраженных атак. По числу "сраженных наповал" на внешних рубежах с НОД вряд ли кто сравнится :D

Более того, я уже давно снял вопрос об участниках - выбрано, согласовано, измерено, взвешено - таки принимаем, можно слегка пополемизировать об сэмплах участниках - тут - реальные аналитики меня либо опровергнуть, либо поддержать - и вперед. ИМХО

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Семашко
Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

sergey ulasen (Сергей Уласень) - технический специалист ОДО "ВирусБлокАда" из Минска, я тоже еще пока здесь работаю

Virusu.net - представитель http://virusu.net/

Требований снять результаты с теста не было, были просто предложены различные варианты выхода из сложившейся ситуации (как Вы правильно заметили, не хотелось бы создавать прецедент пересчета процентов и выдачи наград). Решение в любом случае за Сергеем Ильиным.

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например :)

Тут ситуация принципиально другая. Сергей Ильин подтвердил серьезную проблему, которая была допущена при проведении тестирования VBA32, обнаружилась по "горячим следам", и которая существенно повлияла на результаты. Какие будут ваши предложения? Делать все правильно и никогда не ошибаться? Хорошее предложение на будущее, мы всеми руками "за".

Сейчас по-моему логичной была бы корректировка отчета (при наличии возможности сделать это правильно), либо просто исключение невалидных результатов. Как уже было сказано, добавление результатов версии VBA32 от 28 февраля ни мы, ни многие из участников форума не считаем правильной корректировкой (хотя они будут ближе к реальным, чем результаты из первоначального варианта отчета). Не вижу никаких причин в том, чтобы просто исключить неверные данные из отчета и оставить те, которые являются валидными и проведены в соответствии с изначально выбранной методологией теста. Вам есть что возразить?

По тестам в целом на будущее, хотелось бы всегда видеть в протоколе полный номер версии, билда, дату/версию вирусных баз (о том, где и как эту информацию брать, можно задать вопрос разработчикам тестируемых продуктов).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Лично мое мнение - не надо было изначально пересчитывать результаты VBA32. Была допущена ошибка в тестировании - ок, она установлена, она повлияла на результат. Значит вот тот первый результат и надо было аннулировать = убрать VBA из теста совсем.

Нет, вместо этого сделали пересчет и пришли к тому, к чему пришли - требование\пожелание\просьба снять результаты.

Извините, но это выглядит именно как попытка всеми средствами избежать демонстрации плохих, провальных данных для VBA. Они провальные, что в первом случае, что во втором. Теперь, когда вы уже видите это - два провала, то просьба все-таки снять результаты вообще - это ...

Фактически VBA дали две попытки. Обе неудачные. Итог - "не надо нас вообще считать".

Если не согласны с тем что это были две попытки - считайте это одной. Итог тот же - "не надо нас вообще считать".

Отсюда и вопрос - почему же теперь любой другой вендор не может сказать то же самое - "не надо нас считать" ? Имхо, может. И даже найдет несколько фактов в свою пользу. Например, мол, у нас в это время базы оптимизировались - бага была на нашей стороне, вы не при чем, но результат все равно снимите.

так что ли ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×