Тест антивирусов на детектирование полиморфных вирусов (результаты)

[Иван 290]

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

видимо вас результат не устроил конечный

имхо плохая идея

[Virusu.net 0]

видимо вас результат не устроил конечный

имхо плохая идея

Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

[sergey ulasen 200]

видимо вас результат не устроил конечный

имхо плохая идея

Попытаюсь более точно сформулировать позицию ВирусБлокАды по возникшей проблеме.

Для начала разъясню политику нашей компании с теми инсталляшками, которые лежат на нашем серваке.

Инсталляшки мы пересобираем только при изменении мажорной цифры в версии антивируса (таковой мы

считаем третью цифру) . Т.е. 3.12.0 , 3.12.2 , 3.12.6, а те изменения в компонентах антивируса, которые

выходят в промежутках (соответственно минорная цифра) скачиваются нашими пользователями в качестве обновлений.

Инсталляционный пакет 3.12.2 был собран в августе 2007 года, соответственно в данной версии лежит

не только антивирусное ядро за тот период, но и антивирусные базы.

Тестирование началось в январе. Первоначально опубликованные результаты выглядели как результаты,

соответствующие версии антивируса за август. Что позже было подтверждено Groft и Сергеем Ильиным.

А теперь наша позиция.

1. Мы не согласны с первыми результатами тестирования, так как они не соответствуют состоянию нашего антивируса на 15 января

2. Мы СОГЛАСНЫ с теми результатами, которые были опубликованы после повторного тестирования, но было взято состояние за конец февраля

3. Но, так как мы понимаем, что это создало не очень приятный прецедент в работе AM, мы согласны на то, чтобы тестирование нашего антивируса было либо исключено из данного теста, либо было вынесено за его рамки

[A. 876]

Уважаемые коллеги! Конечно это досадная ошибка, что тестирование было проведено изначально на необновленной версии программы. Спасибо, что Вы решили пересмотреть результаты теста. Но тут выявилась маленькая проблема: новые тесты провели на версии программы, более старшей, чем время проведения теста.

В связи с этим предлагаю исключить из данного теста результаты VBA32 полностью. Давайте будем считать, что в этом тесте мы не участвовали. Думаю, что это будет справедливо по отношению ко всем участникам теста. Спасибо за понимание.

ООО "ВирусБлокАда"

Бугагага. Понеслась.

В принципе то о чем я и говорил

Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

Отличный пафос!

Только одно мааааленькое такое уточнение - это была не коллекция вирусов. Это были 11 вирусов. Которые ВАМ безусловно известны. Потому что, если бы они не были вам известны - вы бы показали 0%. А у вас проценты есть по каждому.

Это полиморфы. Их так "случайно" не задетектишь.

[alexgr 556]

тут я соглашусь с Иваном. И дело не в прецедентности. Хотя с А. тоже согласен -это дает и понятие прецедента, и осадок. Но ... криво ли обновилось или ...? Может, апдейт кривоватенький лег? Ну бывает... Но ведь результаты с тем обновлением - даже берем его в кавычки - были получены объективно? Чего их тогда пересматривать? Если объективно криво обновилось?

Больше тревожит результат "обновленного" теста - условия уже были не те же. Докручивал или не докручивал - вопрос второй. Мы имели 4.33 и 4.44, но это разные версии - совсем. И по детекту, и по лечению. Делать - " а давайте, мы уже имели" звучит как то не совсем.... ИМХО, разумеется

[Virusu.net 0]

Конечно они нам известны... Может поясните почему Twido.2 - 0.16%.....

[A. 876]

Конечно они нам известны... Может поясните почему Twido.2 - 0.16%.....

Фалса ?

результат получен на коллекции вирусов, нам не известной

вы с "кайфом" определитесь что ли ...

[alexgr 556]

Хм.... Вообще то, учитывая то, что этот результат получен на коллекции вирусов, нам не известной(скажем - чужой) - можно с уверенностью сказать - результат лучше, чем можно было ожидать. Просто надо всегда быть справедливым....уметь признавать свои ошибки, стараться не замечать чужие и если хватит мужества - прощать им их.

На своей очень часто ее владелец впереди планеты всей. Проверено, честно - так и есть. Весь и фокус игры на чужом поле, которое изначально незнакомо. Может, потому и в футболе гол на чужом поле стоит выше, чем на своем? Есть, есть тут логика.....

[A. 876]

Кстати смешно еще знаете что ? Twido - made in Belarus.

[sergey ulasen 200]

тут я соглашусь с Иваном. И дело не в прецедентности. Хотя с А. тоже согласен -это дает и понятие прецедента, и осадок. Но ... криво ли обновилось или ...? Может, апдейт кривоватенький лег? Ну бывает... Но ведь результаты с тем обновлением - даже берем его в кавычки - были получены объективно? Чего их тогда пересматривать? Если объективно криво обновилось?

Господа представители вендоров, это - чушь. Кривоватенький апдейт - это не к этой ситуации. В данной ситуации, как нам кажется, обновления не было вообще. В тестировании участвовала версия VBA32 полугодовой давности с полугодовыми базами.

Больше тревожит результат "обновленного" теста - условия уже были не те же. Докручивал или не докручивал - вопрос второй. Мы имели 4.33 и 4.44, но это разные версии - совсем. И по детекту, и по лечению. Делать - " а давайте, мы уже имели" звучит как то не совсем.... ИМХО, разумеется

Вы думаете о нас даже лучше, чем мы сами о себе думаем. За пару дней перелопатили всю базу по Virut?

Мы заинтересованы в том, чтобы нас тестировали корректно и объективно и в будущем не возникало таких накладок.

Кстати смешно еще знаете что ? Twido - made in Belarus.

Могу вас заверить - это не наша разработка

Наверное кто-то писал на экспорт

[A. 876]

Могу вас заверить - это не наша разработка

Наверное кто-то писал на экспорт

Это я к тому что он вам якобы "неизвестен". Извините, но - "не верю" (с) Станиславский.

[sergey ulasen 200]

Это я к тому что он вам якобы "неизвестен". Извините, но - "не верю" (с) Станиславский.

«Все идет по плану» (с) Гражданская оборона (1988)

[alexgr 556]

Господа представители вендоров, это - чушь. Кривоватенький апдейт - это не к этой ситуации. В данной ситуации, как нам кажется, обновления не было вообще. В тестировании участвовала версия VBA32 полугодовой давности с полугодовыми базами.

оперирирую приведенными данными. Не более. Вы пропустили - версия от версии отличаются - факт! для того их и делают. Примите результаты версии - участника. а так - как то стрельба вдогон... не интересно... Все вендоры постоянно что-то обновляют, прикручивают. В данном случае ничего личного, но пересмотр явно не в тему. Нужен новый тест. Сновыми движками и базами, с новыми семплами... Попросить Василия подобрать веселые такие, технологичные - он это умеет, ей-Богу. Дано ему. И - с белого листа. Тогда снова будем смотреть, даже без функционала лечения., поскольку нашим соседям (не восточным славянам. По области обитания токмо. Без национальностей. Сорри, ничего личного!) сей функционал все одно не по зубам

[sergey ulasen 200]

оперирирую приведенными данными. Не более. Вы пропустили - версия от версии отличаются - факт! для того их и делают. Примите результаты версии - участника. а так - как то стрельба вдогон... не интересно... Все вендоры постоянно что-то обновляют, прикручивают. В данном случае ничего личного, но пересмотр явно не в тему. Нужен новый тест. Сновыми движками и базами, с новыми семплами... Попросить Василия подобрать веселые такие, технологичные - он это умеет, ей-Богу. Дано ему. И - с белого листа. Тогда снова будем смотреть, даже без функционала лечения., поскольку нашим соседям (не восточным славянам. По области обитания токмо. Без национальностей. Сорри, ничего личного!) сей функционал все одно не по зубам

Мы говорим о том же.

[alexgr 556]

я что-то пропустил? Не вы ли предлагали не считать результаты либо считать результаты как бы для промо -участника?

[Virusu.net 0]

Кстати смешно еще знаете что ? Twido - made in Belarus.

Похоже в Росии свои вируса... Twido - made in Russia. Интересно в чем отличие от Twido - made in Belarus?

[alexgr 556]

всегда были и видимо всегда будут. В силу соцальных практик и особенностей распространения...Например, Plastix (Krotten) - в АМЕРИКЕ, к примеру, ВИДИМО, НЕ СОЗДАСТ УГРОЗ

[sergey ulasen 200]

я что-то пропустил? Не вы ли предлагали не считать результаты либо считать результаты как бы для промо -участника?

Нет. Вы ничего не пропустили. Мы говорим с вами об одном и том же.

Вы не хотите видеть в одной таблице dr.web от 15 января и vba32 от 28 февраля, а мы не хотим видеть vba32 от августа 2007 и dr.web от 15 января 2008.

Потому мы и предлагаем как один из вариантов vba32 из таблицы исключить, раз уж возникла такая ситуация.

[A. 876]

Похоже в Росии свои вируса... Twido - made in Russia. Интересно в чем отличие от Twido - made in Belarus?

Мда ...

в Белоруссии реальная эпидемия вируса уже с начала лета прошлого года, а представители VBA32 продолжают делать круглые глаза ...

Что-то как-то даже неинтересно - просто тупое отрицалово идет. Да и черт с вами, не мои проблемы же.

[Groft 65]

Поддерживаю sergey ulasen. Надо исключать. Ставим всех в равные условия и мотаем на ус ошибки, дабы не повторять их.

2 А., эпидемия говорите... ну да... как и у всех, которые летают без шлёма.

[A. 876]

Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например

[Groft 65]

Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например

Прав я не имею, просто высказываю свое мнение, это же форум?))

Да и тут не всякие Виталиги, а офф предаставители Vba32.

Все равно решение не от нас зависит: исключать или нет

[alexgr 556]

не от нас... и что теперь? а давайте ни фига не делать - все равно от нас ничего не зависит? Иль - типа - доберемся - до сентенции - всяк антивирус бесполезен, поскольку на ...% реактивен? К фигу он нужон?

исследование операций в последнем случае имело парадокс зениток на торговых судах. Критерием поставили число сбитых самолетов, а не число реально отраженных атак. По числу "сраженных наповал" на внешних рубежах с НОД вряд ли кто сравнится

Более того, я уже давно снял вопрос об участниках - выбрано, согласовано, измерено, взвешено - таки принимаем, можно слегка пополемизировать об сэмплах участниках - тут - реальные аналитики меня либо опровергнуть, либо поддержать - и вперед. ИМХО

[Сергей Семашко 0]

Господа, вы бы хоть представились официально - кто такие и почему вы уполномочены требовать снятия с теста результатов ?

sergey ulasen (Сергей Уласень) - технический специалист ОДО "ВирусБлокАда" из Минска, я тоже еще пока здесь работаю

Virusu.net - представитель http://virusu.net/

Требований снять результаты с теста не было, были просто предложены различные варианты выхода из сложившейся ситуации (как Вы правильно заметили, не хотелось бы создавать прецедент пересчета процентов и выдачи наград). Решение в любом случае за Сергеем Ильиным.

А то эдак вон Виталик придет и будет требовать снятия результатов НОДа. Потому что тестировали не на русифицированной версии. Например

Тут ситуация принципиально другая. Сергей Ильин подтвердил серьезную проблему, которая была допущена при проведении тестирования VBA32, обнаружилась по "горячим следам", и которая существенно повлияла на результаты. Какие будут ваши предложения? Делать все правильно и никогда не ошибаться? Хорошее предложение на будущее, мы всеми руками "за".

Сейчас по-моему логичной была бы корректировка отчета (при наличии возможности сделать это правильно), либо просто исключение невалидных результатов. Как уже было сказано, добавление результатов версии VBA32 от 28 февраля ни мы, ни многие из участников форума не считаем правильной корректировкой (хотя они будут ближе к реальным, чем результаты из первоначального варианта отчета). Не вижу никаких причин в том, чтобы просто исключить неверные данные из отчета и оставить те, которые являются валидными и проведены в соответствии с изначально выбранной методологией теста. Вам есть что возразить?

По тестам в целом на будущее, хотелось бы всегда видеть в протоколе полный номер версии, билда, дату/версию вирусных баз (о том, где и как эту информацию брать, можно задать вопрос разработчикам тестируемых продуктов).

[A. 876]

Лично мое мнение - не надо было изначально пересчитывать результаты VBA32. Была допущена ошибка в тестировании - ок, она установлена, она повлияла на результат. Значит вот тот первый результат и надо было аннулировать = убрать VBA из теста совсем.

Нет, вместо этого сделали пересчет и пришли к тому, к чему пришли - требование\пожелание\просьба снять результаты.

Извините, но это выглядит именно как попытка всеми средствами избежать демонстрации плохих, провальных данных для VBA. Они провальные, что в первом случае, что во втором. Теперь, когда вы уже видите это - два провала, то просьба все-таки снять результаты вообще - это ...

Фактически VBA дали две попытки. Обе неудачные. Итог - "не надо нас вообще считать".

Если не согласны с тем что это были две попытки - считайте это одной. Итог тот же - "не надо нас вообще считать".

Отсюда и вопрос - почему же теперь любой другой вендор не может сказать то же самое - "не надо нас считать" ? Имхо, может. И даже найдет несколько фактов в свою пользу. Например, мол, у нас в это время базы оптимизировались - бага была на нашей стороне, вы не при чем, но результат все равно снимите.

так что ли ?