Результаты теста VB100% - апрель 2008

[Иван 290]

Вышел VB100% за апрель. Все знают как к этому тесту отношусь, а именно я согласен со следующим

в настоящем своем виде коллекция WildList морально устарела и не отражает реальной ситуации с вирусами в сети интернет. В результате, по мнению Андреаса Маркса, тесты, основанные на коллекции WildList, становятся все более бессмысленными. Они хороши для рекламы продуктов, которые их прошли, но реально качество антивирусной защиты они не отражают.

Вроде бы с нами абсолютно согласен Борис Шаров

В «Доктор Веб» неудачу склонны объяснять недостатками методики тестирования Virus Bulletin. Борис ШАРОВ, генеральный директор компании, заметил, что нынешние результаты тестирования опубликованы в тот момент, когда проблема антивирусного тестирования в том виде, в каком оно проводится, поставлена самим антивирусным сообществом очень остро: «Всем уже очевидно, что антивирусные тесты сегодня по своему качеству не удовлетворяют никого, даже самих тестеров. Результаты, "ошеломившие" тестера Virus Bulletin, на самом деле довольно показательны - ни один из ведущих антивирусов не гарантирован сегодня от пропусков нескольких вирусов на сколько-нибудь большой коллекции».

Оценивать эффективность антивирусных продуктов на основе «прошел - не прошел» при тестировании по детектированию пассивного массива вирусов становится с каждым днем занятием все более и более неблагодарным, говорит Шаров. Он указывает на тот факт, что тестирование журнала Virus Bulletin проводится на коллекции In the Wild, которая собирается группой Wild list на основании сообщений от ряда корреспондентов со всего мира: «Способность того или иного антивируса детектировать 100% из этой коллекции зависит во многом от доступности соответствующих сэмплов соответствующей антивирусной компании».

При этом никак не оценивается способность антивирусов бороться с этими же вирусами в условиях активного заражения - а это интересует многих пользователей гораздо больше, поскольку вирус, мирно лежащий на диске, представляет собой лишь потенциальную опасность, а вирус активный, находящийся в памяти - это опасность реальная, объясняет Шаров.

Но у меня тогда простой вопрос: какого [***] Доктор Веб не участвует больше в тестах AV-Comparatives, кроет нехорошими словами тесты Anti-Malware http://www.anti-malware.ru/forum/index.php...ost&p=35496

Но при этом упорно продолжает участвовать в тестах VB100%?

Отредактировал Апрель 4, 2008 Николай Головко

[A. 875]

Да понятно же все, Иван ...

Ого, сколько не взяло ... причем во всех эшелонах. что в первой пятерке, что дальше ...

не очень понял что там делает RedStone (движок наш) - это же hosted решение, а ля наш Hosted Security ...

[A. 875]

P.S.

Мддаааа.... посмотрел я детальные результаты этого теста.

Называть цифру не буду, но для DrWeb, имхо, действительно лучше как-то обьяснить этот результат. Такого провала я еще никогда не видел.

Чего у вас там случилось ???

[_Stout 131]

P.S.

Мддаааа.... посмотрел я детальные результаты этого теста.

Называть цифру не буду, но для DrWeb, имхо, действительно лучше как-то обьяснить этот результат. Такого провала я еще никогда не видел.

Чего у вас там случилось ???

Мда, действительно, провал серьезный.

Кстати, ты обратил внимание на табличку с архивами?

А красный камень это не только Hosted но и Managed Security типа AV-Desk скорее, поэтому и может принимать участие в тестах.

[Иван 290]

а ЛК значится считает VB100% тестом, который таки показывает эффективность антивирусов?

[A. 875]

а ЛК значится считает VB100% тестом, который таки показывает эффективность антивирусов?

А ЛК по поводу VB100 все еще в 2005 году сказало.

[Иван 290]

Увы, и эти тесты далеки от совершенства. Стандарт тестирования VirusBulletin был разработан где-то в середине 90-х годов прошлого века и с тех пор практически не изменялся. Антивирусные продукты тестируются на неком наборе зараженных файлов (так называемый ITW-набор, ITW = «In The Wild», т.е. вирусы, обнаруженные в «дикой природе»), по результатам прогонов затем делается вывод: заслуживает продукт 100% сертификата безопасности или нет. Количество файлов же в этом ITW-наборе мизерное — около двух или трех тысяч, т.е. меньше, чем появляется новых ITW-вирусов и троянцев всего за один месяц! Таким образом, увы, результат VB100% никак не говорит о том, что данный продукт действительно защищает от вирусных угроз. Данная награда свидетельствует только о том, что данный продукт прекрасно справляется с ITW-коллекцией VirusBulletin — и ничего более.

из этого следует: если Доктор Веб не взял VB100%, это значит, что он не справился с ITW-коллекцией VirusBulletin - и ничего более. И никаких выводов об эффективности их продуктов и о том, что у них что-то случилось сделать нельзя.

[Valery Ledovskoy 1082]

из этого следует: если Доктор Веб не взял VB100%, это значит, что он не справился с ITW-коллекцией VirusBulletin - и ничего более.

Да, именно так.

И никаких выводов об эффективности их продуктов и о том, что у них что-то случилось сделать нельзя.

Мой взгляд тоже за данный двойной стандарт во мнениях А. зацепился.

Ну да ладно. Возможно то был просто повод для очередной дискуссии

[A. 875]

из этого следует: если Доктор Веб не взял VB100%, это значит, что он не справился с ITW-коллекцией VirusBulletin - и ничего более. И никаких выводов об эффективности их продуктов и о том, что у них что-то случилось сделать нельзя.

Иван и Валерий - мои выводы следующие:

DrWeb уже ГОД проваливает тесты VB (пять тестов подряд, если не ошибаюсь). И до последнего теста - к этому еще можно было относится как то, что он не справился с коллекцией VB - ничего более.

Но.

И у DrWeb, и у нас, и у других вендоров - такие провалы ВСЕГДА были обусловлены пропуском 1-2, ну хорошо - может даже 3-х ITW самплов.

Собственно, это НОРМАЛЬНО. В этот раз вы видите - Тренд, Макафи, Софос и т.д. - тоже пропустили.

Вопрос лишь в количестве.

Так вот - количество пропущенных в этот раз DrWeb самплов - лично я - считаю НЕНОРМАЛЬНЫМ при любом раскладе и любом отношении кого-бы то ни было к VB.

А также - глядя на этот же показатель - за последние пять тестов - я вижу прямой рост этого числа. А это уже - системная проблема. И серьезная. Либо это какая-то фантастическая ошибка\бага, которой не может быть в 99.9999%.

Опять же - я не хочу называть количество пропущенных самплов, думал Валерий это сделает сам. Возможно, что такой информации у него и нет.

[Valery Ledovskoy 1082]

Опять же - я не хочу называть количество пропущенных самплов, думал Валерий это сделает сам. Возможно, что такой информации у него и нет.

Александр, спасибо за мнение. Информации такой у меня действительно сейчас нет, ибо не слежу пристально за VB (и так достаточно в различных источниках рассказывается). Экономлю время и нервы

[Dexter 20]

А это уже - системная проблема. И серьезная.

Опять противоречишь начальству.

Цыганка сказала бы : к казенному дому.

[Иван 290]

Опять противоречишь начальству.

Цыганка сказала бы : к казенному дому.

как он тебя Dexter в своё время задел за живое...до сих пор переболеть не можешь бедный

[Dexter 20]

как он тебя Dexter в своё время задел за живое...до сих пор переболеть не можешь бедный

Не, Вань, ты много дряни не видел.

Но, я тебя вряд ли убедю.

А я так, вспоминаю комсомольскую юность.

Давай чонибудь по теме, пока я здесь.

[Иван 290]

а по делу я ужо сказал и пока до файла с полным отчетом не доберусь добавить нечего

[Dexter 20]

а по делу я ужо сказал

Если буду тревезый, я напомню.

Вон, Саня в теме побывал, поприкалывался, а дальше?

Не думаю, что тебе нужно показывать радостные выводы.

Если только для продаж?

[dr_dizel 385]

А это уже - системная проблема. И серьезная. Либо это какая-то фантастическая ошибка\бага, которой не может быть в 99.9999%.

Для меня, как пользователя Вэба, тут нет никаких загадок.

Я уже, наверное, как полгода пересел с релизов на бэты т.к. дождаться исправления багов и добавления функционала практически невозможно. Да и при бэтах скорость тоже не блещет. Часто приходится самому браться за отладчик и, например, распаковывать чуть изменённый upx, чтобы удостовериться, что Вэб пропустил трояна, который ворует электронные деньги, а потом долго ждать пока допилят распаковщик, чтобы его и аналогичные ему можно было задетектить.

Путь: альфа -> бэта -> релиз - стал небезопасно долог. За это время можно серьёзно пострадать.

У меня сложилось стойкое ощущение, что Вэбовцы много сил бросили на 5-ку. Им даже людей перестало хватать и они стали оглашать вакансии.

Но я понимаю, что это вынужденная мера. Иначе им придёт полный RIP. И они это понимают.

Других объяснений происходящего мне не видно. Если они есть у вас - не молчите.

[Valery Ledovskoy 1082]

Часто приходится самому браться за отладчик и, например, распаковывать чуть изменённый upx, чтобы удостовериться, что Вэб пропустил трояна, который ворует электронные деньги, а потом долго ждать пока допилят распаковщик, чтобы его и аналогичные ему можно было задетектить.

Неверно. Если модификация упаковщика на настоящий момент не поддерживается - добавляют поверх. http://support.drweb.com/sendnew

Для того, чтобы отправить файл на анализ, владение отладчиками не требуется.

стал небезопасно долог. За это время можно серьёзно пострадать.

Например, каким образом?

У меня сложилось стойкое ощущение, что Вэбовцы много сил бросили на 5-ку.

Да, много.

Им даже людей перестало хватать и они стали оглашать вакансии.

Раздел с вакансиями был открыт достаточно давно, и это норма для подобных компаний. Не связывайте несвязываемое.

Но я понимаю, что это вынужденная мера. Иначе им придёт полный RIP. И они это понимают.

Полный бред. RIP бывает, когда перестают покупать. А у нас продажи в последнее время здорово взлетели.

[A. 875]

У меня сложилось стойкое ощущение, что Вэбовцы много сил бросили на 5-ку. Им даже людей перестало хватать и они стали оглашать вакансии.

Но я понимаю, что это вынужденная мера. Иначе им придёт полный RIP. И они это понимают.

Какое отношение все это имеет к уровню детектирования ? Или вы имеете в виду, что они уже и вирусных аналитиков посадили код 5-ки писать ?

Такого даже я бы не придумал ...

[Valery Ledovskoy 1082]

Какое отношение все это имеет к уровню детектирования ? Или вы имеете в виду, что они уже и вирусных аналитиков посадили код 5-ки писать ?

Такого даже я бы не придумал ...

Такого и нет.

Причём 5-ку в основном разрабатывает отдельная группа программистов. Есть, конечно, пересечения с разработчиками 4.44, но не такие, чтобы задерживать фиксы/дополнения к 4.44.

[dr_dizel 385]

Неверно. Если модификация упаковщика на настоящий момент не поддерживается - добавляют поверх. http://support.drweb.com/sendnew

Для того, чтобы отправить файл на анализ, владение отладчиками не требуется.

Ну вот вам пример:

http://www.anti-malware.ru/forum/index.php...ost&p=33628

Полторы недели на добавление и то только в бэте. А такие трояны обычно рассчитаны на короткую жизнь: сорвал банк и всё. Да и там, собственно, проблема больше в пакере - это же увеличивает количество пропущенных вирусов на порядок.

Например, каким образом?

А как страдают от вирусов? Это спрашивает эксперт? Подумаешь троян украл пароли, данные по кредиткам и т.п. Да?

Да, много.

Раздел с вакансиями был открыт достаточно давно, и это норма для подобных компаний. Не связывайте несвязываемое.

Просто на форуме обратили внимание что вы усиленно стали набирать кадры. Вот тут вакансия размещена неделю назад. Как можно судить о внутренних закрытых от посторонних глаз делах компании? - По внешним признакам. Что мы видим? Тесты сливаете, людей постоянно набираете, продукт медленно совершенствуется. Дыма без огня не бывает.

Полный бред. RIP бывает, когда перестают покупать. А у нас продажи в последнее время здорово взлетели.

Мы же уже обсуждали это. В вашем продукте не хватает многих критических компонентов, а иметь классический АВ сейчас - безрассудство. Когда вам говорят, что ваш вэб гасится обычным батником и т.п. - вы отсылаете к 5-ке. Да все уже запарились её ждать. А без выхода 5-ки вы рискуете сильно слить рынок.

P.S. И не стыдно играться в детство с репутацией? Я давний поклонник Вэба. Ещё со времён DOS-а. Я не "опускаю" его, а говорю всё как есть на основании многолетнего опыта в боевых условиях. А про каспера, например, я не пишу потому, что его драйвер у меня BSOD-ится и я им пока не пользуюсь. И что с того? Вам не нравятся отзывы? - Улучшайте продукт.

[Valery Ledovskoy 1082]

Ну вот вам пример:

http://www.anti-malware.ru/forum/index.php...ost&p=33628

Полторы недели на добавление и то только в бэте. А такие трояны обычно рассчитаны на короткую жизнь: сорвал банк и всё. Да и там, собственно, проблема больше в пакере - это же увеличивает количество пропущенных вирусов на порядок.

Не вижу в той ветке, что файл был отправлен на анализ и номер тикета вирлаба.

А как страдают от вирусов? Это спрашивает эксперт? Подумаешь троян украл пароли, данные по кредиткам и т.п. Да? laugh.gif

Не вижу препятствий для добавления вирусов, даже если используется неизвестный упаковщик.

Мы же уже обсуждали это. В вашем продукте не хватает многих критических компонентов т.к. иметь классический АВ сейчас - безрассудство.

Это уже совсем другой вопрос, к детекту не имеющий никакого отношения.

Когда вам говорят, что ваш вэб гасится обычным батником и т.п. - вы отсылаете к 5-ке.

Не только. Ещё мы отсылаем к тому факту, что работать под администратором в Windows, к сожалению, норма. Попробуйте этот фокус повторить в учётой записи с правами Пользователь. А модуль самозащиты может появиться и в 4.44.

И не стыдно играться в детство с репутацией? Я давний поклонник Вэба. Ещё со времён DOS-а.

В таком случае Вам не хватает теоретических знаний и практики, а также фактов по организации работы в компании.

Вам не нравятся отзывы?

Мне не нравятся отзывы, которые пишутся на пустом месте, по простому незнанию устройства продуктов и других незнаний.

[dr_dizel 385]

Не вижу в той ветке, что файл был отправлен на анализ и номер тикета вирлаба.

К сожалению тикет не сохранился т.к. это было давно и я не раз чистил свой почтовй ящик. Но тикет был. Я даже два раза отправлял т.к. первый тикет не пришел. Зачем бы я писал об этом тогда? Но вы можете его найти по своей базе используя моё мыло, раз уж вам так неймётся. Странно, что вы пропустили то обсуждение, ведь вы постоянно тусуетесь на форуме. Оно же шло очень долго. Вы бы ещё попросили меня вспомнить, что я ел на завтрак 11 октября 2007 года. Специально хранить все тикеты для Ледовского, чтобы через несколько лет доказать ему существование очевидных вещей, которые он не хочет видеть... Ха-ха.

Не вижу препятствий для добавления вирусов, даже если используется неизвестный упаковщик.

По той теме видно, что запись-то добавили, но не поверх. И релиз его так и не ловил. Кстати вот. Очередная проблема Вэба. Разработчики и аналитики почему-то "не видят" версии в релизе. Они живут для обычного пользователя в будущем. Если что исправляется, то часто надо ждать пока оно пройдёт альфу и бэту. А если человек потусуется на вэбовском багтрекере, то у него могут ещё шире открыться глаза.

Это уже совсем другой вопрос, к детекту не имеющий никакого отношения.

Почему же нет? Вэб гасится одним чихом и... начинает пропускать 100% вирусов. Нехило, да? Невыгружаемый супернавороченый драйвер вэба в памяти, но пропускается 100% вирусов.

Не только. Ещё мы отсылаем к тому факту, что работать под администратором в Windows, к сожалению, норма. Попробуйте этот фокус повторить в учётой записи с правами Пользователь. А модуль самозащиты может появиться и в 4.44.

Ну вот вы наконец сами признали, что это норма. А учётная запись "User" используется в основном в корпоративной среде и не всегда применима. Часто даются права "Power User", где тот фокус тоже работает. Но мы ещё не затрагивали других обычных пользователей интернета и т.п.

В таком случае Вам не хватает теоретических знаний и практики, а также фактов по организации работы в компании.

Мне не нравятся отзывы, которые пишутся на пустом месте, по простому незнанию устройства продуктов и других незнаний.

Да ладно вам зубы заговаривать. Это вам не хватает совести быть правдивыми с покупателями вашей продукции. Можно плести красивые речи, рвать на себе рубашку, нанимать крутых специалистов, но когда нет результата - оценка всей этой котовасии - 0.

P.S.

- Папа, а 5-ка выйдет?

- Нет, сынок. Это фантастика.

[Valery Ledovskoy 1082]

К сожалению тикет не сохранился т.к. это было давно и я не раз чистил свой почтовй ящик. Но тикет был. Я даже два раза отправлял т.к. первый тикет не пришел. Зачем бы я писал об этом тогда? Но вы можете его найти по своей базе используя моё мыло, раз уж вам так неймётся. Странно, что вы пропустили то обсуждение, ведь вы постоянно тусуетесь на форуме. Оно же шло очень долго. Вы бы ещё попросили меня вспомнить, что я ел на завтрак 11 октября 2007 года. Специально хранить все тикеты для Ледовского, чтобы через несколько лет доказать ему существование очевидных вещей, которые он не хочет видеть... Ха-ха.

Какой же Вы непробивной человек. Номер тикета мне нужен был для того, чтобы разобраться в проблеме. А Вы снова сотрясаете воздух.

Если тикет был, то не был добавлен не по той причине, что не поддерживается пакер. Вот я и хочу решить проблему, а не искать виноватых и причины.

По той теме видно, что запись-то добавили, но не поверх. И релиз его так и не ловил. Кстати вот. Очередная проблема Вэба. Разработчики и аналитики почему-то "не видят" версии в релизе. Они живут для обычного пользователя в будущем. Если что исправляется, то часто надо ждать пока оно пройдёт альфу и бэту.

Бред. Детект делается для релизных компонентов. Даже для версии 4.33 детект до сих пор адаптируется.

Ну вот вы наконец сами признали, что это норма. А учётная запись "User" используется в основном в корпоративной среде и не всегда применима.

Для чего у Вас неприменима бывает? У меня был один случай в практике - AutoCAD 14 работал только под Power User, но эта версия морально устарела очень давно.

когда нет результата - оценка всей этой котовасии - 0

То, что Вы сейчас выбираете между полнофункциональным бсодящим (у Вас) Касперским и плохим (по Вашим же словам) Dr.Web в пользу всё же работающего антивируса говорит о том, что где-то Вы неправы.

[Иван 290]

Почему же нет? Вэб гасится одним чихом и... начинает пропускать 100% вирусов. Нехило, да? Невыгружаемый супернавороченый драйвер вэба в памяти, но пропускается 100% вирусов

тема самозащиты http://new-forum.drweb.com/mod/forum/threa...4113&fid=2#

если кратко, то в ответ на то, что хваленый spider.sys выносится примерно также легко, как spidernt.exe

Евгений Гладких говорит, что с правами админа вынести можно кого угодно

[Мальцев Тимофей 74]

И с ним трудно не согласиться...