Тест антивирусов на лечение активного заражения VI (результаты)

[AlexxSun 150]

Кстати, о Виталике — почему он не оспаривает 13% его горячо любимого Нода? Вы его тут все акки забанили что-ли?

[Z.E.A. 190]

Скоро регнет, может быть.

[CatalystX 25]

CatalystX, а CatalystX, расскажите плиз, как же это ЛК ухитряется дать Матушеку такую методологию, что вынуждена выпускать новую версию антивируса (13.0.2.xxxx), дабы свои собственные тесты пройти?

Да легко.

ЛК обещала в KIS 13 сделать хипс и проактивку на х64 такой же как и на х32. Обещания надо выполнять.

Когда вышел релиз - кандидат(3370), то появился и тест Матушейка, где в pdfке честно написано: "We have designed and performed this comparative testing based on the assignment of Kaspersky Lab ZAO". Результат можно не говорить.

Потом появился тест на онлайн-банкинг и там та же надпись "We have designed and performed this comparative testing based on the assignment of Kaspersky Lab ZAO". Где конкуренты, а где KIS можно и не говорить.

[AlexxSun 150]

Вот эта картинка улыбнула

А почему Лёша не видит заражения?

[Aleksandra 10]

Попытался вытащить сэмпл. Не дали

Бартер не пробовали предложить?

[Z.E.A. 190]

А почему Лёша не видит заражения? biggrin.gif

Вообще-то, там стоит двоеточие, что означает что это комментарий Лёши, а не то, что Лёша не видит заражения.

[Maratka 30]

Да легко.

ЛК обещала в KIS 13 сделать хипс и проактивку на х64 такой же как и на х32. Обещания надо выполнять.

Когда вышел релиз - кандидат(3370), то появился и тест Матушейка, где в pdfке честно написано: "We have designed and performed this comparative testing based on the assignment of Kaspersky Lab ZAO". Результат можно не говорить.

Не верю ©

[sww 486]

sww слишком тонко попытался троллить.

Это не я.

[CatalystX 25]

Не верю ©

Твое дело. Что есть, то есть.

[Maratka 30]

Твое дело. Что есть, то есть.

Не только, твое тоже.

В данном случае, когда тебе не верят, о чем публично и сообщают, недурственно поделиться ссылкой, и желательно _не_ прямой, на сайт matousec.com

[Valery Ledovskoy 1082]

Бартер не пробовали предложить?

Просто там я говорил то, что думаю, ибо намёки там не понимают. Нужно всё писать тупо, толсто и прямо. Тогда, правда, темы закрывают.

Но тогда все понимают и то, что закрывают по причинам не тем, которые озвучиваются.

Здесь понимают, поэтому я не стал разжёвывать свой юмор (который тоже не всегда идеален)

Я на самом деле несколько не в своей тарелке себя чувствую, когда вроде бы правильный тест, всё ок, но у кого-то 100%.

Потом какой-нибудь securitylab.ru пишет заголовки типа "Anti-Malware.ru назвал лучшие антивирусные программы".

И сразу забывается обо всех методологиях и пр. И виден результат 100%.

Я не сталкиваюсь каждый день с сэмплами, хотя активные заражения изредка приходится лечить.

И я не могу сказать, существуют ли сейчас сэмплы, которые подходят под методологию проведённого теста и с которыми продукты ЛК не справляются.

Я думаю, что такие сэмплы объективно могут существовать. Почему нет?

Хотя бы в формате классического APT, который использует какие-то новые алгоритмы, о которых мы узнаем через год и включим в новое тестирование.

А может быть, таких сэмплов и нет.

Но, как я и ожидал, воспринимаются эти 100%, как то, что тест затачивался под ЛК или ЛК затачивали под тест.

У меня нет убедительных аргументов против этого.

У Dr.Web и его сторонников, наоборот, насколько понимаю, нет контраргументов. Поэтому опускаются до риторики, что ЛК скупил весь мир.

Но ситуация такая, что эти 100% снижают доверие ко вроде бы хорошему тесту. Сами по себе. А потом это тиражируется в СМИ, как относящееся к продуктам в целом, вместе с этими стами процентами.

Поэтому я пошёл туда и спросил в лоб - есть сэмплы или нет. Беляш начал говорить про то, что я работаю в ЛК, и АМ работает на ЛК. Т.е. сэмпла нет.

Ещё там кто-то сказал, что есть. Попросил скинуть в личку. Тоже не скинул. Думаю, что тоже нет.

Получается, у Dr.Web нормальных контраргументов нет. Хотя у меня теплилась надежда, что хотя бы намекнут. Нет. Только пугали тем, что где-то как-то что-то...

Т.е. по результатам обсуждения на их форуме получается, что фактически результаты признаются, и тест защищён.

Хотя мне было бы интересно получить опровержение 100%-ов. И хотелось бы в будущем, чтобы в таких тестах никто не получал 100%, чтобы потом на этом нельзя было спекулировать

100%-ной защиты не существует. И эти 100% не должны фигурировать в том контексте, как это опубликовал SecurityLab.

P.S. Возможно, даже искусственно ограничить максимальную планку не 100%-ами, а 90%, и их делить. И сказать, что 10% - это те механизмы, о которых мы не знаем пока. Так было бы честнее, наверное.

[CatalystX 25]

Не только, твое тоже.

В данном случае, когда тебе не верят, о чем публично и сообщают, недурственно поделиться ссылкой, и желательно _не_ прямой, на сайт matousec.com

Банкинг

Раздел Introduction, чуть ниже самая первая строчка.

[Maratka 30]

Не-банкинг.

ХИПС, который ЛК обещала в KIS 13 сделать на х64 такой же как и на х32.

[Maratka 30]

P.S. Возможно, даже искусственно ограничить максимальную планку не 100%-ами, а 90%, и их делить. И сказать, что 10% - это те механизмы, о которых мы не знаем пока. Так было бы честнее, наверное.

Все правильно, но не пролезет.

Тут же нарисуется простенькая пропорция пересчета попугаев по схеме Max90 > Max100, и все.

Дешевле утверждать, что результаты теста нужно воспринимать буквально как результаты теста, а антивирус такой-то обеспечивает не лечение малвары на XX%, а лечение от руткитов таких-то, при использовании сигнатур таких-то.

Тот, кто понимает о чем речь - выводы сделает сам, а тот кто не понимает - ничего не поймет, сколько ему не расжевывай.

[Сергей Ильин 1538]

Поэтому я пошёл туда и спросил в лоб - есть сэмплы или нет. Беляш начал говорить про то, что я работаю в ЛК, и АМ работает на ЛК. Т.е. сэмпла нет.

Ещё там кто-то сказал, что есть. Попросил скинуть в личку. Тоже не скинул. Думаю, что тоже нет.

Я лично буду очень рад, если кто-то покажет сампл, который добавляет какое-то новый неохваченный нами метод маскировки, но которые Касперские не лечит. Прям выкладывайте в этой теме, если нужно будет выделим в отдельную. Мы самплы чуть ли не месяц выбирали, была куча времени у всего рунета предложить такие, чтобы Касперский не лечил.

[Valery Ledovskoy 1082]

Тот, кто понимает о чем речь - выводы сделает сам, а тот кто не понимает - ничего не поймет, сколько ему не расжевывай.

В общем, если кратко, я не думаю, что нет способов избежать таких публикаций, пример которой привёл. Можно и нужно от этого защищаться. Такие публикации дискредитируют лабораторию АМ. Причём незаслуженно.

Возможно, есть другие варианты. Почему бы не 100% писать, а столько-то сэмплов из стольки-то? А медальки - тоже по количеству "взятых" сэмплов, а внутри себя считать по процентам.

Поверьте - мало найдётся тех, кто будет пересчитывать в проценты из тех, кто пишет "АМ назначила лучшие антивирусы".

Кстати, неприятно видеть такие заголовки на портале, который посвящён ИБ. Мурзилка какая-то

[Сергей Ильин 1538]

В общем, если кратко, я не думаю, что нет способов избежать таких публикаций, пример которой привёл. Можно и нужно от этого защищаться. Такие публикации дискредитируют лабораторию АМ. Причём незаслуженно.

Около каждого журналиста со свечкой стоять не будешь, поэтому нереально все это отслеживать. Руководствуюсь логикой, что каждый пишет так, как понимает. Читатель может всегда найти первоисточник.

[Valery Ledovskoy 1082]

Около каждого журналиста со свечкой стоять не будешь, поэтому нереально все это отслеживать.

Отслеживать не нужно. Нужно изучить логику журналистов и публиковать именно это тестирование так, чтобы эти 100% никак нельзя было представить как то, что это 100%-но идеальный антивирус в сферическом вакууме Например, результаты писать в штуках, как написал выше. Тем, кто пишет ерунду - будет лень пересчитывать.

"15 из 15 сэмплов" (к примеру) лучше воспринимается, чем 100%. Адекватнее. Многие заинтересуется тем, почему так мало, ибо обычно тестируют антивирус на миллионах сэмплов. Заинтересуются, почему так. Спросят. Пойдёт в прок.

[Maratka 30]

Вам наверное тоже лениво читать, как и мне?

В методике было сказано, что перед проверкой нужно "запустить Iexplore.exe или другой браузер"?

[Aleksandra 10]

Просто там я говорил то, что думаю, ибо намёки там не понимают. Нужно всё писать тупо, толсто и прямо. Тогда, правда, темы закрывают.

Изначально было ясно, что тему закроют.

Я на самом деле несколько не в своей тарелке себя чувствую, когда вроде бы правильный тест, всё ок, но у кого-то 100%.

Значит Вы человек правильный.

Я не сталкиваюсь каждый день с сэмплами, хотя активные заражения изредка приходится лечить.

И я не могу сказать, существуют ли сейчас сэмплы, которые подходят под методологию проведённого теста и с которыми продукты ЛК не справляются.

Да, существуют.

Поэтому я пошёл туда и спросил в лоб - есть сэмплы или нет. Беляш начал говорить про то, что я работаю в ЛК, и АМ работает на ЛК. Т.е. сэмпла нет.

Ещё там кто-то сказал, что есть. Попросил скинуть в личку. Тоже не скинул. Думаю, что тоже нет.

Начнем с того, что никто никому ничем не обязан. Возможно у них есть такие сэмплы, а возможно нету. Мы с Вами этого не знаем. Для того чтобы узнать, необходимо что-то предложить взамен. Как вариант слить суммы хешей малвари, которая использовалась при тестировании взамен на эти сэмплы.

[vaber 350]

Я не сталкиваюсь каждый день с сэмплами, хотя активные заражения изредка приходится лечить.

И я не могу сказать, существуют ли сейчас сэмплы, которые подходят под методологию проведённого теста и с которыми продукты ЛК не справляются.

Я думаю, что такие сэмплы объективно могут существовать. Почему нет?

Хотя бы в формате классического APT, который использует какие-то новые алгоритмы, о которых мы узнаем через год и включим в новое тестирование.

А может быть, таких сэмплов и нет.

Да что же вам всем так это сокращение в последнее время нравится?

Валер, причем тут APT? В методологии должно быть сказано, что берутся именно распространенные семейства, удовлетворяющие требованием теста. Понятно, что в реале не вся малварь удовлетворяет сим требованиям.

Но, как я и ожидал, воспринимаются эти 100%, как то, что тест затачивался под ЛК или ЛК затачивали под тест.

У меня нет убедительных аргументов против этого.

У Dr.Web и его сторонников, наоборот, насколько понимаю, нет контраргументов. Поэтому опускаются до риторики, что ЛК скупил весь мир.

Ну это нормально) Так было, есть и будет)

Хотя мне было бы интересно получить опровержение 100%-ов. И хотелось бы в будущем, чтобы в таких тестах никто не получал 100%, чтобы потом на этом нельзя было спекулировать

Это, как по мне, не правильно. 100% результат в тесте не равно тому, что антивирус Касперского станет в систему и пролечит обсолютно любую малварь.

Если смотреть из контекста теста и его методики, то да, на момент теста это был, вероятно, 100% результат. Сейчас я лично этого сказать не могу, т.к. есть одно семейство, которое обновилсоь не так давно и добавила нам головной боли, нужно думать как его лечить.

100%-ной защиты не существует. И эти 100% не должны фигурировать в том контексте, как это опубликовал SecurityLab.

Как уже сказали, не возможно контролировать СМИ, они пишут как считают нужным. Если бы АМ еще на английском бы результаты опубликовало, что бы было...

[A. 875]

Да, существуют.

Ну же, дорогой клон, ну же... еще чуть-чуть иии

[Valery Ledovskoy 1082]

Как вариант слить суммы хешей малвари, которая использовалась при тестировании взамен на эти сэмплы.

Для этого нужно нормальное взаимодействие Dr.Web и этой тестовой лаборатории. Пока же Dr.Web находится на другой позиции, которая Вам известна.

А так да - с теми вендорами, которые взаимодействуют, идёт обмен сэмплами.

Кстати, и Dr.Web когда-то взаимодействовал:

http://web.archive.org/web/20071005202227/...om/show/3161/en

Цитирую:

Dr.Web Anti-virus — CURES computers from viruses

The quality of the program’s operation and not just its presence in the computer has always been the characteristic feature of Dr.Web Anti-virus. Not only the ability of the anti-virus to detect viruses, but also to cure from viruses is extremely important for modern av-programs, the ability not only to delete the infected files from computers, but also to restore them. Dr.Web is one of a few anti-virus programs that cures efficiently from viruses. A comparative review held by www.anti-malware.ru in September, this year clearly shows unachieved for competitors leadership of Dr.Web 4.44 beta(!)-version of all 15 participants in the curing quality testing.

Т.е. тогда (в сентябре 2007-го) качество лечения подтверждалось тестированием АМ. А сейчас чем?

Понятно теперь, для чего тестирования и как происходит обмен сэмплами и вообще нормальное сотрудничество?

[Valery Ledovskoy 1082]

Если бы АМ еще на английском бы результаты опубликовало, что бы было...

Илья уже пообещал

[Aleksandra 10]

Ну же, дорогой клон, ну же... еще чуть-чуть иии

Клон? Вы меня с кем-то путаете.