Сергей Ильин

Virus Bulletin: RAP Test - Dec 11 - Jan 12

В этой теме 22 сообщений

RAP_quadrant_Jun_Dec11_850.jpg

Мультидвижковые продукты рулят?

post-4-1326970426_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мультидвижковые продукты рулят?

Давайте поименно:

- единократно прошедший Coranti в топе, но его близнец почему-то рядом с MS Forefront - эти не так уж и рулят,

- Trustport, Lavasoft, G Data, F-Secure в первом пелотоне, но плотненько бодаются с однодвижковыми.

Однако у меня нет понимания, почему эффективность эвристики в RAP меряется при глубине заморозки баз в 3 недели. У кого есть?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Однако у меня нет понимания, почему эффективность эвристики в RAP меряется при глубине заморозки баз в 3 недели. У кого есть?

Все просто. Если морозить на длительный срок, то картинка будет мягко говоря не такой красивой для индустрии. Вспомним наши тесты на проактивку, там до 60% едва ли кто-то дотягивал, а тут под 100% у некоторые - вообще анрил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если морозить на длительный срок, то картинка будет мягко говоря не такой красивой для индустрии.

Я имею в виду, что 3 недели - это вечность. В пределах 6 дней хватило бы проверки - по 2 дня на каждый, а тут без (как минимум) 20 апдейтов.

Видимо, распределение в прикидочных тестах "нарисовалось" красивым только при удлинении "заморозки". От реальности как-то сурово отличается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В полном отчете джон пишет что на самом деле у него семплы ранжированны по дням, не очень много на каждый день, но есть, можете попросить его сделать более плавный график.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

То, что у разных вендоров на одном движке разный детект - объяснимо: может быть разный уровень эвристики заряжен конечным вендором, или свои базы дополнительно.

А вот почему у Касперского: Internet Security проигрывает Business'у?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А вот почему у Касперского: Internet Security проигрывает Business'у?

Если говорить о Касперском, то уровень реактивного ("сигнатурного") детекта у IS и Business одинаков, но у последнего почему-то лучше проактивный детект. Иные настройки эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Еще любопытный прорыв у вьетнамского BKIS, причем он победитель среди однодвижковых по сигнатурам. На их сайте они пишут, что движок их собственный, и только он. Спрашивается: с чего вдруг победитель, откуда во Вьетнаме антивирусные специалисты подобного уровня?

В других известных тестированиях не замечен нигде кроме VB, пробной лицензии не предоставляют. Кто-нибудь пробовал? Пишут про облачную технологию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если говорить о Касперском, то уровень реактивного ("сигнатурного") детекта у IS и Business одинаков

Если присмотреться к рисунку-графику, то и сигнатурный различается на 1,5-2%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если говорить о Касперском, то уровень реактивного ("сигнатурного") детекта у IS и Business одинаков, но у последнего почему-то лучше проактивный детект. Иные настройки эвристики?

Коллеги, не рассматривайте так пристально этот график, во-первых у Джона была опечатка в результатах, у одного из продуктов было 83% вместо 93% - они поправили, но на графике могло сохранится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Спрашивается: с чего вдруг победитель, откуда во Вьетнаме антивирусные специалисты подобного уровня?

Вьетнамское чудо! Я всегда в них верил, маленькие трудолюбивые вьетнамцы :D

Уже пиарятся активно на этом:

bkis.PNG

Bkav from Vietnam got RAP score of 98.1/100, occupying 3rd position out of 43 softwares from all over the world participating in the test, surpassing big names like Kaspersky (94.3 points), AVG (94.4 points), Avira (93.7 points), etc.

http://www.bkis.com/home/default.aspx?cid=1051

post-4-1327501437_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Странно, что директор не Nguen, а Ngoc.

PS: А вы знаете, почему вьетнамские студенты так любят русские учебники?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ругал-ругали VB, а Kaspersky, Agnitum и Eset всё-таки непрочь продекларировать, что в рядах лучших в их тестах :)

Без прочтения результатов всего отчёта VB100 табличка RAP Quadrant вводит в заблуждение многих пользователей.

Интересно смотрится Emsisoft, продукт которых в прошлом году не получил ни одного значка VB100 из-за ложных срабатываний и пропусков вирусов из WildList. Раньше хотя бы названия таких вендоров зачёркивали.

Если говорить о Касперском, то уровень реактивного ("сигнатурного") детекта у IS и Business одинаков, но у последнего почему-то лучше проактивный детект. Иные настройки эвристики?

Думаю всё проще - при усреднении результатов учитывались разные тесты (IS - за октябрь, Business - за август).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Раньше хотя бы названия таких вендоров зачёркивали.

+1. Но, видимо, VB захотелось получше распиарить сей отчет. Хотя 1 из 4 раз - это и вправду red alert.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Раньше хотя бы названия таких вендоров зачёркивали.

а сейчас их вроде красненьким выделяют. нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а сейчас их вроде красненьким выделяют. нет?

Нет. Написано, что красным показаны продукты, участвовавшие в тестах один раз.

Но этот квадрант вообще очень странный. Coranti, Ikarus несколько раз участвовал за этот период. Emsisoft в предыдущих тестах не блистал и как он смог по "средним" результатам так вырваться вперёд - непонятно. Symantec хоть и участвовал, но на графике отсутствует.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин

у тебя, кстати, ошибка в заголовке - диаграмма от "Jun - Dec 11" Пруфлинк

Касательно "маркированных" красным вендоров - Coranti и Coranti 2012 идут как разные продукты. На RAP-диаграмме это Coranti Cora и просто Coranti.

Ikarus "досталось" за то, что он зафейлил 4 из 5 последних тестов. У Emsisoft RAP score был сумасшедший, но и фолсил регулярно.

А вот Symantec и вправду исчез.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ikarus "досталось" за то, что он зафейлил 4 из 5 последних тестов. У Emsisoft RAP score был сумасшедший, но и фолсил регулярно.

А вот Symantec и вправду исчез.

Symantec видимо попросил не светить на публике их результаты :)

У меня нет результатов последнего теста, но даже если в нём у Emsisoft результат и был замечательный, но среднее арифметическое быстро измениться не может. Видимо VB каким-то "волшебным" способом исключает некоторые результаты. Или применяет какую-то хитрую методику подсчёта, а не вычесляют среднюю оценку, как они утверждают на сайте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
аже если в нём у Emsisoft результат и был замечательный, но среднее арифметическое быстро измениться не может.

Считайте: 98,5% 95,1% 95,1% 97,0% 92,0%

http://www.virusbtn.com/vb100/archive/vendor?id=80

Похоже, и вправда сильно косячная диаграмма в этот раз. Баг сабмитнуть, что ли? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Symantec видимо попросил не светить на публике их результаты :)

У Нортона IS последней версии очень много фолсов, особенно у SONAR.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Считайте: 98,5% 95,1% 95,1% 97,0% 92,0%

Похоже, и вправда сильно косячная диаграмма в этот раз. Баг сабмитнуть, что ли? :)

Я писал не про Overall Average, а про Proactive detection, который ещё в августе у них составлял 84,68%, а теперь резко вырос. И по этой оси координат результат в графике никак не может быть средним числом.

У Нортона IS последней версии очень много фолсов, особенно у SONAR.

Для RAP-quadrant фолсы не важны. Видимо показатели детекта были не очень хорошими.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вадим Волков

тогда точно надо им баг сабмитить, пусть исправляют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS