Перейти к содержанию
DaTa

Av-comparatives 2013, File-Detection. Очередной тест или троллинг?

Recommended Posts

DaTa

Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

404

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

Спасибо. Подкоректировал ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

У Симантека всегда был не очень сканер по требованию.

Кстати, у меня от этой пдфки вьювер валится. Пришлось через гугл докс смотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

после почтения любого теста, есть такое желание)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX

Ух ты! Нортон в Av-Comparatives вернулся!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX
нет, в тесте описано что они вернули его под давлением общественности.

Ну в принципе оно понятно. У антивируса самая большая доля на домашнем рынке, компания крупнейшая на антивирусном рынке, а в тестах не участвуют, народ решил - непорядок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Смотря кому и где Вы говорили. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

А вот и ответ от вендора: http://community.norton.com/t5/Norton-Prot...c-p/944005#M708

Грамотно написано, но убивает то что выбранные тесты очень подозрительно выставляют победителем именно Symantec.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

могу и под бабушкина тест заточить...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А это ведь прецедент, друзья! Получается, что Андреас фактически публично признал ущербность своей бизнес модели, когда с вендоров берутся деньги за участие в тесте, и протестировал Symantec бесплатно. Ну или бесплатно для Symantec, так будет правильнее. Кто-то ведь все равно заплатил "за себя и за того парня" ;)

В соседней ветке обсуждается актуальность методологии таких тестов http://www.anti-malware.ru/forum/index.php?showtopic=25578 Не буду повторяться, я там написал, что такие тесты безнадежно устарели. По ним нельзя сделать никаких выводов о продукте, насколько он крут или плох. Вендоры делают ставку уже давно на другие технологии. Рулит поведенческий анализ, облака.

Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

av_comparatives.PNG

Аvast, AVG тоже слились. Выводы какие?

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

post-4-1366704451_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тестирования слились вместе с тестерами. Они теперь все липовые и продажные, Симантек их попинал и не заплатил, вот результат. А как мешать с грязью Симантек если их в тестировании нет, для этого и взяли в липовое тестирование.

Это раньше тестирования были более менее нормальные, сейчас эти конторы стали большие, их распиарили. Они хотят много бабла, вот у всяких Авир, Касперских.. появились хорошие результаты.

Только все тестирования давно нечего не стоят, люди и у нас и на западе на липовые тестирования продажные давно не смотрят, факт.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Более эффективным и результативным, а у других хорошего продукта то и нету. Хана им без липовых тестирований, на которые не кто не смотрит и антивирус себе не выбирает. А так и есть. Например Касперскому без большого количества рекламы, пиара, липовых тестирований, промывки мозгов, - нельзя, не купят. А это много денег на рекламу, пиар.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

BitDefender просто обязан хороший детект показывать на таких тестах - ему свой "движок" продавать надо. :)

Огласите весь список прогрессивных вендоров, пожалуйста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Было дело, было. Старожилы помнят те деньки. Вадим, вы то должны помнить времена, когда Клементи обожал Eset, а они его :)http://www.anti-malware.ru/forum/index.php...ost&p=12416

http://www.av-comparatives.org/wp-content/...h_200511_en.pdf Nod32 Advanced+ 62%

http://www.av-comparatives.org/wp-content/...h_200605_en.pdf Nod32 Advanced+ 58%

Ну и можно долго продолжать.

Поэтому текущие результаты - это фиско на фоне прежних успехов в таких тестах.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Так а технологии то где? Файловые сканеры - ОК. Эвристика - ОК. Что-то где-то иногда лечим - ОК. Фаервол и самозащита местами ничего - ОК. А что еще то? Где технологии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Насколько ценен этот тест сейчас и насколько можно верить результатам?
например на av-test Symantec довольно неплохо держится

DaTa

По поводу этого теста есть конкретный ответ команды разработчиков на Community Norton.

"...Мы поддерживаем тесты, сделанные с учетом стандартов AMTSO, ...например, проведенные независимыми лабораториями, такими как AV-Test и Dennis Technology Labs. Эти лаборатории оценивают каждый продукт в реалистичных условиях возможного заражения, которые могут возникнуть у обычных пользователей".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тема тестирований протухла, и больше не интересна людям.

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

image_50ea5e9495a48.png

post-19903-1366873774_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Тема тестирований протухла, и больше не интересна людям.

"я бежала за вами три дня и три ночи, чтобы сказать как вы мне безразличны" :)

Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

О... ESET на родном сайте ещё по результатам 2011 г. в конкуренты TrustPort зачислил. А на российском - "тормозят".

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

Если считать полученные "медальки" по количеству(смотрим первый вопрос), то наверное ESET впереди все планеты. А вот по качеству "медалек" - результаты последних лет достаточно средние.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

Вадим, я думал на тему VB и Av-comparatives. Пришел к выводу, что с ними пока носятся в силу инерции.

1. Надо же о чем-то писать. Сам себя не похвалишь, а тут значки раздают с почти гарантированным результатом, только отгружай вовремя звонкую монету :)

2. У некоторых вендоров показатели в этих тестах входят в списки KPI отдельных подразделений. Поэтому от них не так просто будет отказаться. Как же тогда измерять эффективность?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.99.2
      ---------------------------------------------------------
       o Это обновление повышает качество работы с удаленной системой и снимает некоторые ограничения.
         Работа с удаленным рабочим столом вышла на новый уровень недостижимый для подавляющего большинства программ удаленного управления.
         Функция оптимизирована для работы в локальной сети, что обеспечивает минимальный, почти неощутимый лаг и высокий максимальный fps.
         Дополнительно это обновление исправляет проблему с анализом ответа от сервиса VT.

       o Для Windows 8 и старше для получения копии экрана теперь используется Desktop Duplication API + DX11,
         который уменьшает загрузку процессора в удаленной системе и изменяет FPS в зависимости
         от интенсивности изменения содержимого экрана, что позволяет устанавливать нулевую задержку
         для обновления экрана без существенной загрузки процессора, что в свою очередь обеспечивает
         минимальный инпут лаг. В этом режиме состояние кнопки "CAPBLT" игнорируется.
         Максимальный fps в этом режиме минимум в 2 раза выше, чем в устаревших системах.

       o В клиентской части для отрисовки экрана задействован Direct2D с поддержкой использования ресурсов видеокарты,
         что позволяет отображать удаленный рабочий стол с приличным FPS даже при масштабировании кадра.
         Качество масштабирования экрана при использовании аппаратного ускорения стало заметно выше.
         (!) Минимальные требования Vista SP2/Windows Server 2008 SP2.

       o Добавлена поддержка передачи стандартных курсоров, стандартные курсоры не рендерятся на рабочий стол,
         а устанавливаются в клиентской системе, что позволяет избежать лагов при движении курсора и повышает fps.
         (!) В удаленных системах без физической мыши для поддержки этой функции необходимо активировать отображение курсора мыши.
         (!) Win+U -> Мышь и выбрать "Управлять мышью с помощью клавиатуры".

       o Исправлена и оптимизирована функция сжатия фреймов при работе с удаленным рабочим столом, из-за ошибки
         не поддерживались фреймы размером более 2560x1600 пикселей.
         Время сжатия фрейма уменьшено на 40%. (для 32/24 битных режимов)
         Коэффициент сжатия фрейма увеличен на 25%. (для всех режимов)
         (!) Новая функция не совместима со старыми версиями uVS, если у вас в настройках флаг bReUseRemote = 1,
         (!) то перед обновлением необходимо закрыть все серверные часть uVS на удаленных компьютерах с помощью
         (!) старой версии uVS.

       o В целях уменьшения трафика добавлена поддержка понижения цветности для 32/24/16bpp  режимов экрана
         (детализация не понижается, а лишь удаляется избыточная информация о цвете).
         Вы можете выбрать в списке 24bpp (24 бита на цвет), 15bpp (15 бит) и 7bpp (7 бит).
         7bpp это черно-белый режим со 128 градациями серого. Яркость в это режиме представлена средним арифметическим
         цветовых компонент, этот вариант смотрится лучше и требует меньше ресурсов процессора, чем "правильное" обесцвечивание.
         Каждый шаг понижения цветности экономит до 70% трафика относительно предыдущего режима, однако 24bpp
         позволяет достичь максимального fps (только при достаточной ширине канала), за счет минимального времени сжатия картинки.

       o Повышена точность трансляции координат курсора.

       o Добавлена дополнительная кнопка "1:1", при нажатии на нее устанавливается размер отображаемого рабочего стола 1:1
         (при физической возможности), а при нажатии на нее правой кнопкой мыши высота окна остается неизменной,
         а ширина окна подстраивается под соотношение сторон удаленного рабочего стола.

       o Изменена функция кнопки "[ ]", при при первом нажатии на нее высота удаленного рабочего стола становится максимальной
         с учетом высоты таскбара, при повторном нажатии размер удаленного рабочего стола масштабируется до максимума в соответствии
         с текущим разрешением клиентского монитора и учетом соотношения сторон исходного изображения вплоть до перехода в полноэкранный режим,
         заголовок окна и управляющие кнопки автоматически скрываются и проявляются если подвести курсор мыши к верхней границе дисплея,
         эффект от третьего нажатия на эту кнопку соответствует эффекту от первого нажатия.
         Горячая клавиша RWIN доступна и в полноэкранном режиме, при ее нажатии в клиентской системе полноэкранный режим будет отменен и будет
         активировано ближайшее окно другого приложения (эмуляция Alt+Tab), при повторном ее нажатии или переключении в окно удаленного рабочего стола
         полноэкранный режим будет восстановлен.

       o Передача удаленного рабочего стола и нажатий кнопок теперь производится через сокет открываемый на время
         передачи по случайному порту, что позволило дополнительно повысить FPS и отзывчивость удаленного интерфейса.
         Серверная часть uVS на удаленном компьютере автоматически добавляет себя в исключения брандмауэра Windows при запуске
         и удаляет себя из исключений при завершении. При использовании стороннего фаервола необходимо добавить uVS в исключения
         самостоятельно на удаленной машине, в этом случае необходимо прописать bFixedName=1 в settings.ini, что бы имя исполняемого файла
         было постоянным.
         В качестве имени удаленного компьютера допустимо использовать:
          o IPv4 (подключение по TCP-IPv4, максимальная скорость запуска серверной части)
          o Имя компьютера (автоматический выбор версии IP, скорость передачи картинки выше в случае TCP-IPv6 в пределах 4%)
          o Доменное имя   (автоматический выбор версии IP)
         (!) Приоритетным протоколом является IPv6, т.е. если у удаленной системы есть IPv4 и IPv6 адрес, то подключение будет по IPv6.
         (!) Если вы используете Ф или сторонний фаервол то в клиентской и удаленной системе необходимо разрешить исходящие запросы
         (!) по протоколу ICMPv6 для SYSTEM.
         (!) Подключение по IPv6 доступно начиная с WinXP.
         (!) Для работы с удаленной системой без отображения рабочего стола внесение изменений в настройки фаервола не требуется.

       o Новый параметр в settings.ini
         [Settings]
         ; Использовать IPv6 при подключении к удаленному рабочему столу.
           bIPv6 (по умолчанию 1)

       o В окне удаленного рабочего увеличено количество поддерживаемых мониторов с 6 до 10 (кнопки 1-10).

       o Окно удаленного рабочего стола теперь не приходится перезапускать при смене разрешения, положения или смены состояния
         текущего монитора в удаленной системе.

       o При работе с удаленным рабочим столом добавлена поддержка нажатия Ctrl+Alt+Del (кнопка CAD) для Windows Vista и старше.
         Для реализации этой функции добавлен новый модуль: usas.
         (!) На время его выполнения модифицируется групповая политика для разрешения использования SAS.
         (!) Чтобы эта функция работала в Windows Server 2008 и Windows Vista,
         (!) необходимо скопировать библиотеку(и) sas.dll из Windows 7:
         (!) C:\Windows\System32\sas.dll и C:\Windows\SysWOW64\sas.dll (для Vista x64 нужны обе)
         (!) и поместить их в C:\Windows\System32 и C:\Windows\SysWOW64 соответственно.
         (!) Эти библиотеки из Windows 7 были добавлены в STORE (каталоги NT60 и NT60x64).

       o Улучшена функция получения доступа к защищенным от чтения файлам на NTFS разделах.
         Теперь файлы, которые полностью защищены от открытия на уровне ядра, т.е. те что ранее не читались uVS,
         можно проверять по хэшу, копировать в Zoo и проверять их ЭЦП (в том числе и драйвер Ф).
         Добавлена поддержка чтения мелких защищенных файлов и файловых потоков полностью помещающихся в записи MFT.
         (новая функция прямого доступа к диску портирована из badNTFS Pro v2.21)

       o Обновлено окно лога для более быстрого добавления в него строк из нескольких потоков одновременно.
         Отображение строки лога ограничено 512 символами, однако при копировании строки или всего лога в буфер обмена копируется
         строка исходной длины, теперь лимита на длину строки нет.

       o Снят лимит на длину строк в окне информации о файле.

       o Снят лимит на путь и длину командной строки в окне истории процессов и задач.

       o Максимальный размер cmd/vbs и т.д. текстовых файлов, хранящихся в описании файла в поле #FILE#, увеличен до 128kb.
         Восстановить файл из образа автозапуска можно поместив значение данного поля в буфер обмена и далее
         сохранив его в любом текстовом редакторе.

       o В лог добавлено состояние брандмауэра. (0 - выключен, 1 - включен).

       o В окно установленных программ добавлена кнопка "Сохранить", которая сохраняет список программ в текстовый файл.

       o Обновлены start и start_x64: улучшена четкость шрифта в новых системах.

       o Обновлена функция разбора ответа от сервиса VT.
         Дополнительно в лог добавлены результаты из раздела sigma_analysis.

       o Окно истории процессов и задач стало немодальным.
         Перейти в это окно теперь можно из окна информации через его контекстное меню при щелчке правой кнопкой мыши по
         строке содержащей pid.
         (!) История процессов доступна лишь при активном отслеживании процессов и задач. (твик #39)

       o Исправлена критическая ошибка в функции обновления окна списка.

       o Исправлена критическая ошибка в функции проверки одного файла по списку критериев.

       o Исправлена критическая ошибка в функции сканирования реестра: длинные значения ключей полностью игнорировались.
         Теперь при обнаружении значения длиной свыше 1024 байт в лог выводится предупреждение с указанием ключа, имени значения
         и содержимого значения. Если в значении будет выделен файл то файл становится подозрительным.
         Эта ошибка присутствовала с v1.0.

       o Исправлена ошибка при открытии окна удаленного рабочего стола, задержка обновления экрана была 50мс
         вне зависимости от текущих настроек до ее изменения вручную.

       o Обновлена функция определения файлов запускавшихся неявно для совместимости с новыми билдами Windows.

       o Исправлена ошибка из-за которой в очень редких случаях мог не отображаться удаленный рабочий стол.

       o Исправлена функция обработки двойного щелчка кнопкой мыши.

       o Исправлена ошибка из-за которой клиент мог долго завершать работу с выдачей ошибок
         при штатном завершении серверной части.

       o Исправлена ошибка [Error: 0x80004002 - Интерфейс не поддерживается] в твике(27) удаления политик Chrome
         при работе с удаленной системой и при выполнении команды "regt 27" из скрипта.

       o Для Windows 11 возвращен оригинальный стиль чекбоксов, начиная с некоторого обновления их наконец-то исправили.

       
    • PR55.RP55
      Как бы это выявлять и исправлять в uVS ? https://forum.kasperskyclub.ru/topic/464495-pojmal-virusa-pereimenovalis-sluzhby/
    • Ego Dekker
      Домашние антивирусы для macOS были обновлены до версии 7.5.74. Добавлена поддержка macOS Sequoia (версия 15).
    • PR55.RP55
      Можно сделать так чтобы объект в списке отображался не под своим именем, а под именем критерия. ( или по результату проверки на V.T ) - ( по настройке в settings.ini ) Для чего? Например в списке есть: oikgcnjambfooaigmdljblbaeelmeke odbmjgikedenicicookngdckhkjbebpd Но объект  может отображаться внятно: oikgcnjambfooaigmdljblbaeelmeke = T-Сashback1 — кэшбэк-сервис odbmjgikedenicicookngdckhkjbebpd = T-Сashback2 — кэшбэк-сервис  
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.2.8.
×