Перейти к содержанию
Danilka

AV-Comparatives: Retrospective/Proactive Test - май 2010

Recommended Posts

Danilka

http://www.av-comparatives.org

6666.png

Интересно будет сравнить с результатами теста на АМ. ;)

post-5261-1276008356_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

Забавно: пишут, что использовались семплы, появившиеся с 11 по 18 февраля. Смотрим на количество семплов - 27271! Как так?

F-Secure и Sophos тестировались с настройками по умолчанию, без расширенных эвристик.

Для Avira и AVG не учитывались сообщения об упаковщиках.

Тест на ложные срабатывания повторно не проводился, хотя было бы интересно узнать, кто работает над этим, а кто нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

Почему-то недоступно редактирование поста :(

Тест на детектирования после обновления баз тоже не сделали, динамический тест только грядёт; чем тогда они занимались в течение трёх месяцев, если семплы и программы зафиксированы аж в феврале и никаких доп. исследований не проводилось?

Таблица качества эвристики (процент детекта/количество фолсов):

G Data 61%/5

Microsoft 59%/3

Kaspersky 59%/5

F-Secure 52%/2

Eset 52%/3

eScan 50%/1

Bitdefender 50%/3

TrustPort 63%/9

Panda 63%/47

Avira 53%/11

Symantec 43%/11

Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Panda вроде бы нафальшивила по самое нехочу, однако 15 ложных "прилетели" из облака, а детектов со страшными названиями среди них всего 10 (если отбросить, в том числе, странную фразу Trj/CI.A).

У TrustPort все, кроме одного, ложные срабатывания растут из движка AVG. На удивление, сам AVG нафальшивил больше, а задетектил почти в два раза меньше. Что-то они не так протестировали...1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

А PDF не на его сайте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А PDF не на его сайте?

На его, но официально можно давать ссылки только на морду сайта. Неофициально можно попросить Андреаса о прямых ссылках, как это в своё время делал я. Мне разрешили, но всё равно попросили ссылку на главную, что я и сделал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Илья Рабинович

Ну не знал. Спасибо.

Модераторы, добавьте ссылль http://www.av-comparatives.org в первый пост.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Евгений Павлович

Я так понял - Microsoft представляет свой Essential?

Если так - то совсем неплохо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Я так понял - Microsoft представляет свой Essential?

Ну да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Я понимаю, что новое бесплатное решение в топе антивирусов начало уже многим мозолить кошелёк, но не надо так уж явно бочки катить. Какой информативности может не хватать, если из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

detect.png

post-4003-1276154123_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

dr_dizel

Согласен. Это плюс MS.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Б.К.
Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Да это я их туда бросил - для скриншота работы мсе. Просто первый раз забыл сделать второй скрин. :rolleyes:

Ну вот вам другой скрин:

detect2.png

Trojan:Win32/Orsam!rts is a name used for trojan detections that have been added to our signatures after advanced automated analysis.

И я согласен с роботом т.к. в нём много бяки, да ещё и луа с подозрительными скриптами. :)

post-4003-1276195821_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Любители анализа могут сравнить результаты этого и нашего собственного теста, который вышел на месяц позже. Результаты сильно отличаются, правда это если не брать во внимание одну маааленькую вещь. Читаем сноску мелким шрифтом в отчете:

av_comparatives.PNG

http://www.av-comparatives.org/images/stor...vc_report26.pdf

post-4-1277996797_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • demkd
      а внутри локалки и не получится, белые ip нужны только при подключении через интернет.
    • santy
      Проверил на двух домашних ПК в локальной сети с роутером. Схема с серым IP работает отлично. Передача файлов гениальна! Вот просто как будто дополнительное зрение появилось :). Через белый IP  пока не удалось подключиться. Пришлось еще фаерволлы включить в интерактивный режим. (На автомате еще не проверял, возможно надо сохранить некоторые правила.)
    • demkd
      ---------------------------------------------------------
       4.99.4
      ---------------------------------------------------------
       o Исправлена функция автоматического переключения удаленных рабочих столов.
         Проблема проявлялась при работе с удаленной системой через локальную сеть, при запуске приложения
         от имени администратора не происходило автоматическое переключение на защищенный рабочий стол.
         (не касается полной версии разового доступа к рабочему столу, в этом режиме проблемы не было).

       o Проведено сравнительное тестирование системного удаленного рабочего стола и uVS.
         Передача файлов через системный удаленный рабочий стол идет почти в 20 раз медленней чем через через uVS.
         Максимальный fps в 32-х битном цвете почти в 3 раза ниже чем у uVS в FHD.
         (!) Выявлена проблема совместного использования uVS и системного рабочего стола.
         (!) Если системный рабочий стол был закрыт БЕЗ выхода из пользователя, то uVS не сможет
         (!) отбразить рабочий стол логона пользователя (Winlogon).
         (!) Единственное решение проблемы: подключиться заново через системный рабочий стол и выйти из пользователя.
       
    • demkd
      ---------------------------------------------------------
       4.99.3
      ---------------------------------------------------------
       o Это обновление повышает качество работы с удаленной системой и добавляет новый режим работы.
         (!) Новая функция не совместима со старыми версиями uVS, если у вас в настройках установлен флаг bReUseRemote = 1,
         (!) то перед обновлением необходимо закрыть все серверные части uVS на удаленных компьютерах с помощью
         (!) старой версии uVS.

       o Добавлен новый режим работы: Разовый доступ к удаленному компьютеру.
         (!) Доступно начиная с Vista, подключение к рабочему столу устаревших систем возможно лишь прежним способом.
         Ранее просмотр и управление рабочим столом удаленного компьютера было вспомогательной функцией при работе с удаленной системой.
         Для подключения требовались полномочия администратора или знание логина и пароля администратора удаленного компьютера и
         физическая возможность подключения к удаленному компьютеру.
         Новый режим работы похож на то, что предлагают всевозможные поделки для удаленного администрирования.
         o В этом режиме доступно: управление и просмотр рабочего стола, а также быстрый и надежный обмен файлами на пределе пропускной
           способности канала. (для сравнения RAdmin в гигабитной сети передает файлы более чем в 15 раз медленней чем uVS).
         o Передаваемые кадры теперь не только сжимаются, но и шифруются,  целостность передаваемых файлов защищена
           проверочным хэшем и шифрованием.
         o Подключение осуществляется без использования промежуточного сервера, т.е. это чистый P2P.
         o Подключение возможно к компьютеру за NAT при включенной у роутера опции uPNP.
         o Подключение возможно к компьютеру, где активирован VPN.
           (!) Подключение производится к реальному адресу роутера или адаптера компьютера с VPN, VPN канал полностью игнорируется.
         o Подключение возможно в обе стороны, т.е. из пары компьютеров требуется лишь 1 белый IP, направление подключения выбирается
           при начальной настройке.

         При запуске start.exe теперь вам доступны три новые кнопки:
         o Управление удаленным компьютером и обмен файлами.
           Эту кнопку нажимает тот кто хочет получить доступ к удаленному компьютеру, в открывшемся окне можно выбрать
           вариант подключения (см. ниже) и ввести код доступа полученный от того кто предоставляет доступ к компьютеру.
           Варианты подключения:
             o Соединение примет мой компьютер - в этом случае необходимо выбрать IP к которому будет подключаться другая
               сторона. При подключении через интернет следует выбирать белый IP адрес, если ваш компьютер за роутером
               и на нем активен NAT, то выбрать нужно именно его IP адрес. (адрес с пометкой [router]).
               Если роутер поддерживает uPNP, то этот адрес будет выбран по умолчанию.
               Если же в списке нет белых IP то вам следует выбрать другую опцию подключения.
               После выбора IP просто нажмите кнопку Старт и передайте одноразовый код доступа другой стороне.
               При подключении по локальной сети вы можете нажать кнопку "Все IP" и выбрать любой серый адрес для подключения.
               Поддерживается и IPv4 и IPv6.
               (!) Код доступа автоматически копируется в буфер обмена при нажатии кнопки "Старт".

             o Соединение установит мой компьютер - просто скопируйте код доступа в поле ввода или код там появится автоматически
               если вы его скопировали из мессенджера. После чего нажмите кнопку Старт и ожидайте подключения.

         o Разовый удаленный доступ к моему компьютеру [админ]
           (!)Пользователь должен обладать правами администратора или правами по запуску и установке служб.
           Эту кнопку нажимает тот кто хочет предоставить доступ к своему компьютеру, в открывшемся окне можно выбрать
           разрешения для другой стороны.
           Доступны 3 варианта:
             o  Управление     - доступно: мышь, клавиатура, просмотр экрана и обмен файлами.
             o  Просмотр       - доступно: просмотр экрана и обмен файлами.
             o  Обмен файлами  - доступно: обмен файлами.
           Это полнофункциональная версия удаленного рабочего стола uVS, с возможностью удаленного подтверждения
           запуска приложений от имени администратора и эмуляции нажатия Ctrl+Alt+Del.

         o Разовый удаленный доступ к моему компьютеру [не админ]
           Все тоже самое что и во 2-м случае, кроме удаленного подтверждения запуска приложений от имени администратора
           и эмуляции нажатия Ctrl+Alt+Del, дополнительно есть ограничение по использованию защищенных рабочих столов.

       o При работе с удаленным рабочим столом теперь доступна передача файлов и каталогов из буфера обмена в обе стороны.
         Что бы передать файлы или целые каталоги на удаленный компьютер, просто скопируйте их в буфер обмена и в окне
         удаленного рабочего стола нажмите кнопку со стрелкой вверх.
         Передача изображения автоматически отключится и откроется окно с логом передачи файлов.
         В заголовке окна лога вы увидите объем переданных данных и среднюю скорость передачи (с учетом чтения их с диска).
         По окончании передачи  файлов в лог будет выведена информации о времени передачи, количестве успешно переданных файлов и
         средней скорости передачи.
         Переданные файлы будут помещены в буфер обмена удаленной системы и вы сможете  вставить их из буфера
         в любой каталог или прямо на рабочий стол. При этом файлы переносятся из временного каталога.
         Если же вы не вставили файлы из буфера обмена то они останутся во временном каталоге C:\uVS_copyfiles\*
         точный путь до которого выводится в лог на удаленном компьютере.
         Что бы получить файлы проделайте обратную операцию: скопируйте файлы в буфер обмена на удаленном компьютере
         и нажмите кнопку со стрелкой вниз, по завершению передачи файлы будут помещены в буфер обмена вашего компьютера
         и вы можете перенести их в любую нужную папку.
         Таким образом обе стороны видят какие файлы и куда копируются и при этом максимально упрощается процесс копирования.
         (!) При закрытии окна лога передача файлов будет остановлена.
         (!) При разрыве соединения передача файлов будет автоматически продолжена после восстановления соединения,
         (!) при этом работает функция докачки, т.е. если ошибка произошла при передаче большого файла, то передача его
         (!) продолжится с последнего успешно полученного блока, т.е. блок будет заново.
         (!) Каждая передача файлов является независимой, т.е. нельзя прервать передачу и воспользоваться функцией докачки.
         (!) Проверка целостности файлов производится на лету вместе с его расшифровкой, таким образом достигается
         (!) максимально возможная скорость передачи примерно равная скорости копирования файлов по локальной сети системой.
         (!) При необходимости передачи большого количества мелких файлов рекомендуется поместить их в архив, это серьезно
         (!) сократит время передачи.
         (!) Состоянии кнопки CS никак не влияет на данный функционал.

       o Изменен приоритет протоколов: IPv4 теперь является приоритетным, как показали замеры в гигабитной локальной сети
         IPv4 позволяет достичь более высокой скорости передачи данных.

       o Добавлено шифрование сжатых кадров удаленного рабочего стола для повышения защиты передаваемой по сети информации.

       o В случае разрыва соединения повторное подключение происходит автоматически без запроса.

       o Снижен инпут лаг при работе с удаленным рабочим столом.

       o Обновлена функция синхронизации буфера обмена с удаленной системой: теперь поддерживается передача скриншотов
         в обе стороны.

       o Обновлена функция передачи движений мыши в удаленную систему.
         Теперь доступно управление с помощью движений мыши, которое используется в некоторых приложениях и играх. (если нажата кнопка MM)
         Если указатель мыши видим в удаленной системе то управление производится позиционированием указателя по расчетным координатам (как и раньше),
         в противном случае указатель скрывается в клиентской системе и передаются лишь движения мыши.
         При возникновении проблем с восстановлением видимости указателя вы всегда можете переключиться из окна удаленной рабочего стола по горячей
         клавише RWin.

       o uVS теперь при старте добавляется в исключения Ф и брандмауэра до выхода из uVS.

       o Теперь запоминаются размеры и режим отображения удаленного рабочего стола для каждого активного монитора.
         Кнопка 1:1 применяется автоматически при первом выборе монитора.
         Обработчик кнопки 1:1 обновлен, теперь размер окна рассчитывается с высокой точностью для новых систем,
         где размер окна включает в себя тень.

       o Добавлен выбор метода захвата экрана, доступно 3 варианта:
         o GDI -  медленный метод захвата экрана, но работает в любой удаленной системе, постоянный fps.
                  (единственный доступный метод для Win2k-Win7)

         o DDA1 - быстрый, работает начиная с Windows 8, максимальный коэффициент сжатия,
                  переменный fps в зависимости от экранной активности.
                  (!) рекомендуется использовать при ширине канала ниже 100Mbit, вместо DDA2.

         o DDA2 - очень быстрый метод сравнимый с захватом экрана с помощью mirror драйвера, но без использования драйвера,
                  работает начиная с Windows 8, низкий коэффициент сжатия, переменный fps в зависимости от экранной активности.
                  Способен захватывать видео с высоким fps (до 60) за счет упрощенного метода сжатия и обработки потока кадров.
                  (метод по умолчанию для Win8+, рекомендуется при значительной экранной активности).
                  (!) рекомендуется использовать при ширине канала не менее 100Mbit, при высоких разрешениях 1Gbit и выше
                  (!) из-за низкого коэффициента сжатия.
                  (!) При низкой экранной активности трафик до 10 раз больше чем у DDA1, при высокой - в 2 раза больше.
          
       o В окно удаленной рабочего стола добавлена кнопка "SYN" она замещает собой ручной выбора задержки захвата кадров.
         (отжатая кнопка соответствует нулевой задержке)
         Если кнопка нажата то задержка, а значит и максимальный fps ограничивается автоматически в соответствии
         с пропускной способностью канала, к сожалению это понижает максимальный fps и увеличивает инпут лаг,
         однако это полностью решает проблему, которой страдают даже лучшие программы удаленного управления
         при недостаточной ширине канала. Если канал слишком узок (10Mbit и менее) то при значительной
         экранной активности (оконное видео или анимация) происходит потеря управления удаленным рабочим столом
         из-за того что новые кадры отправляются в буфер значительно быстрее, чем клиентская машина успевает их получить и отобразить,
         в результате чего даже нажатия кнопок отображаются с задержкой в несколько секунд.
         Тоже самое будет наблюдаться в uVS в сходных условиях если кнопка SYN не нажата.
         Поэтому SYN не рекомендуется отключать при значительной активности в кадре и узком канале.
         Если канал 100Mbit и выше (локальная сеть), используется DDA2 то можно выключить SYN и это сильно поднимет fps и значительно уменьшит инпут лаг.
         Кнопка SYN по умолчанию нажата, состояние кнопки сохраняется при выходе из uVS.
         Выбранная цветовая битность теперь тоже сохраняется.

       o В окно удаленной рабочего стола добавлена кнопка "MR" она позволяет управлять указателем мыши из удаленной системы,
         Функция работает ЕСЛИ кнопка нажата И курсор находится в пределах окна удаленного рабочего стола И это окно активно.
         Функция предназначена для тех случаев когда человеку на том конце проще показать проблему чем описать ее словами.

       o Теперь клиентская часть uVS автоматически завершается если удаленная система перезагружается, выключается или завершается сеанс пользователя.
         (только если открыто окно удаленного рабочего стола)

       o Значительно увеличена скорость переключения мониторов, рабочих столов и смены разрешения монитора в DDA режиме.
         (!) Однако есть побочный эффект: если новый монитор будет подключен к удаленной системе пока открыто окно рабочего стола,
         (!) то для отображения картинки с этого монитора необходимо будет закрыть/открыть окно или повторно выбрать метод захвата экрана.

       o Добавлена поддержка браузера Microsoft Edge.

       o Обновлена функция чтения и удаления расширений браузеров: Chrome, Yandex, Edge.
         Добавлены сайты с включенными уведомлениями с указанием времени активации уведомлений.
         Из окна информации о расширении удалено поле Extension_homepageURL за бесполезностью.
         Мусор оставшийся от старых расширений помечается как "файл не найден" и будет удален при вызове функции удаления ссылок на
         отсутствующие файлы.

       o Контекстное меню в окне редактирования критериев теперь тоже использует выбранный размер шрифта.

       o Улучшена совместимость с системами с малым количеством оперативной памяти.

       o Исправлена функция захвата экрана в GDI режиме.

       o Исправлена ошибка в функции чтения защищенных файлов, в некоторых случаях функция не могла получить доступ к файлу.

       o Исправлена ошибка в функции смены рабочего стола

       o Исправлены ошибки инициализации COM.

       o Исправлена ошибка из-за которой из списка проверки выпало 2 ключа автозапуска.

       o Исправлена ошибка в функции отката изменений (Ctrl+Z) при работе с образом.

       o Исправлена ошибка повторной инициализации захвата экрана в случае если рабочий стол был переключен пользователем или системой
         до повторного открытия окна удаленного рабочего стола.

       o Исправлена ошибка при открытии окна информации о компьютере.
         Добавлена дата релиза биоса, исправлено отображение объема физической памяти, добавлена расшифровка типа памяти и условное обозначение
         ее производительности.

       o Добавлена возможность открывать ключ реестра в regedit-е двойным щелчком по строке в логе или
         через контекстное меню.
         (!) Недоступно при работе с образом автозапуска.
       
×