Тест самозащиты антивирусов III (результаты) - Страница 3 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Kopeicev

Тест самозащиты антивирусов III (результаты)

Recommended Posts

Виталий Я.
я не имел ввиду конкретно аутпост, а лишь принип выдачи медалей. который, на мой взгляд, детерминирован слишком искуственно

Понял, а по Аутпосту сейчас все еще разбираем кейс тестирования на W7. Выскажусь по поводу наград попозже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
она дорога вам как память? smile.gif

я ещё понимаю - методика тестирования, её есть смысл наследовать, но методику награждения...

Вот как раз методику можно и нужно актуализировать, но какой смысл менять критерии для наград? Будет полный идиотизм и чехарда. Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро и т.п. Это все лишние поводы для разговоров о подтасовке результатов под медали. Тут некоторые горячие головы и в прошлый раз уверяли, что "спалили тему" с Платиновой наградой Доктора ... что тут еще можно сказать? Представляю сколько шума было бы, если мы сейчас поменяли % для наград ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Сегодня за 80% даем золото, завтра за тоже самое почему-то уже серебро

Надо смотреть на только на количественные выражения, но и на качественные, а также на отрывы от соперников. То есть не должно быть строгого критерия 80% - золото. Особенно, если этот процент состоит из двух неравнозначных половин (две версии виндоус) и, тем более, когда присутствует отбалдистская система начисления баллов. Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

Здравая мысль.

а также на отрывы от соперников

Не здравая, имхо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Не здравая, имхо

допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Вроде бы логично. Но если мы 80 "прилепим" к 81, то сразу возникает вопрос, как действовать в ситуации:

100 81 79

100 81 78

100 81 77

100 81 76

100 81 75

........ (когда уже нужно остановиться?).........

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
когда уже нужно остановиться?

поэтому я и говорю - смотреть на отрывы. если их нет, а все прочие критерии, неотраженные в рейтинге, равноценны, то тогда уже следовать "водоразделу"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
допустим, есть группа продуктов с оценкой 100, группа с оценкой 81 и пара с оценкой 80. разве не должны последние быть причислены ко второй группе медалистов?

Очень теоретически все это. Сразу видно, что вы не разу не собирали шишек на таких делах. Первый же тест по такой системе опустят ВСЕ вендоры, потому что в 100% случаях скажут, что вы градации подогнали. Кроме того, группировка часто может вообще отсутствовать и что тогда?

А так жестко, согласен, но так принятно.

Ведь величина 0.5 балла ничем не аргументирована, правда? Может 0.6 было бы справедливее за сохранение основного функционала? А то сейчас один полный провал равен двум непровалам.

А чего вы не спорите на тему того, почему за ничью в спорте дают 1 очко, а за победу 3? Почему не 1.5 или не 0.5? Почему раньше было 1 и 2 соответственно?

0.5 балла - это в данном случае утешительные баллы для слабых. Надо бы вообще 0 ставить, но крику в этом случае будет много на тему того, что это был всего лишь гуи, или модуль антиспама, например.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Я лично вообще не пойму, что сейчас обсуждать методику оценки? Где вы были до начала тестирования? Почему не обсуждали? Как говорится - после драки кулаками не машут.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Сегодня мы изменили оценку для Outpost Security Suite Pro 7.0. Полученные результаты для Windows 7 этого продукта были весьма странные, но причины проблем были неясны. Мы несколько дней совместно с сотрудниками Agnitum пытались локализовать проблему именно в той конкретной инсталляции, но факты некорректной работы самозащиты не были полностью выявлены (версии ошибок в продукте или ошибок в ходе тестирования были проверены и опровергнуты во время обсуждения и последующего верифицирующего повторного тестирования). "Пробои" самозащиты не воспроизводились на том же билде и в тех же самых условиях.

В ходе совместного разбирательства сотрудников компании Agnitum и команды Anti-Malware.ru было установлено что проблемы не наблюдаются (при этом проверено, что отвечающие за самозащиту файлы продукта не изменялись между тестированиями с обновлениями, т.е. улучшение самозащиты не было подтасовано). В связи с чем было принято решение провести тестирование продукта Outpost Security Suite Pro 7.0 той же версии и билда на Windows 7 ещё раз. Поэтому результаты теста этого продукта обновлены.

Текущий результат Outpost Security Suite Pro 7.0 - 97%

На цвет награды ретест не повлиял.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
Текущий результат Outpost Security Suite Pro 7.0 - 97%

Вот это по-взрослому!

P. S. Сергей Ильин, извинения приняты :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

Excel файл нужно подправить

zzkk, ох ты ж... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Найденный баг будет устранен уже в ближайшей (или через 1, как максимум) версии продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Excel файл нужно подправить

Поменяли, это закэшировался старый файл в браузере. ;)

Огромное спасибо за самоотверженную помощь организаторам тестирования Сергей Ильин и Kopeicev за детальное изучение смутившей нас нестыковки по результатам OSS Pro 7.0. Очень приятно, что наше общение из предконфликтной ситуации переросло в детальное обсуждение, причем администрация портала сама предложила пересмотреть итоги, как исключение из правил.

Вам тоже с Павлом большое спасибо за то, что обратили внимание на проблему, в таких ситуациях важна обратная связь в вендорами. Именно поэтому мы и призываем всех к партнерству, чтобы иметь возможность обсуждать такие вот непростые моменты до официальной публикации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Виталий, очень рад что у нас прошёл конструктивный диалог!

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Razboynik

Россияне всех сделали. Молодцы! :)

А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

>в 100% случаях скажут, что вы градации подогнали

нет, а где подгонка-то? проценты они и есть проценты, медали по убыванию процентов, какие претензии? вы же имеете право какие угодно значки присваивать, хоть знак качества, хоть заработанные баллы

>группировка часто может вообще отсутствовать и что тогда?

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

>почему за ничью в спорте дают 1 очко, а за победу 3?

это в каком спорте? в хоккее ничьих давно не бывает. ну и вы за победу не три очка даёте

>Почему раньше было 1 и 2 соответственно?

два это в нхл :)

>после драки кулаками не машут

это же не последний тест на данном ресурсе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А Москве нужно подтянуться к Питеру, а то соотношение компаний (лидеров теста) 1:3 rolleyes.gif

Оффтоп, но Доктор по факту московская компания, у них тут основной офис ;) Так что 2:2, все поровну!

тогда жёсткий барьер, как сейчас. если все второстепенные факторы не позволяют разделить на группы

Как вариант да, можно будет так делать. Кстати говоря, в последнем тесте на быстродействие именно так и было. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

А что стало причиной пересмотра результатов, какой тревожный звонок?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А что стало причиной пересмотра результатов, какой тревожный звонок?

Сильное расхождение результатов между XP и 7 при условии, что продукт фактически один и тот же. Кроме того, вендор не смог воспроизвести пробивы в самозищите. Стали разбираться и оказалось, что по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся. Версия, билд те же самые.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
...по какой-то причине (так и не выяснили) почти все пробивы больше не воспроизводятся.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? ;)

Видимо, нервно курила 7ка на виртуалке :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Groft
Видимо, нервно курила 7ка на виртуалке :)

Я бы на этом моменте заострил внимание тестировщиков.

Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Видимо, нервно курила 7ка на виртуалке :)

Возможно, что тестировщики столкнулись с так называемым fuzzy code. ;) Если они смогут его вычленить, то предлагаю раздать медали. :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да, на виртуалке проще и удобней, но сказывается на результатах теста. Может у эсета или у авиры, к примеру, тоже с результатами намудрила виртулака, а мы просто не в курсе? Может узнаем, а может и нет.

Нет, там все вполне логично везде. Тут явно было что-то не так. Вы видели какое было падение качества самозащиты на Windows 7, изначательно было подозрительно. Виртуалки тут не причем абсолютно. Вообще мы все перепроверяли. Вы же не думаете, что прогнали мы тупо по набору утилит и все, правда? ;)

Вообще спекуляции на тему виртуалок не имеют в данном случае никакого основания. Уже три года прошло с первого подобного теста и что-то я ни от кого так и не увидел какие-то конкретных сведений, что это чем-то плохо или на что-то точно влияет. У меня таких сведений нет. Вот когда говорят о проблемах с виртуалками при тестах эмуляторов или о тестах на быстродействие, там это имеют место быть погрешности и неточности, это понятно и конкретно вполне.

Так, признавайтесь, кто курил во время теста и выдохнул в самый ответственный момент? wink.gif

Мы перепроверяли, воспроизводилось именно на той конкретной инсталяции и той конкретно системе. Точно также просматривали и перепроверяли многое. Нельзя что-то списать на невнимательность или что тестировщик отвлекся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
    • PR55.RP55
      И ещё это: https://www.comss.ru/page.php?id=18330 Это и на работе Образов с Live CD может сказаться ?
    • PR55.RP55
      Тема: https://www.comss.ru/page.php?id=18331    " Ошибка проявляется в том, что при закрытии окна программы с помощью кнопки Закрыть (X) процесс taskmgr.exe не завершается полностью. При повторном открытии Диспетчера задач предыдущий экземпляр продолжает работать в фоне, хотя окно не отображается. В результате со временем накапливаются несколько процессов, что приводит к избыточному потреблению ресурсов системы и снижению производительности... " и это натолкнуло на мыслю. Раз есть такая проблема с taskmgr - то это может повториться с "любой" другой программой... т.е. можно? Реализовать команды: " Обнаружить и завершить все нетипично активные экземпляры Системных процессов\программ".  и " Обнаружить и завершить все нетипично активные экземпляры не Системных...". Такое может быть и с браузерами - например Firefox - если есть две версии программы установленные в разные каталоги и пользователь их запускает - часто бывает неполное завершение. тогда жрёт всё и вся...  
    • Ego Dekker
      Компания ESET (/исэ́т/) ― лидер в области информационной безопасности ― сообщает об обновлении ESET HOME Security Essential и ESET HOME Security Premium, комплексных подписок для защиты устройств домашних пользователей, и ESET Small Business Security, решения для малого бизнеса.

      Среди новинок ― функция восстановления после атак программ-вымогателей, мониторинг микрофона и улучшения безопасности при просмотре веб-сайтов, а также VPN, который предотвращает нежелательное отслеживание, обеспечивая неограниченный доступ к онлайн-контенту. Поскольку мошенничество сегодня является глобальной угрозой для всех пользователей, ESET обеспечивает усовершенствованную защиту от различных мошеннических методов, противодействуя атакам из разных типов источников, включая SMS-сообщения, электронную почту, телефонные звонки, URL-адреса, QR-коды, вредоносные файлы и другие.

      Обновленная платформа ESET HOME также упрощает управление безопасностью, что облегчает пользователям защиту своих семей, а владельцам малого бизнеса позволяет точно отслеживать защищенные устройства, а также устанавливать программы безопасности на все устройства благодаря доступному и понятному интерфейсу. 

      «Как поставщик передовых решений для защиты цифровой жизни, ESET тщательно отслеживает текущую ситуацию с угрозами и соответственно разрабатывает свои решения по кибербезопасности, ― комментирует вице-президент ESET в сегменте домашних пользователей и Интернета вещей. ― Усиленная защита от мошенничества, новая функция восстановления после атак программ-вымогателей и многочисленные усовершенствования безопасности конфиденциальных данных делают продукты ESET для домашних пользователей и малых предприятий мощными комплексными решениями, которые сочетают минимальное влияние на продуктивность и простоту в использовании».

      Решения для домашних устройств и малого бизнеса защищают все основные операционные системы ― Windows, macOS, Android ― и поддерживают разные устройства умного дома. Кроме того, ESET Small Business Security также защищает серверы Windows.

      Основные улучшения для пользователей Windows:

      •    Добавлен VPN (теперь доступно в подписке ESET HOME Security Premium): функция защитит сетевое подключение благодаря анонимному IP-адресу, а безлимитная пропускная способность обеспечит неограниченный доступ к онлайн-контенту. Кроме Windows, VPN также доступен пользователям MacOS, Android и iOS.

      •    Усилена защита конфиденциальных данных (доступно в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security): новый мониторинг микрофона обнаруживает и уведомляет пользователей о несанкционированных попытках доступа к микрофону на устройствах Windows.

      •    Улучшена безопасность при использовании браузера (доступно в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security) для защиты от фишинга, мошенничества и вредоносных веб-сайтов. Эта функция сканирует воспроизводимый HTML-код в браузере, чтобы обнаружить вредоносное содержимое, которое не фиксируется на уровне сети и с помощью «черного» списка URL.

      •    Добавлено восстановление после атак программ-вымогателей (доступно в решении ESET Small Business Security): первоначально разработанная для крупного бизнеса, функция позволяет минимизировать ущерб, вызванный этими угрозами. Как только защита от программ-вымогателей выявляет потенциальную угрозу, функция восстановления после атак немедленно создает резервные копии файлов, а после устранения опасности восстанавливает файлы, эффективно возвращая систему в прежнее состояние. Основные улучшения для пользователей macOS (доступны в подписках ESET HOME Security Essential, ESET HOME Security Premium, ESET Small Business Security):

      •    Поддержка macOS 26 (Tahoe) позволяет использовать защиту на текущей версии macOS.

      •    Поддержка HTTPS & HTTP/3 улучшает безопасность пользователей в Интернете.

      •    Управление устройствами контролирует внешние устройства, подключенные к Mac. Функция помогает защитить от вредоносного программного обеспечения и несанкционированной передачи данных, ограничивая доступ к определенным типам или даже отдельным устройствам. Следует отметить, что эти усовершенствования помогут противодействовать постоянно совершенствующимся угрозам с особым акцентом на предотвращение. Компания ESET также считает чрезвычайно важным сочетание кибергигиены с удобной защитой, поскольку действительно эффективная кибербезопасность должна быть простой в настройке и управлении.

      Более подробная информация о многоуровневой защите устройств домашних пользователей и решении для малого бизнеса. Пресс-выпуск.
    • Ego Dekker
      ESET NOD32 Antivirus 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Internet Security 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Smart Security Premium 19.0.11  (Windows 10/11, 64-разрядная)
              ESET Security Ultimate 19.0.11  (Windows 10/11, 64-разрядная)
                                                                                  ● ● ● ●
              Руководство пользователя ESET NOD32 Antivirus 19  (PDF-файл)
              Руководство пользователя ESET Internet Security 19  (PDF-файл)
              Руководство пользователя ESET Smart Security Premium 19  (PDF-файл)
              Руководство пользователя ESET Security Ultimate 19  (PDF-файл)
              
      Полезные ссылки:
      Технологии ESET
      ESET Online Scanner
      Удаление антивирусов других компаний
      Как удалить антивирус 19-й версии полностью?
×