Перейти к содержанию
Виталий Я.

VB100 - April 2012 - где все "лидеры"?

Recommended Posts

Виталий Я.

http://www.virusbtn.com/vb100/archive/test?recent=1

UNTESTABLE PRODUCTS

In addition to the products discussed above and detailed in our results charts, several other products were submitted for testing this month, but after much hard work(all of them were given at least three installs and subjected to a selection of tests) were found too unstable to be worth the effort of further attempts. These were: CMC Internet Security, ESTSoft ALYac Enterprise, Maya Software N360 Internet Security 2012, and Roboscan Enterprise, the latter being essentially a clone of ESTSoft’s product. In all cases, every effort was made to include the products in the test.

Fails:

Emsisoft Anti-Malware (WildList missed on-access + 1 FP),

F-Secure Client Security (WildList missed on-access),

Iolo System Shield (WildList missed on-demand),

Qihoo 360 (WildList missed on-access + on-demand),

Quick Heal Total Security (WildList missed on-access),

Sophos Endpoint Sec & Control (WildList missed on-access + on-demand),

Trustport Av 2012 (WildList missed on-access + on-demand),

Filseclab твиттер - тоже не получил ретвита :)

Comodo, Dr. Web, Panda Security, Symantec Norton, Trend Micro - no entry, again.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
Filseclab твиттер - тоже не получил ретвита :)

37 False Positives

Хм... у индуса конкурент? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Хм... у индуса конкурент?

Это о каком индусе речь? Я лично про турка думал ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Symantec, как я понимаю, пошла по пути Dr.Web - все тесты, кроме своих, заказных, фуфло?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Symantec, как я понимаю, пошла по пути Dr.Web - все тесты, кроме своих, заказных, фуфло?

Им нужно редко, но метко, как McAfee. Правда, McAfee (или Comodo) нужно часто: http://www.virusbtn.com/vb100/archive/comp...d5=94&id6=2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Посмотрел сравнение: http://www.virusbtn.com/vb100/archive/comp...id2=15&id3=

Не в пользу Kaspersky. Удивился

Это только если в любимую игру Eset играть, считая значки и плюсики. А здесь сравнение более объективное:

http://www.virusbtn.com/vb100/rap-index

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
VB100 - April 2012 - где все "лидеры"?

...

Fails:

Trustport Av 2012 (WildList missed on-access + on-demand),

Касперский и ESET ещё остались и думаю будут участвовать до последнего :)

По словам трастпортовцев они "прокололись" на доверии к файлам, подписанными некоторыми сертификатами. Проблему исправили, но "паровоз ушел", значки уже раздали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
считая значки и плюсики.

RAP только показывает "глубину" эвристического обнаружения по временной шкале. Вопрос - зачем держать неделями необновленный АВ-продукт, чтобы НЕ подхватить заразу благодаря длинной эвристике?

А в этот раз VB100 еще и ставили рейтинги за стабильность во время теста на топовой ОСи - половине продуктов выдали Fair и Buggy (включая Eset), а F-Secure так вообще Flaky (еле завелся).

Так что есть уже 6 параметров:

1) 100% WildList + FP - есть награда VB100 или нет,

2) Extended WildList - есть детект 100% или нет,

3) RAP - есть "длинная" эвристика или нет,

4) Performance - нагрузка на CPU и RAM,

5) Throughput - скорость "пропускания" при скане,

6) Стабильность - вылетает/тормозит или нет

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Они стали RAP по дням еще считать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
А в этот раз VB100 еще и ставили рейтинги за стабильность во время теста на топовой ОСи - половине продуктов выдали Fair и Buggy (включая Eset), а F-Secure так вообще Flaky (еле завелся).

Так что есть уже 6 параметров:

У меня сейчас нет подписки VB, поэтому тонкостей не знаю. Ну если так, то это уже лучше. Если бы ещё и в открытый доступ эти результаты выкладывали. Но тогда ещё и Eset мог бы отказаться от тестов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Если бы ещё и в открытый доступ эти результаты выкладывали.

Все табличные данные на тесты старше №3, считая от текущего, они по бесплатной регистрации отдают на сайте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Думаете symanteс больше не будет в VB100 участвовать?

Если так, то ИМХО последними столпами там остаются Eset и Касперский. Уйдет кто-то из них и проект можно будет закрывать по большему счету. Eset уйдет вряд ли, будут сидеть до последнего, для них эти значки по старинке являются каким-то фетишем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rkhunter
Думаете symanteс больше не будет в VB100 участвовать?

Ну пропустят они год, подумаешь...последний был не так давно, Апрель 2011.

symantec.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Ну пропустят они год, подумаешь...последний был не так давно, Апрель 2011.

Вообще-то при условии, что с апреля 2011 года былбо еще 6 тестов, а в графе "not entered" всего 13, что-то явно говорит об уклонении.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rkhunter
Вообще-то при условии, что с апреля 2011 года былбо еще 6 тестов, а в графе "not entered" всего 13, что-то явно говорит об уклонении.

Может они еще решат их каждую неделю проводить - а что, неплохая мысль :facepalm:

хотя да, VB много теряет от того, что Symantec отказывается от тестов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Может они еще решат их каждую неделю проводить - а что, неплохая мысль

Внимание на экран: в каком году VB100 проходил менее 6 раз? http://www.virusbtn.com/vb100/archive/list ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rkhunter

Вообще конечно этот VB забавный, наверное также как и мотивация каждого из участников, которые решают там тестироваться.

На их странице по WildList:

Организация WildList собирает ежемесячные отчеты от AV-экспертов по всему миру. Данные из отчетов компилируются для создания The Wild List - список угроз на текущий момент, которые есть у пользователей (в оригинале что-то мудреное, наверное, чтобы запутать народ - a list of those viruses currently spreading throughout a diverse user population). Малварь, которая, известна двум или более WildList-репортерам появляется в верхней части списка и считается ITW.

Идем и смотрим на этих AV-экспертов на http://www.wildlist.org/WildList/t_reporters.htm

Я насчитал 3 из исета, 1 из Symantec, 1 из AVG, 1 из kaspersky, парочку из MS.

Как бы все чинно, по крайней мере не заявляют, что семплы для тестирования будут брать с kernelmode :facepalm:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
наверное также как и мотивация каждого из участников, которые решают там тестироваться.

VB100 - по-прежнему САМЫЙ узнаваемый антивирусный тест в мире, как бы на себя ни тянули одеяло AV-Test, AV-Comparatives и прочие коммерческие тестлабы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Идем и смотрим на этих AV-экспертов на http://www.wildlist.org/WildList/t_reporters.htm

А я насчитал > 50 вложившихся за 2 года, из них:

- 5 сотрудников лидеров-"отказников" (Panda, TrendMicro, Symantec, McAfee),

- с 10-ок - из остальных лидеров (AVIRA, AVG, Eset, Microsoft, KL)

- с 5-ок - из странных вирлабов (типа национальных АВеров Filsec Labs, Arcabit, Proland)

- с 5-ок - из игроков рынка лицензирования движков и корпоратива (Virus Buster, FRISK, AhnLab, Ikarus),

- с 5-ок - из корпоратива (Fortinet, Palo Alto, Commtouch, Sophos, NetGear, GFI, etc.)

- с 5-ок - из восходящих звезд (Rising, K7, Comodo, G Data, CAT-QuickHeal)...

- 12 - неизвестно откуда

PS: То, что вы не знаете эти компании, ничего не значит про их бизнесы. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

ИМХО век значков типа "сертификатов" уже прошло. Ценность для потребителя сомнительная, никто не купит антивирус руководствуясь наличием значка VB100. К тому ими обклеены многие коробки и сайты антивирусных вендоров. Таким образом это не дает никакого конкурентного преимущества.

По контрибуторов ITW я давно уже писал. Достаточно легко манипулировать коллекций, даже сговор не нужен между вендорами.

В итоге вся эта затея сейчас годится лишь чтобы поприкалываться над слившими продуктами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
ИМХО век значков типа "сертификатов" уже прошло. Ценность для потребителя сомнительная, никто не купит антивирус руководствуясь наличием значка VB100. К тому ими обклеены многие коробки и сайты антивирусных вендоров. Таким образом это не дает никакого конкурентного преимущества.

Вранье - сразу видно, что ты и рядом не стоял с сеткой дистрибуции, например. Отсутствие значка VB100 де-факто значит "не антивирус" для них и для конечных продавцов.

По контрибуторов ITW я давно уже писал. Достаточно легко манипулировать коллекций, даже сговор не нужен между вендорами.

Твои познания про VB100 так и остались на уровне статьи 2008 года? Помню, как ты ссылку не нашел на контрибуторов ITW, хотя с главной она в 2 клика доступна :facepalm:

Повторюсь: я нисколько не адвокат бренда VB100, но именно VB100 - самые лучшие тесты по соотношению цена использования/узнаваемость бренда потребителями/партнерами. Я и про дешевые по использованию наград тесты, и про всеохватность (в плане представленности АВ-индустрии - 15-20 продуктов в остальных тестах рядом не валялись с 65-70 продуктами у VB100). Это просто самая лучшая рекламная наклейка (кроме "бесплатно").

В итоге вся эта затея сейчас годится лишь чтобы поприкалываться над слившими продуктами.

А вот это правда, всегда забавно подчеркнуть, что "не антивирусы опять слили". Но опять же - с двух позиций: с "кто не прошел - не антивирус", а более радикальный вариант - с твоего шестка, тов. сверчок-конкурент с Virus Bulletin :)

Кстати, у них еще тесты VBSPam есть - что-то ты про них молчишь! ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rkhunter
PS: То, что вы не знаете эти компании, ничего не значит про их бизнесы. ;)

Ха-ха-ха. Да, посмеялся. Очень важный комментарий :facepalm:

ИМХО век значков типа "сертификатов" уже прошло. Ценность для потребителя сомнительная, никто не купит антивирус руководствуясь наличием значка VB100. К тому ими обклеены многие коробки и сайты антивирусных вендоров. Таким образом это не дает никакого конкурентного преимущества.

Тоже соглашусь. Еще по этим тестам докатятся что Agnitum плотнее собирает малварь чем Symantec :facepalm:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Sansero.ee
Отсутствие значка VB100 де-факто значит "не антивирус" для них и для конечных продавцов.

Соглашусь с Виталием.

Очень популярный тест. Нет градаций черно-белого - либо прошел, либо прошел в баню.

Но самое главное - популярность, как среди вендоров, так и среди пользователей(блин, у меня даже младшая сестра слышала про ВБ100). И отсутствие их наклейки для пользователей что должно означать? Что продукт не участвовал в тесте(а почему?)? Или что он его провалил?

Ну и

Это просто самая лучшая рекламная наклейка (кроме "бесплатно").

Да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Еще по этим тестам докатятся что Agnitum плотнее собирает малварь чем Symantec

C этого места поподробнее плз :) Как компания-неучастник может проиграть по сбору малвари участнику? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • mirkosmetik
      Спасибо, полезно.  
    • andery777
    • Guffy
    • andery777
      Только для 10? Как думаете с 7 совместима?
    • AM_Bot
      Продукт, известный сейчас как Ideco UTM, произошёл из Ideco ICS (Internet Control Server), первый выпуск которого состоялся в 2005 г. За 15 лет продукт поменял название, расширил список функциональных возможностей и стал называться Ideco UTM. В конце 2020 года состоялся релиз новой, 9-й версии; слоганом презентации стало «Дальше только космос». Рассмотрим, какие изменения произошли по сравнению с предыдущей, 8-й версией.    ВведениеНовые возможности Ideco UTM 9Системные требования Ideco UTM 9 для разного количества пользователейПреимущества Ideco UTM 9 перед конкурентамиКонцепция постоянных обновлений Ideco UTM 9Принцип «всегда на связи»ВыводыВведениеIdeco UTM представляет собой шлюз безопасности типа Unified Threat Management (система единообразной обработки угроз) российского разработчика «Айдеко». Предыдущая, 8-я, версия этого шлюза рассматривалась на нашем сайте весьма подробно. Новая редакция продукта обладает широкими функциональными возможностями за счёт использования таких модулей и механизмов, как защита от несанкционированного доступа и внешних угроз (межсетевой экран, WAF, контроль приложений и другие), контроль доступа, контентная фильтрация, антивирусная проверка трафика, антиспам (на основе технологий «Лаборатории Касперского»), возможности работы в качестве VPN-, DNS-, DHCP- и даже почтового сервера.Исходя из перечисленных функций можно сказать, что Ideco UTM уже вышел за рамки привычного класса устройств для сетевой безопасности и представляет собой экосистему, работающую не только для организации и защиты сети, но также для частичного построения серверной инфраструктуры.За прошедшие 15 лет это решение стали использовать такие компании и ведомства, как Федеральная таможенная служба, холдинг «Вертолёты России», ArcelorMittal. В целом более 14 000 организаций используют в своих сетях решение Ideco UTM.Ещё одним преимуществом рассматриваемого решения является его наличие в Едином реестре российских программ для электронных вычислительных машин и баз данных. Это позволяет использовать Ideco UTM 9 для целей обеспечения государственных и муниципальных нужд в соответствии с постановлением Правительства Российской Федерации № 1236 от 16 ноября 2015 г., а также в рамках программы импортозамещения, что важно в свете планируемого перевода субъектов КИИ на российские продукты.Новые возможности Ideco UTM 9Ideco UTM 9 основана на новейшем ядре Linux 5.11. В этой версии обновлены многие системные пакеты, увеличена производительность, включена поддержка новых платформ.Переработан веб-интерфейс администратора. Теперь он ещё удобнее с точки зрения структуры и работает быстрее, чем раньше. Рисунок 1. Интерфейс администратора Ideco UTM 9 Добавлена ролевая модель администраторов. Теперь благодаря ей доступ разделён на две категории: полный доступ и только чтение, что позволяет предоставлять его обучающимся или неопытным пользователям. Рисунок 2. Добавление учётной записи администратора Реализован раздельный доступ в консоль по SSH под логинами администраторов. Это позволяет настроить сети, из которых возможен доступ по SSH. Раньше была возможность подключаться только к веб-интерфейсу шлюза. Рисунок 3. Управление доступом по SSH В обновлённой версии шлюза безопасности добавлена установка пароля администратора при развёртывании сервера. Данная возможность исключает использование стандартных паролей и делает необходимой их ручную смену после установки продукта. Это позволяет избавиться от типичной проблемы использования нестойких и подверженных взлому паролей в привилегированных учётных записях.В межсетевой экран добавлены счётчики срабатывания правил, что позволяет эффективнее управлять правилами, удаляя или дорабатывая правила файрвола не имеющие срабатываний. Рисунок 4. Управление правилами файрвола В Ideco UTM 9 появился почтовый узел («релей») с возможностью работы в качестве полноценного почтового сервера с модулем антиспама от «Лаборатории Касперского». Рисунок 5. Основные настройки почтового релея Почтовый релей может подписывать исходящие письма DKIM-ключом, который используется почтовыми сервисами для идентификации и классификации электронной почты. Рисунок 6. Включение функции DKIM В продукте обновлён модуль системы предотвращения вторжений. Теперь он более эффективен в выявлении и предотвращении атак.Добавлена возможность отправки оповещений о событиях на сервере с помощью телеграм-бота. Рисунок 7. Настройка телеграм-бота Системные требования Ideco UTM 9 для разного количества пользователейIdeco UTM — это программное решение, что весьма выгодно с точки зрения отсутствия необходимости покупать продукт вместе с аппаратной частью. Достаточно выделить соответствующие ресурсы из уже имеющихся. Несмотря на новые функции, появившиеся в версии 9, требования к аппаратному обеспечению не изменились по сравнению с 8-й версией. Таблица 1. Минимальные системные требования, предъявляемые Ideco UTM 9Минимальные системные требованияПримечаниеПлатформаОбязательна поддержка UEFI Гипервизор2-е поколение виртуальных машин HyperV (с отключённым SecurityBoot) ПроцессорIntel Pentium G / i3 / i5 / Xeon E3 / Xeon E5 с поддержкой инструкций SSE 4.2Требования могут варьироваться в зависимости от сетевой нагрузки и используемых сервисов, таких как контентная фильтрация, антивирусы и система предотвращения вторжений. Для работы системы требуется минимум два, лучше четыре ядра процессора.Объём оперативной памяти8 ГБ (16 ГБ при количестве пользователей более 75)Дисковая подсистемаЖёсткий диск (магнитный или SSD) объёмом 64 ГБ или больше с интерфейсом SATA, SAS либо совместимый аппаратный RAID. В случае использования почтового сервера — второй жёсткий диск.Не поддерживаются программные RAID-контроллеры (интегрированные в чипсет или материнскую плату). При использовании аппаратных RAID-контроллеров настоятельно рекомендуется использовать плату с установленным аккумулятором, иначе высока вероятность краха RAID-массива. Не поддерживаются диски объёмом выше 2 ТБ.Сетевые адаптерыДва сетевых адаптераРекомендуются сетевые адаптеры, основанные на чипсетах 3Com, Broadcom, Intel или Realtek со скоростью 100/1000 Mбит/с.ДополнительноМонитор, клавиатураДля установки и работы Ideco UTM не требуются предустановленная ОС и дополнительное программное обеспечение. Ideco UTM устанавливается на выделенный сервер с загрузочного компакт-диска или USB-накопителя, при этом автоматически создаётся файловая система и устанавливаются все необходимые компоненты. Ниже в таблице представлены несколько типов конфигураций, которые зависят от количества пользователей. Таблица 2. Минимальные характеристики сервера для Ideco UTM 9 в зависимости от количества пользователей в сетиКоличество пользователей2550–200200–50010002000Модель процессораIntel Pentium Gold G5400 или совместимыйIntel i3 8100 или совместимыйIntel i5, i7, Xeon E3 от 3 ГГц или совместимыйIntel Xeon E3, E5 или совместимыйIntel Xeon E5 или совместимый 8-ядерныйОбъём оперативной памяти4 ГБ (рекомендуется 8 ГБ)8 ГБ16 ГБ16 ГБ32 ГБДисковая подсистема64 ГБ64 ГБHDD 500 ГБ либо SSD 256 ГБ2x1000 ГБ, аппаратный RAID либо SSD 1 ТБ2x1000 ГБ, аппаратный RAID либо SSD 1 ТБСетевые адаптерыДва сетевых адаптера Преимущества Ideco UTM 9 перед конкурентамиIdeco UTM имеет немало особенностей и отличий. Как было сказано выше, это — программное решение, поддерживаемое всеми гипервизорами, без привязки к конкретным аппаратным платформам. Благодаря этому можно разворачивать продукт как на собственных мощностях, так и в облаке.Настройка шлюза упрощена за счёт большей автоматизации процесса. Рисунок 8. Настройка контроля приложений Время внедрения системы в организации минимизировано благодаря интеграции с Active Directory, SIEM, DLP-системами, а также предпродажной (presale) поддержке от производителя решения. Рисунок 9. Настройка интеграции с Active Directory Рисунок 10. Настройка отправки отчётов в SIEM Рисунок 11. Настройка интеграции Ideco UTM с сервисами ICAP (DLP, антивирусы и т. д.) В Ideco UTM есть все модули глубокого анализа трафика, как в классических UTM- / NGFW-решениях, что позволяет предотвращать многие атаки на корпоративные ресурсы компании-покупателя.Одна из концепций «Айдеко» — использование опенсорс-продуктов в совокупности со своими разработками. Компания не скрывает факта использования программ с открытым исходным кодом: ядра Linux, Suricata, Nginx, Squid и других. «Айдеко» дорабатывает их и делится этими доработками с сообществом. Собственные разработки «Айдеко» касаются создания правил для определения и предотвращения атак.Отметим усовершенствованную систему справки — рядом с каждым пунктом меню веб-интерфейса продукта есть иконка, нажав на которую администратор перейдёт к соответствующему пункту документации. Рисунок 12. Иконка вызова документации Рисунок 13. Переход в документацию Быстрые релизы и постоянное развитие продукта — принцип «agile» в действии. Также отдельного упоминания заслуживают мгновенные ответы техподдержки по различным каналам коммуникации.Давайте рассмотрим последние два принципа чуть подробнее.Концепция постоянных обновлений Ideco UTM 9Компания «Айдеко» уделяет огромное внимание управлению изменениями своего продукта. С момента выхода 9-й версии в конце 2020 года выпущено уже 8 релизов. Средний интервал между ними составляет около 2 недель.Обновления касаются не только исправления выявленных ошибок, но и улучшения используемых модулей (например, в редакции от 19 марта обновлён модуль системы предотвращения вторжений Suricata до версии 6.0.2), а также ввода новой функциональности (в релизе от 5 февраля добавлены новые возможности, касающиеся учёта и отчётов по веб-трафику).Таким образом, компания заботится о том, чтобы решение было удобно для организаций и действительно работало так, как это нужно пользователям.Принцип «всегда на связи»Забота о клиентах проявляется не только в том, что компания регулярно обновляет свой продукт, но и в том, что она обеспечивает его поддержку и собирает обратную связь для выявления потребностей используя абсолютно разные каналы связи. Это — классическая почта и портал технической поддержки, многоканальный телефон, телеграм-бот и канал в Telegram, чат в веб-интерфейсе самого продукта. Также в чат и в телеграм-бот оперативно приходит информация о наличии новой версии Ideco UTM.ВыводыIdeco UTM 9 — это постоянно развивающееся отечественное решение, включившее в себя не только функциональную часть как таковую, но и современный подход к разработке и сопровождению продукта. С одной стороны, это IPS, межсетевой экран, почтовый релей и т. д., а с другой стороны — постоянная обратная связь с производителем решения, регулярные релизы и обновления.С каждой версией производитель всё больше заботится об администраторах с базовыми знаниями сетевых технологий, упрощая процесс настройки шлюза безопасности, структурируя веб-интерфейс и принудительно заставляя уходить от «пустых» паролей и паролей «по умолчанию», что важно для бюджетных организаций и компаний с маленьким штатом ИТ-сотрудников. Читать далее
×