Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Илья Рабинович 521]

а AR обновляет себя то я его естественно переношу (опять же "обучаю") в доверенные.

Вы для начала поставьте программу и посмотрите, как она работает, а то "мне Рабинович напел". Не надо ничего никуда переносить, AR будет работать согласно правилам для документов, которые пользователь запускает в системе. Если pdf файл пришёл их недоверенного источника (Интернет), то запустится как недоверенный. По умолчанию же AR доверенный.

Если же нужно обновить недоверенное приложение, автоапдейтер которого находится внутри (например, FireFox), нужно просто запустить процесс как доверенный, обновить программу и закрыть процесс. Ничего никуда "переносить" не нужно, всё просто и быстро.

[Илья Рабинович 521]

Здесь должны сделать очередной ход тестовые лаборатории, чтобы показать недостатки технологий, которые существуют и в DefenseWall. Но пока что таких возможностей у тестовых лабораторий нет, они не доросли до того, чтобы показать пользователям эти недостатки.

Это было бы просто замечательно, я всеми лапами "за", но, при всех плюсах для пользователей, такое тестирование несёт много подводных камней в виде значительного удорожания тестового процесса для тестировщиков, ибо под каждый продукт нужно будет искать именно ему присущие уязвимости.

Либо же делать некий набор тестов, имитирующий методы работы зловредного ПО по различным векторам атаки (aka Matousec), но тогда вендоры, которые делают упор на чёрносписочных HIPS-ках (Sonar, например) будут орать на всех углах "это неправильный тест (читай- мы набрали слишком мало баллов), поскольку тестировались ненастоящие зловреды. А вот были бы настоящие- уж мы бы тут!".

Так что не всё так безоблачно.

[Valery Ledovskoy 1082]

Илья Рабинович, как я Вас понимаю

Только вот тестировщики не хотят признавать недостатков своих тестирований, упирая на слова "инновационные" и тому подобные, которые, вроде бы, должны сгладить неточности и ошибки. Не хотят говорить, что у них нет средств для проведения более интересных тестирований.

Но при этом они же говорят, что результаты вполне подходят для широкой публики (которая и не слышала никогда о тех "высоких материях", о которых мы здесь говорим).

С одной стороны, никакой тест не может быть всеобъемлющим (это всем понятно), с другой стороны, никогда не будет устраивать всех вендоров (тоже понятно), в третьих, не отвечает на вопрос "а что лучше, Dr.Web или Касперский"? (а именно это хотят узнать пользователи из тестирований, чтобы не включать голову).

Многие пользователи называют эти тестирования "рейтингами", считая, что-таки по ним можно выбрать антивирусный продукт. Нет, не подходят они для этого. Далеки ещё.

Только что отвечал пользователю на вполне адекватный запрос о том, почему так расходятся "рейтинги" Anti-Malware и другой лаборатории.

[kvit 85]

Вы для начала поставьте программу и посмотрите, как она работает, а то "мне Рабинович напел".

я для начала хотел понять основные принципы, а напел мне сайт, из того что там есть я и делал соответствующие умозаключения.

ссылки из раздела Независимые обзор и тесты DefenseWall HIPS кстати поправьте

_ttp://www.neatnettricks.com/SoftwareReviews/review_DefenseWall.htm

_ttp://www.techsupportalert.com/security_HIPS.htm

[Сергей Ильин 1538]

Бестолковый абсолютно разговор идет. Проигравшие всегда будут наезжать на тестеровщиков. Я еще удивлен, что никто не написал про проплаченность теста, хоть в этом есть прогресс! Предлагаю завершить бесполезную дискуссию.

Кто хочет улучшать тест - милости просим. Не пропустите следующую итерацию. А то ведь пилотные такой тест был до этого уже ...

[Илья Рабинович 521]

kvit, спасибо, забыл их удалить за предметом мёртвости. Сейчас сделаю.

[Valery Ledovskoy 1082]

Сергей Ильин, в чём же бестолковость разговора? Идут вполне конструктивные предложения, возможности для будущих тестирований, чтобы они больше соответствовали реалиям, чтобы продукты не получали 100% и не вводили в заблуждение пользователей, ибо говорилось много, что нет идеальной защиты, ни по одному из тестируемых параметров, кстати. Возможно, для Вас это - бестолковое сотрясение воздуха. Но прислушайтесь хотя бы ко мнению автора продукта, который у Вас только что получил 100%, к его пожеланиям. Или другие тестовые лаборатории, имеющие ресурсы для того, чтобы это реализовать, выйдут вперёд. Для меня же, если тест показывает у кого-то абсолютный результат, означает, в первую очередь, то, что авторы тестирования не до конца раскрыли тему.

То же касается, кстати, и тестов на активное заражение.

Если продукт умеет противодействовать 100% существующих руткитов, то это совсем не означает, что технологии этого продукта, которые работают в этом направлении, не содержат в себе недостатков. Новые руткит-технологии это подтверждают. Вендоры соответствующие технологии постоянно дорабатывают.

Чтобы пояснить, что я хотел сказать этим сообщением, добавлю. Тесты не могут (и не скоро смогут) помочь пользователям выбрать продукт. Если вендоры используют их результаты для того, чтобы переманить к себе пользователей, это чистый маркетинг.

Но тесты вполне могут сегодня помочь вендорам получить информацию о недостатках технологий, помочь сделать эти технологии более эффективными. Поэтому если продукт в тесте получил 100% или около того, это плохой тест, он ничем не помог разработчику такого продукта. Он помог маркетологам. Но это совсем другое.

Тестирование любой технологии во все времена служило целью, в первую очередь, выявить недостатки, а не раздать медальки и показать их СМИ.

[Виталий Я. 859]

Виталий, вы можете ёрничать сколько угодно, из 36 реально вредоносных линков вы защитились только в 11 случаях.

Напишите в документации тогда, что какое-то время Ваш продукт не будет защищать или не берите денег на срок "обучения" своего продукта.

И еще добавьте сноску *Производитель не рекомендует работать с настройками по умолчанию, а как настроить думайте сами.

Господа Шабановы, вы окно установки Outpost Security Suite вообще когда-нибудь видели за его 3 года на рынке? Рекомендованным является повышенный режим безопасности. Но по умолчанию (для ленивых) ставится в упрощенном режиме, где ваши хваленые 11/36 и получаются. Срок самообучения продукта существенно меньше триального. После чего продукт переходит в режим обучения.

PS: Пользователь-"домохозяйка" не обязан быть таким, каким вы его видите. Особенно при постановке вопроса "А давайте сразу после установки полезем на 36 вредоносных сайтов подряд".

[Deja_Vu 366]

Рекомендованным является повышенный режим безопасности. Но по умолчанию (для ленивых) ставится в упрощенном режиме, где ваши хваленые 11/36 и получаются.

Витайлий Я.

Очень уважаю ваши продукты - ну очень. Возможно я ужасный пользователь. Да я вообще ленивый, люблю поставить и забыть. Не хочу часами убивать на настройки(поэтому я ненавижу миранду и выбираю qip).

И вот о том что Рекомендованным является повышенный режим, а по умолчанию, для ленивых, узнал от вас, только сейчас

p.s.

Многие мои собратья по различным форумам, наверняка до сих пор не знают.

[Сергей Ильин 1538]

Сергей Ильин, в чём же бестолковость разговора? Идут вполне конструктивные предложения, возможности для будущих тестирований, чтобы они больше соответствовали реалиям, чтобы продукты не получали 100% и не вводили в заблуждение пользователей, ибо говорилось много, что нет идеальной защиты, ни по одному из тестируемых параметров, кстати.

Может я что-то пропустил, но констукривных предложений я от вас не видел. Нужно конкретика "как сделать". Рассуждений и теории в этой ветке уже было предостаточно ... Почему так 100% смущает? 98% бы не смущало? Я бы предостерег смотреть на тест в таком ключе, тут важен не результат в % до сотой доли после запятой, а отностельное положение в итоговой таблице.

Так получилось, что DefenseWall смог защитить от 100%. Могло бы быть 95% или 98%. Какая разница? Что это меняет?

Илья хорошо поработал, вирмейкеры сильно не парились, может где-то повезло немного. Всегда и везде есть своя точность и погрешность измерения, это нормально.

Рекомендованным является повышенный режим безопасности. Но по умолчанию (для ленивых) ставится в упрощенном режиме

Вы хоть понимаете обсурдность этой фразы? Рекомендуете одно, а "галочки ставите другие". Хотите и рыбку съесть и на лодочке покататься? Вот поэтому ваши продукты так и остаются нишевыми, массовыми им в таком виде не быть, увы, вы напрягаете пользователя уже с самого начала.

[Виталий Я. 859]

Сергей Ильин

Человек, который упорно называет сигнатурный эвристик "антивирусной проактивной защитой", вряд ли способен оценивать качество работы HIPS без суфлеров.

Если технологический акцент в продукте не на "тупых и ленивых", это не значит, что им будут пользоваться в большинстве своем бездумные пользователи.

[Александр Шабанов 120]

Господа Шабановы, вы окно установки Outpost Security Suite вообще когда-нибудь видели за его 3 года на рынке? Рекомендованным является повышенный режим безопасности. Но по умолчанию (для ленивых) ставится в упрощенном режиме, где ваши хваленые 11/36 и получаются. Срок самообучения продукта существенно меньше триального. После чего продукт переходит в режим обучения.

Виталий, Вы согласны, что ваш продукт защитил только 11/36 с настройками по-умолчанию?

Если так, то Вы намеряно (осознанно) оставляете вашего пользователя незащищенным, так как выставляете их вы как производитель.

Сергей Ильин

Человек, который упорно называет сигнатурный эвристик "антивирусной проактивной защитой", вряд ли способен оценивать качество работы HIPS без суфлеров.

Смешно от Вас такое слышать, как это относиться к теме топика? Зачем же на личности переходить, особенно, если Вы против "вопиющей чернухи" (с)

[Deja_Vu 366]

Предлагаю исключить Dr.Web из тестирование.

или хотя бы проводить скрытое его тестирование, для внутреннего пользования участниками портала.

[Мальцев Тимофей 74]

Господа, перестаньте горячиться. Берите пример с Ильи Рабиновича.

Предлагаю исключить Dr.Web из тестирование.

Что-то изменилось?

[Deja_Vu 366]

Что-то изменилось?

Результаты многих тестов полььзователями понимаются не верно, в силу их не информированности в данном вопросе.

Так что все тесты, сейчас используются для маркетинга.

Компания решила выйти из данной борьбы повсеместно, соответственно, предлагаю не продолжать войну... а уважить политику компании, но тесты проводить для внутреннего пользования, т.к. тут собрались люди, более или менее осмысливающие результат.

[kvit 85]

Предлагаю исключить Dr.Web из тестирование.

или хотя бы проводить скрытое его тестирование, для внутреннего пользования участниками портала.

я против... мне как пользователю эти тесты интересны, хотя я конечно понимаю что некоторые тесты могут играть отрицательно на имидж компании...

[zzkk 130]

Господа эксперты. Сегодня по телеку показывали "НТВ: Цены. История всероссийского обмана". Ваш стиль общения весьма схож с оным у участников упомянутой передачи, а значит это хорошая для Вас возможность... попасть в телевизор... или просто посмотреть на себя со стороны.

1. Не вижу препятствия для того, чтобы подготовить к тесту две виртуальных машины с разными настройками: по-умолчанию и максимальными (времени было достаточно, чтобы здесь же консультироваться с вендорами по поводу "спорных моментов"). Все были бы довольны.

2. Не вижу смысла даже предлагать исключать DrWeb из тестов - нужно просто это сделать, ибо этого требуют (а именно: уважения) созданные Вами же правила форума (молчу об элементарной человеческой порядочности).

3. Вопрос: почему отчет о результатах представлен в таком виде (например, обрезаны ссылки), что его нельзя повторить любому желающему (хотя бы по урезанному сценарию)? Раз вся нагрузка приходилась на хипсы, то весьма любопытно было бы провести собственный тест предложенного malware, представленного Вами в виде отдельных страниц (точных копий оригиналов) в специальном разделе Вашего сайта.

P. S. Моя просьба о внесении ясности (про настройки по-умолчанию) в название теста осталась незамеченной?

[Deja_Vu 366]

3. Вопрос: почему отчет о результатах представлен в таком виде (например, обрезаны ссылки), что его нельзя повторить любому желающему (хотя бы по урезанному сценарию)? Раз вся нагрузка приходилась на хипсы, то весьма любопытно было бы провести собственный тест предложенного malware, представленного Вами в виде отдельных страниц (точных копий оригиналов) в специальном разделе Вашего сайта.

Ссылки устаревают в течении нескольких дней, иногда и часов. Так что они вам ничего не дадут.

Вся нагрузка не приходилось на хипсы, достаточно взглянуть на ТрендМикро, Авиру и Аваст. /У них нету хипсов.

[UIT 103]

2. Не вижу смысла даже предлагать исключать DrWeb из тестов - нужно просто это сделать, ибо этого требуют (а именно: уважения) созданные Вами же правила форума (молчу об элементарной человеческой порядочности).

Зачем это Вам?

[Valery Ledovskoy 1082]

Может я что-то пропустил, но констукривных предложений я от вас не видел. Нужно конкретика "как сделать".

Товарищ первый нам сказал, что вы уймитесь,

Что — не буяньте, говорит, что — разойдитесь.

Ну, на "разойтись" я, кстати, тут же согласился —

И разошёлся, то есть расходился!

Почему-то мне часто эти строки из Высоцкого в голову возвращаются, когда на АМ

Да, пропустили. Например, я говорил, как можно определить довольно точно дату начала распространения новых сэмплов.

Во-вторых, я предложил при тестировании HIPS создавать и тестировать не на уровне сэмплов, а на уровне создания собственных концептов, как это делают уже другие тестовые лаборатории. Тогда это будет действительно комплексное тестирование HIPS.

Понятное дело, что на основном потоке сэмплов (которые берут количеством упаковщиков и незначительной модификацией кода) HIPS будут вести себя всё более эффективно, и скоро будет больше продуктов, которые будут получать 100%, как Defense Wall. Ранжировать будет сложнее.

В лечении активного заражения пока что полегче. До сих пор есть продукты, которые единственные спасают от определённых угроз Но эта ситуация тоже может быть не вечной.

[Виталий Я. 859]

Виталий, Вы согласны, что ваш продукт защитил только 11/36 с настройками по-умолчанию?

Если так, то Вы намеряно (осознанно) оставляете вашего пользователя незащищенным, так как выставляете их вы как производитель.

Что в данном тесте "намеряно" и осознано ли это создателями портала, уже понятно. Не проигрыш волнует, а трактовка - проиграли не технологии, а концепты. Вы, товарищи, как "сумоисты", просто выталкиваете чуждые вам концепты за пределы рыночного татами.

Александр и Илья Шабановы, повторю вопрос: Вы интерфейс установки OSSP видели? Продукт использовали? Так вот: OSSP - сложный продукт. В нем многовато функционала для не самого продвинутого пользователя, и ему нужно облегчить жизнь. Это делается в рамках парадигмы автообучения фаервола и HIPS на работу без вопросов. Доступ к критическим локациям блокируется, самозащита продукта включена. В то время как задетектировавший заражение антивирусный продукт будет "вынесен", OSSP позволит "выковырять" лишний процесс с помощью real-time мониторов антивируса и HIPS. Да, это не для домохозяек.

Вам вряд ли незнакома парадигма "Уровень защиты - на выбор пользователя" - как минимум по продуктам ЛК. Не привыкли к ней? Не верю. Агнитум, в отличие от ЛК, все еще не выпускает продуктов для явных домохозяек (KIS, в отличие от KAV, тоже не для них) - в любом из них требуется покопаться. По умолчанию ставится более легкий режим защиты, но рекомендуется "пристегивать ремни", т.к. "на поворотах заносит". Когда разберетесь в продукте, пишите.

Смешно от Вас такое слышать, как это относиться к теме топика? Зачем же на личности переходить, особенно, если Вы против "вопиющей чернухи" (с)

Первая претензия: фактические ошибки из уст профессионала, который "полностью разобрался в тесте".

А теперь конкретика. Ну нет HIPS в Dr.Web и других проваливших тест продуктах. Нет также репутационных облачных технологий, например, для оценки репутации для файлов, веб-сайтов, email сообщений.

Где в Dr. Web, AVG 8.5, Eset Smart Security, Avira и Avast! HIPS? Где в Avast, Eset, AVG (не проваливших тест) "облачные технологии" (кроме LinkScanner для веб-сайтов)? Что тестировали в итоге профессионалы в HIPS и вирусной аналитике. по мнению администраторов?

Далее, Илья Шабанов неоднократно неуважительно отзывался о продуктах, которые не вписываются в его представление о качестве. В качестве таковых мы по-прежнему видим технологических конкурентов лидеров продаж российского рынка, к продуктам которых он плохо скрывает антипатию. Этот подход нужно искоренять, в чем и состоит вторая претензия при "переходе на личности".

Это не "проигравшие тест" (1-2-3 теста), это "лузеры рынка", по мнению господина Шабанова, MS MVP, ставящего всякий раз отсутствие конкретных технологий во главу маркетингового угла, а небольшие доходы (или темпы их роста) - во главу фактора технологического развития. Спасибо за уважение, г-н Шабанов. "Лузеры" еще "обязательно сдуются" и без ваших оценочных суждений, которые Вы выносите в каждую ветку форума, а пока им просто не очень нравится с Вами работать, как Eset и Dr. Web.

Позиционирование себя как профессионалов в анализе технических и маркетинговых критериев работы защитных продуктов не дает право на махровую подмену понятий при оглавлении тестов, публикации и трактовке отчетов о них, что не имеет ничего общего с проведением и итогами конкретного теста, сделанного профессиональными людьми в рамках навязанного им (и частично ими) концепта. При всем уважении к вашему бескорыстному труду.

PS: Полезным для всех категорий пользователей было бы сравнение уровня защиты в умолчальных и рекомендованных повышенных настройках (такие настройки есть в интерфейсе, как у KIS и OSSP или в Reviewer's Guide, как у NIS и др.). Тогда стало бы ясно: продвинутый - ставь Outpost, простой как губка - не ставь пока, не совсем для тебя.

[zzkk 130]

Ссылки устаревают в течении нескольких дней, иногда и часов. Так что они вам ничего не дадут.

Вся нагрузка не приходилось на хипсы, достаточно взглянуть на ТрендМикро, Авиру и Аваст. /У них нету хипсов.

Ок, раз так.

Посетила еще одна идея. Раз заражение (в этом тесте) происходит с веб-страниц, значит авторами malware используются какие-то конкретные уязвимости веб-технологий. Если я прав, то нельзя ли к голым цифрам добавить анализ самих угроз и анализ методов по борьбе с конкретными выявленными угрозами.

Мысли о... превосходстве защищенности одного браузера над другим, о том, что можно блокировать в системе activx'ы, java-скрипты и пр....

Ведь в итоге же мы хотим защитить свою машину, так или иначе.

Понимаю, что это уже большее широкая тема, но она ж несет в себе огромную пользу для конечного пользователя.

Зачем это Вам?

Затем же, зачем подбирают чужой бумажник в автобусе и отдают его тому, кто его уронил - во-первых, это по-человечески, во-вторых, никто из пассажиров не будет больше наступать на него, нервно поглядывать, пытаться воспользоваться в личных целях... (всем станет спокойнее)

[xyz 45]

Мысли о... превосходстве защищенности одного браузера над другим, о том, что можно блокировать в системе activx'ы, java-скрипты и пр....

Ведь в итоге же мы хотим защитить свою машину, так или иначе.

Понимаю, что это уже большее широкая тема, но она ж несет в себе огромную пользу для конечного пользователя.

Вот здесь

http://www.anti-malware.ru/forum/index.php...ost&p=78848

такое предлагалось.

Боюсь только, что такой эксперимент выходит за рамки интересов этого портала.

Здесь все же обсуждается не то, как лучше пользователю защитить компьютер, а то,какой антивирус лучше купить для защиты компьютера.

Почувствуйте разницу

[A. 876]

Во-вторых, я предложил при тестировании HIPS создавать и тестировать не на уровне сэмплов, а на уровне создания собственных концептов, как это делают уже другие тестовые лаборатории.

А ????

Вы же первые начнете кричать, что это "исскуственный тест", несуществующие угрозы, и никакого отношения к тому как вы "реально" защищаете - он не имеет.

[Valery Ledovskoy 1082]

Александр, не надо путать т.н. "реакцию вендоров" (маркетинговая составляющая) на что-то (да, она всегда бывает и будет бывать, и понятно, зачем) и реакцию разработчиков на качественно новую техническую информацию, которая может помочь при доработке продуктов. Это весьма разные сущности. И в ЛК они тоже разные

Если Вы почитаете наш форум, блоги, а сейчас и ещё и подкасты, которые делаются наиболее активными разработчиками, то увидите, например, что к существованию известного концепта, который работает против самозащиты Dr.Web, разработчики относятся лишь как очередной проблеме, которую можно решить. И, решив эту проблему, сделать продукт ещё лучше. Также, как и к TDL3. Так же, как и к необходимости создания новых компонентов и интеграцию их в продукт. Точно так же и по другим тестам, которые предоставляют действительно важную информацию. Где, как не в тестах, продукты могут подвергаться стрессовым и неадекватным нагрузкам? Откуда ещё такую информацию получать? Ведь "лицом к лицу лица не увидать", как тут говорилось.

В общем, не нужно строить планы тестирований от предполагаемой "реакции вендоров". Хотя Илье это будет понять сложно, он обычно от реакции в СМИ и пляшет.

Вот последний тест АМ показал, что HIPS действительно может пригодиться. Это стало многим очевидно. Наши разработчики увидели, что и без HIPS при тестировании HIPS Dr.Web может взять 30% откуда-то. И посчитали, что это неплохой результат, кстати. Т.е. тест может предоставить полезную информацию разработчикам. Они понимают, что показывает тест. Делают выводы. Но Илья позиционирует в СМИ этот тест как общую споснобность противодействия антивирусов текущим угрозам. Потому что публике нужно _это_, а не непонятное слово HIPS в заголовке, не необходимость объяснять, что это не все технологии, которые есть в антивирусах в наличии "от" и пр. И меня вот эта черта портала АМ не сильно воодушевляет. Насколько вижу, не только меня.

P.S. А вот представляете, если бы возможность создания TDL3 была предсказана в прошлом тесте на активное заражение, и вендоры начали бы активно готовиться к возможности существования подобной угрозы уже тогда? Фантастика.... ("А ты предложи, как, а докажи, зачем...").