Тест самозащиты антивирусов x64 (результаты)

[Сергей Ильин 1538]

о есть Вы уже не настаиваете, как раньше, на том, что всё должно делаться на настройках по умолчанию? Уже, оказывается, надо настроить продукт на минимальную защиту? А не рекомендованую изготовителем? Давайте разберемся с простым вопросом. Ручное добавление теста в доверенные, тогда как в реальной жизни при указанных настройках, он попадает в недоверенные, это нормально? Что конкретно проверялось? Я уже спрашивал, проверялся функционал продукта, или конкретные настройки, в том числе внесенные тестером в политику безопасности.

Вы думаете с настройками по умолчанию все продукты молчаливые и ничего не спрашивают?

[A. 876]

Пользователи прекрасно ставят программы, так же как и пользователи других вендоров. В режиме по умолчанию - по списку доверенных поставщиков, например.

...

тогда как в реальной жизни при указанных настройках, он попадает в недоверенные, это нормально?

Да глупости говорите. И вот почему - представьте, что завтра Anti-Malware.ru получит цифровую подпись (у того же комодовского CA например, для смеха) и подпишет тестовые утилиты ей. Я так понимаю, что это обеспечит попадание в список доверенных поставщиков - и запуск утилит без всяких песочниц. С результатом - описанном в результатах теста (каламбур). Тогда у вас какие контр-аргументы будут ?

P.S. И на вопрос ответьте все-таки, пожалуйста - "Означает ли это что данная антивирусная программа неуязвима для типов атак, использованных в тестах ?"

[ntoskrnl 155]

А где было написано что это был тест HIPSов или песочниц ? Их тестируют в другом тесте и по другой методике, в разделе "тесты" найдете.

Ну если придираться к словам, тогда нужно начать с того, что в тесте вообще только два антивируса, Эмси и MSE. Всё остальное - комплексы, с теми или иными прибамбасами. К тому же я уже писал, у Комодо вообще нет понятия "самозащита", ему этот анахронизм не нужен, он любое приложение в системе, в том числе и свои, может защищать одинаково, если это будет необходимо.

Да глупости говорите. И вот почему - представьте, что завтра Anti-Malware.ru получит цифровую подпись (у того же комодовского CA например, для смеха) и подпишет тестовые утилиты ей. Я так понимаю, что это обеспечит попадание в список доверенных поставщиков - и запуск утилит без всяких песочниц. С результатом - описанном в результатах теста (каламбур). Тогда у вас какие контр-аргументы будут ?

Получить подпись ещё не значит попасть в список доверенных вендоров. Если Вам не знаком продукт, то ознакомьтесь с ним, прежде чем писать глупости. Такие вот будут контраргументы. Будет Anti-Malware.ru в комодовском TVL, будет тема для обсуждения. На данный момент имеем простую ситуацию, тестовые тулзы Комодо неизвестны, он их трактует соответствующим образом - запрещает им выполнение опасных действий. Тестера это не устраивает, и он заносит в доверенные, разрешая тем самым выполнение этих действий. А потом заявляет о "непрохождении".

P.S. И на вопрос ответьте все-таки, пожалуйста - "Означает ли это что данная антивирусная программа неуязвима для типов атак, использованных в тестах ?"

Я не вижу смысла рассматривать здесь сигнатурный вопрос. Понимаю, что Вам он ближе, но тем не менее, не надо уводить разговор в сторону. Когда некий вендор не может защититься от некой угрозы и начинает её детектить, это одно, когда может в полном объёме, но по каким-то своим соображениям настраивает режим по умолчанию так, что указанные, как "непройденные", тесты всё равно не работают это другое. А вот когда тестер по каким-то соображениям, видя, что на настройках по умолчанию, продукт проходит все тесты, начинает что-то перенастраивать и добавлять тесты к довереным, хотя методологией это не предусмотрено, вот это уже третье.

-------------------------

Вы думаете с настройками по умолчанию все продукты молчаливые и ничего не спрашивают?

Это здесь при чём? Я просил ответить на простой вопрос, могу переформулировать. Что Вы считаете приритетным, придерживаться правила настроек по умолчанию (как у 90% юзеров) или выполнять тесты "как удобно"?

[Сергей Ильин 1538]

Я просил ответить на простой вопрос, могу переформулировать. Что Вы считаете приритетным, придерживаться правила настроек по умолчанию (как у 90% юзеров) или выполнять тесты "как удобно"?

Мне кажется я уже несколько раз на это ответил - мы стараемся проводить тесты с настройками по умолчанию, при условии, что цель тестов не носит чисто исследовательского характера.

ntoskrnl, давайте ближе к делу. Вы что конкретно хотите, чтобы мы прогнали Комода с какими-то другими настройками или что-то перепроверили? В чем истинный смысл этого длительного копания в методологиях всех тестов подряд без разбору и поисках каких-то глубинных причин?

[ntoskrnl 155]

ntoskrnl, давайте ближе к делу. Вы что конкретно хотите, чтобы мы прогнали Комода с какими-то другими настройками или что-то перепроверили? В чем истинный смысл этого длительного копания в методологиях всех тестов подряд без разбору и поисках каких-то глубинных причин?

Я хочу чистоты эксперимента. Решили тестировать на дефолтах? Тестируйте на дефолтах. Начали принимать решения за систему безопасности? Берите этот груз целиком и настраивайте их все так,чтобы были видны границы применимости. Или, по крайней мере, отражайте этот факт в результатах. Это так, в качестве пожелания на будущее. Для меня лично ничего перепроверять не нужно, я и так знаю возможности многих участников теста. А вот что Вы хотите донести до своих читателей - Вам решать.

[Сергей Ильин 1538]

Я хочу чистоты эксперимента. Решили тестировать на дефолтах? Тестируйте на дефолтах. Начали принимать решения за систему безопасности?

Как я писал, мы тестим на деволтовых, но если нужно взаимодействовать с тестируемым ПО, то в этом случае всегда стараемся включать наихудший вариант (проверка "на дурака"). Я согласен, что на счет Комодо нужно сделать комментарий в результатах теста. Давайте решим точно по формулировке и сделаем, я не против.

[Mr. Justice 771]

Я вот как понимаю проблему, которая здесь обсуждается.

Тест самозащиты - это некая абстракция. Как известно, абстрагирование представляет собой один из универсальных научных методов исследования бытия. Абстрагирование предполагает, что исследователь сосредотачивается на изучении какого-либо одного или нескольких свойств предмета или явления и для этого абстрагируется (отвлекается) от исследования иных его свойств.

Методология данного тестирования предполагает, что мы сосредотачиваемся на исследовании одного из свойств продукта защиты, а именно на возможности самозащиты, абстрагируясь, при этом, от иных возможностей исследуемых продуктов. То есть в данном исследовании не ставится задача исследовать эвристику, эмуляцию, возможности поведенческого анализа, возможности присвоения подозрительному объекту статуса недоверенного и т.д.

Естественно, возможность присвоения объекту статуса неодовернного позволяет существенно усилить самозащиту продукта, но если мы решили учитывать данную возможность, то будет справедливо учесть и иные возможности продуктов (эвристику, эмуляцию, поведенческий анализ и т.д.).

В реальных боевых условиях защита продукта от несанкционированной нейтрализации (деактивации, удаления, блокирования) обеспечивается не только возможностями самозащиты в чистом виде, но и с помощью эвристических, эмуляционных механизмов, поведенческого анализа и т.д. Иными словами, вредоносный объект, который предназначен для нейтрализации защитного ПО, может быть уничтожен или заблокирован с помощью дополнительных механизмов (эвристика и т.д.) еще до того как он предпримет попытку нетрализации продукта защиты.

Но, следует еще раз напомнить, что данное тестирование не предполагает комплексного исследования всех возможностей, которые могут прямо или косвенно повлиять на возможности самозащиты. В данном тестировании изучается исключительно возможности самозащиты в чистом виде без примесей в виде эвристики, поведенческого анализа, присвоение подозрительному продукту статуса недоверенного и т.д. То есть в данном тесте моделируется ситуация, когда вредонос пробил все дополнительные защитные механизмы и столкнулся непосредственно с самозащитой продукта.

Все изложенное выше - мое субъективное мнение. Если я не прав, компетентные люди надеюсь поправят меня.

Как я писал, мы тестим на деволтовых, но если нужно взаимодействовать с тестируемым ПО, то в этом случае всегда стараемся включать наихудший вариант (проверка "на дурака"). Я согласен, что на счет Комодо нужно сделать комментарий в результатах теста. Давайте решим точно по формулировке и сделаем, я не против.

Наверное нужно так и сделать, тогда будут все довольны: и пользователи Комодо их оппоненты и спорить будет не о чем.

[ak_ 395]

В реальных боевых условиях защита продукта от несанкционированной нейтрализации (деактивации, удаления, блокирования) обеспечивается не только возможностями самозащиты в чистом виде, но и с помощью эвристических, эмуляционных механизмов, поведенческого анализа и т.д.

Совершенно верно. Вот тут то и возникает вопрос: какую практическую ценность представляет из себя данный синтетический тест?

[Mr. Justice 771]

Совершенно верно. Вот тут то и возникает вопрос: какую практическую ценность представляет из себя данный синтетический тест?

Я добавил в предыдущи пост еще один фрагмент (до того как вы опубликовали свое сообщение):

в данном тесте моделируется ситуация, когда вредонос пробил все дополнительные защитные механизмы и столкнулся непосредственно с самозащитой продукта.

[ntoskrnl 155]

Как я писал, мы тестим на деволтовых, но если нужно взаимодействовать с тестируемым ПО, то в этом случае всегда стараемся включать наихудший вариант (проверка "на дурака"). Я согласен, что на счет Комодо нужно сделать комментарий в результатах теста. Давайте решим точно по формулировке и сделаем, я не против.

Я писал выше, что в данном (и не только) случае дело вовсе не в Комодо. Просто он очень сильно выбивается из общего ряда, в нём всё "наоборот", даже на дефолтных настройках, ну и, плюс к этому, лично мне достаточно посмотреть на результаты теста, чтобы сказать, как он был настроен. Тут дело в том, что продукты демонстрируют большое разнообразие в методах и ещё большее - в настройках по умолчанию. Скажем, почему на настройках по умолчанию в Комодо не вкючена блокировка хуков "на себя"? А кто её знает. Так посчитал правильным разработчик. Скажем, не захотели разводить панику среди пользователей по поводу постоянно "туда долбящейся" dwmapi. (Помните недавний "шухер" с "установкой хуков и перехватчиков" в каспере?) Они придерживаются простой логики, чистая система навредить не может, чтобы заразить систему малвари нужно преодолеть другие рубежи, а ограничивать пользователя в свободе действий негоже. Это кстати, частый ответ на комодовском форуме, CIS - не нянька для пользователя, а нянька для программ. Не нравится нам такое положение вещей? Берём и перенастраиваем, минутное дело. Но, ладно, это всё лирика. Хотите ИМХО идеального теста? Легко! Публикуйте ДВА варианта. Вариант настроек по умолчанию и, в соседней колонке, вариант с максимальной защитой. А уж если добавить столбец "рекомендация портала", типа "изменить настройки по умолчанию", "нажать галку такую-то" (ну это когда целый трактат писать не нужно), "выбросить в окно", "сделать ничего нельзя" и т.п., то для конечного пользователя, которого безопасность волнует, а соответствующих знаний по понятным причинам нет, такой тест будет на вес золота. Да, разумеется, это потребует дополнительного времени, но на результаты будут сбегаться посмотреть как на "падающий с дерева лист" И сразу будет видно, какой продукт чего стоит. А что делать сейчас с результатами - непонятно. Как специалист, я могу только пожать плечами, а как "домохозяйка" (естественно, я не имею в виду тех, кто тусуется на том сайте..., как Вы его назвали, не помню, а тех, кто в принципе про данный портал слышал) - только покрыться холодным потом...

[Killer 55]

Я согласен, что на счет Комодо нужно сделать комментарий в результатах теста.

Когда ждать комменет?

[Zhenya 0]

а когда будут тесты (Комплексные системы защиты)Norton 360 5 и Kaspersky Crystal и.т.д.??

[sbelow 120]

а когда будут тесты (Комплексные системы защиты)Norton 360 5 и Kaspersky Crystal и.т.д.??

для чего? что тестировать то? Функции резервного копирования и восстановления данных?

[Zhenya 0]

для чего? что тестировать то? Функции резервного копирования и восстановления данных?

не ненужна резерв но копирование, мне надо фаервол и антивирусную защиту, тут новый сонар интересно как он сейчас ловит

[sbelow 120]

не ненужна резерв но копирование, мне надо фаервол и антивирусную защиту

читаем, сравниваем, вникаем!

Kaspersky CRYSTAL

Norton 360™

про якобы "новый" сонар промолчу, т.к. впервые слышу (не интересно)

[Umnik 997]

Эти продукты протестированы давно в рамках тестирования обычных AV и IS

[Сергей Ильин 1538]

а когда будут тесты (Комплексные системы защиты)Norton 360 5 и Kaspersky Crystal и.т.д.??

Поддержу мнение коллег, что тестировать их отдельно нет смысла. Там должны быть такие же результаты касаемо самозащиты их основных функций. Если мы обнаружим, что в них в качестве отличий можно убить бекапирование или какую-нибудь вирт. клавиатуру, то это вам что-то даст?

[Danilka 678]

Поддержу мнение коллег, что тестировать их отдельно нет смысла. Там должны быть такие же результаты касаемо самозащиты их основных функций. Если мы обнаружим, что в них в качестве отличий можно убить бекапирование или какую-нибудь вирт. клавиатуру, то это вам что-то даст?

Ну возможно можно обнаружить баги.

[Kopeicev 94]

Перепроверили Комодо, первоначальные результаты подтвердились.

[RomaNNN 5]

Здравствуйте. Можно поинтересоваться, на каком тесте провалился DrWeb?

[Сергей Ильин 1538]

Здравствуйте. Можно поинтересоваться, на каком тесте провалился DrWeb?

RomaNNN, все данные опубликованы. Посмотрите подробный отчет (ссылка на файл Excel дана в отчете)

http://www.anti-malware.ru/files/self-prot...x64_results.xls

[mais 10]

Здравствуйте. Можно поинтересоваться, на каком тесте провалился DrWeb?

GUI вылетел - ничего страшного

[KIS_fan 17]

GUI вылетел - ничего страшного

Ага, аж четыре раза...

[MKE 10]

Ага, аж четыре раза...

Я смотрю, вы когда комп врубаете, то сразу открываете окно KIS и не закрываете его, пока не выключите комп

[KIS_fan 17]

Я смотрю, вы когда комп врубаете, то сразу открываете окно KIS и не закрываете его, пока не выключите комп

неа не угадал... а это тут причём ?