План тестов на 2009 года

[Сергей Ильин 1538]

Мы сейчас работаем на планом тестов на 2009 год и хотелось бы услышать ваши предложения.

1. Какие тесты обязательно должны быть и почему?
2. Какие очень было бы желательно провести и почему?
3. От каких тестов стоит отказаться (может и такое нужно) и почему?

Заранее спасибо за все ваши предложения, постараемся все учесть!

[Илья Рабинович 521]

Думаю, что обязательно нужны тесты на:

1. Динамическую защиту от 0-day.

2. Статические тесты эвристика и сигнатур.

3. Самозащита.

4. Контроль траффика напобие matousec.

5. Скорость/загрузка ресурсов системы.

И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

[Deja_Vu 366]

Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хорошо бы провести тест Проактивки на виртуалках и на реальных машинах, тех продуктов у кого эмулятор заявлен.

[vaber 350]

Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хде??

[Deja_Vu 366]

vaber

лень искть ссылки, кто нить из ЛК тут отпишется ... возможно я и ошибаюсь.. но вроде так оно и есть.

[sl1 15]

Хде??

http://www.anti-malware.ru/forum/index.php...ost&p=51196

[Umnik 997]

vaber

Ничего не придумал, это заявление разработчиков.

[vaber 350]

http://www.anti-malware.ru/forum/index.php...ost&p=51196

Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Ничего не придумал, это заявление разработчиков. smile.gif

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику

[Александр Шабанов 120]

И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Илья, дело в том, что любой вендор скажет, что их система только от непреднамеренных утечек, и не гарантирует защищу от сговора злоумышленников, в этом случае DLP-система будет работать только как архив для пост-анализа, поправьте меня, если я не прав. Поэтому результат такого теста скорее всего не будет иметь обратной связи, а только покажет, что действительно так как говорят вендоры.

Интересней на мой взгляд было попробовать самозащиту клиентских агентов, которые снимают теневые копии. Только не их деинсталляцию, так как это сразу вызовет кучу вопросов в корпоративной среде, а выведение их из строя, типа в случае чего - "чего-то ваша система сама по себе не пашет"

[Umnik 997]

vaber

Я это через "посредника" знаю От одного из тестеров, который, собственно, занимался этим плотно. На работу пойду в конце недели только, тогда у него и спрошу.

Может Гудилин может быстрее сказать?

[Kokunov Aleksey 20]

Все таки напомню про тестирование браузеров!

http://www.anti-malware.ru/forum/index.php...ic=4922&hl=

[Сергей Ильин 1538]

И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Есть такая идея, но тест реально сложный и потребует как минимум тесного сотрудничества с кем-то из крупных интеграторов (например, Крок или Лета). Есть уже у меня примерная методология даже, удалось даже обсудить ее с Ричем Могулом, когда он был в Москве.

Вообщем пока вот такой списочек получается амбициозный:

Тесты которые точно будут:

1. Динамический I

2. Лечение активного заражения IV

3. Самозащита III (может быть на Vista?)

4. Быстродействие II

5. Эвристика III

Под вопросом:

1. Тест на защиту от полиморфных вирусов II

2. Пакеры II

3. Тест фаерволов (новый тест).

4. Интерфейсы (новый тест)

Все таки напомню про тестирование браузеров!

Тест интересный, но мы его в план не будем включать по причине непрофильности, если только кто-то займется им из нашего компьюнити вне плана, мы поддержим.

[dr_dizel 385]

Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

[Deja_Vu 366]

Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику

Предлагаю просто проверить тестом

[Umnik 997]

Я бы хотел приблизить результаты некоторых тестов к повседневным результатам на ПК пользователя. Например, провести параллельно тесты проактивной защиты, тест на фолсы и тест на поддержку упаковщиков и дать не отдельные результаты, а общий. И, кроме тех результатов, что выкатит АМ в ходе совместных переговоров форумчан, дать заполненную форму в Экселе, чтобы пользователь сам мог поменять весы так, как для него важнее и тут же увидеть интересные лично ему результаты.

Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно. Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

[Илья Рабинович 521]

Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно.

Кстати, да. Полностью поддерживаю. Если зловред прошёл на уровень ядра, то защите каюк. Так что дебильный перехват ZwTerminateProcess/NtTerminateProcess не спасёт, вынесут всё нафиг через низкоуровневые менеджеры или прямой манипуляцией с системными списками.

Ну и завершение процесса защиты через Task Manager- это легитимное действие, если на уровень защиты это не влияет либо влияет только положительно в случае полностью автоматического принятия решений.

[Сергей Ильин 1538]

Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

Чтобы не создавать иллюзий, сразу скажу, что это нереально. Имеет смысл делать отдельно как разных платформах, сегодня тест самозащиты на XP, через пол года на Vista и т.п. Я против долгостроев и мегатестов в стиле "все в куче".

[dr_dizel 385]

Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что заявлено аверами то и тестировать. Адаптировать все тесты наши. Тот же KIS для XP x86 совсем не то же самое что для Vista x64.

[Umnik 997]

Сергей Ильин

СЗ на ХР и Висте сильно отличаются. СЗ на 32 и 64 сильно отличаются. СЗ на ХР 32 и Висте 64 ну оооочень сильно отличаются.

Т.е. даже не реальные 100% на ХР ничего не означают на Висте СП 1. Уж тем более СП 0.

[Сергей Ильин 1538]

Да, самозащиту на Windows Vista на делать, это факт, лучше даже на x64 стразу, эта платформа более прогрессивная.

Также я бы быстродействие сделал на Windows Vista в этот раз.

Может быть даже на активное тест стоит подумать под Windows Vista, если зловредов наберется.