План тестов на 2009 года - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

План тестов на 2009 года

Recommended Posts

Сергей Ильин

Мы сейчас работаем на планом тестов на 2009 год и хотелось бы услышать ваши предложения.

  1. Какие тесты обязательно должны быть и почему?
  2. Какие очень было бы желательно провести и почему?
  3. От каких тестов стоит отказаться (может и такое нужно) и почему?

Заранее спасибо за все ваши предложения, постараемся все учесть!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Думаю, что обязательно нужны тесты на:

1. Динамическую защиту от 0-day.

2. Статические тесты эвристика и сигнатур.

3. Самозащита.

4. Контроль траффика напобие matousec.

5. Скорость/загрузка ресурсов системы.

И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хорошо бы провести тест Проактивки на виртуалках и на реальных машинах, тех продуктов у кого эмулятор заявлен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Кстати... вот ЛК утверждает, что их эмулятору обязательно нужен реальный процессор.

Хде??

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

vaber

лень искть ссылки, кто нить из ЛК тут отпишется ... возможно я и ошибаюсь.. но вроде так оно и есть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

vaber

Ничего не придумал, это заявление разработчиков. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Ничего не придумал, это заявление разработчиков. smile.gif

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Илья, дело в том, что любой вендор скажет, что их система только от непреднамеренных утечек, и не гарантирует защищу от сговора злоумышленников, в этом случае DLP-система будет работать только как архив для пост-анализа, поправьте меня, если я не прав. Поэтому результат такого теста скорее всего не будет иметь обратной связи, а только покажет, что действительно так как говорят вендоры.

Интересней на мой взгляд было попробовать самозащиту клиентских агентов, которые снимают теневые копии. Только не их деинсталляцию, так как это сразу вызовет кучу вопросов в корпоративной среде, а выведение их из строя, типа в случае чего - "чего-то ваша система сама по себе не пашет" :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

vaber

Я это через "посредника" знаю :) От одного из тестеров, который, собственно, занимался этим плотно. На работу пойду в конце недели только, тогда у него и спрошу.

Может Гудилин может быстрее сказать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
И ещё одна идейка- как насчёт сравнительных тестов DLP-систем на уровень защиты от преднамеренных утечек?

Есть такая идея, но тест реально сложный и потребует как минимум тесного сотрудничества с кем-то из крупных интеграторов (например, Крок или Лета). Есть уже у меня примерная методология даже, удалось даже обсудить ее с Ричем Могулом, когда он был в Москве.

Вообщем пока вот такой списочек получается амбициозный:

Тесты которые точно будут:

1. Динамический I

2. Лечение активного заражения IV

3. Самозащита III (может быть на Vista?)

4. Быстродействие II

5. Эвристика III

Под вопросом:

1. Тест на защиту от полиморфных вирусов II

2. Пакеры II

3. Тест фаерволов (новый тест).

4. Интерфейсы (новый тест)

Все таки напомню про тестирование браузеров!

Тест интересный, но мы его в план не будем включать по причине непрофильности, если только кто-то займется им из нашего компьюнити вне плана, мы поддержим.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Не правда. Эффективность эвристика у KIS можно считать одинаковой что под VMware, что на реальной машине.

Да? Интересно. А можно узнать в личку кто именно заявлял такое? С целью прояснить ситуацию и, если окажется, что это действительно так - будем менять методику :)

Предлагаю просто проверить тестом ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я бы хотел приблизить результаты некоторых тестов к повседневным результатам на ПК пользователя. Например, провести параллельно тесты проактивной защиты, тест на фолсы и тест на поддержку упаковщиков и дать не отдельные результаты, а общий. И, кроме тех результатов, что выкатит АМ в ходе совместных переговоров форумчан, дать заполненную форму в Экселе, чтобы пользователь сам мог поменять весы так, как для него важнее и тут же увидеть интересные лично ему результаты.

Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно. Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Тест самозащиты. Я считаю тот, что был представлен недавно, неверным, провальным. Методику теста самозащиты тоже нужно оговорить совместно.

Кстати, да. Полностью поддерживаю. Если зловред прошёл на уровень ядра, то защите каюк. Так что дебильный перехват ZwTerminateProcess/NtTerminateProcess не спасёт, вынесут всё нафиг через низкоуровневые менеджеры или прямой манипуляцией с системными списками.

Ну и завершение процесса защиты через Task Manager- это легитимное действие, если на уровень защиты это не влияет либо влияет только положительно в случае полностью автоматического принятия решений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Я думаю, что уже актуальность есть и в тете АВ-решений на x64. Их вообще кто-то тестирует?

Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что касается Висты, то да, нужно. Но только не именно на ней, а и на ней тоже.

Чтобы не создавать иллюзий, сразу скажу, что это нереально. Имеет смысл делать отдельно как разных платформах, сегодня тест самозащиты на XP, через пол года на Vista и т.п. Я против долгостроев и мегатестов в стиле "все в куче".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Я не припомню специальных тестов. Что можно протестировать специально для x64?

Что заявлено аверами то и тестировать. Адаптировать все тесты наши. Тот же KIS для XP x86 совсем не то же самое что для Vista x64.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Сергей Ильин

СЗ на ХР и Висте сильно отличаются. СЗ на 32 и 64 сильно отличаются. СЗ на ХР 32 и Висте 64 ну оооочень сильно отличаются.

Т.е. даже не реальные 100% на ХР ничего не означают на Висте СП 1. Уж тем более СП 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Да, самозащиту на Windows Vista на делать, это факт, лучше даже на x64 стразу, эта платформа более прогрессивная.

Также я бы быстродействие сделал на Windows Vista в этот раз.

Может быть даже на активное тест стоит подумать под Windows Vista, если зловредов наберется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Это внеплановое обновление для разбора необычного случая с внедренными потоками, соответственно релиз задерживается. ---------------------------------------------------------
       5.0.RC2
      ---------------------------------------------------------
       o При обнаружении внедренного потока в процессе в лог печатается точное
         время создания потока и ТОП 10 наиболее вероятных виновников.
         (!) Только для потоков не имеющих привязки к DLL.
         (!) Функция требует активного отслеживания процессов. (Твик #39)

       o Изменен способ адресации мониторов при работе с удаленным рабочим столом.
         Теперь выбирается не логический номер монитора, а его порядковый номер,
         что позволяет избежать проблем при обновлении драйверов на видеокарту
         без закрытия окна удаленного рабочего стола.

       o В окно удаленного рабочего стола добавлена кнопка "Меню", она открывает
         на удаленном компьютере окно с кнопками быстрого доступа к часто используемым
         настройкам системы и системным утилитам.
         Утилиты из этого окна запускаются на удаленном компьютере под текущим пользователем.

       
    • demkd
      С большой вероятностью эта версия и станет v5.0
      Все что было запланировано реализовано. ---------------------------------------------------------
       5.0.RC1
      ---------------------------------------------------------
       o В окно запуска добавлен пункт меню "Перезагрузить в интерфейс встроенного ПО [UEFI]"
         Доступно начиная с Win10.

       o В окно запуска добавлен выбор основного шрифта.

       o Пополнено окно дополнительных настроек.

       o В функцию удаления временных файлов добавлено 4 каталога с временным файлами Windows.
         o \Windows\Downloaded Program Files
         o \ProgramData\Microsoft\Windows\WER\ReportArchive   
         o \ProgramData\Microsoft\Windows\WER\ReportQueue
         o \ProgramData\Microsoft\Windows\WER\Temp
         Функция больше не выводит в лог пути до отсутствующих каталогов.

       o Исправлена критическая ошибка инициализации режима DDA,
         она могла проявляться на чипсетах AMD при подключении
         физического монитора к компьютеру, который был отключен или физически
         не подключен на этапе загрузки системы, при этом меняются логические
         номера дисплеев и 1-го дисплея обычно не существует, поэтому
         если вы подключились и 1-й дисплей показывает черный квадрат то
         стоит попробовать переключиться на 2-й и т.п.
         (!) В этом случае не работает программный способ вывода дисплея из сна,
         (!) поэтому в текущей версии движения мыши в любом случае передаются на
         (!) удаленный компьютер, что гарантировано пробуждает спящий дисплей
         (!) при переключении на него.

       o Исправлена ошибка создания загрузочного диска под Windows 11 24H2,
         по неизвестной причине в этой редакции Windows dism из пакета ADK
         не способен без ошибок сформировать загрузочный образ диска,
         поэтому все операции с образом диска теперь выполняет штатный dism из системного каталога.

       o Исправлена ошибка для определения пути до драйвера CDD.DLL при анализе
         ключей безопасного режима.

       
    • PR55.RP55
      Критическая уязвимость в ASUS DriverHub https://www.comss.ru/page.php?id=16443
    • PR55.RP55
      Изменения для драйверов Windows 11: новые сертификаты и отказ от метаданных https://www.comss.ru/page.php?id=16408
    • demkd
      Если нет пользовательского реестра для пользователя то будет сообщение в логе, остальное не надо видеть и тем более удалять - это дело пользователя.
×