Тест HIPS-компонент антивирусов

[Илья Рабинович 521]

Мы получим ещё один тест, который не говорит ни о чём...

Мы получим тест HIPS-систем безопасности, представленных на рынке. Многие не имеют антивирусного движка на борту ибо не нужен.

[Dmitry Perets 30]

Мы получим ещё один тест, который не говорит ни о чём...

Мы получим тест HIPS-систем безопасности, представленных на рынке. Многие не имеют антивирусного движка на борту ибо не нужен.

Тогда в тесте не должны учавствовать те, у кого этот антивирусный движок есть. Чтобы не создавалось ложного _неполного_ впечатления об их умении ловить угрозы 0-day.

[Иван 290]

Мы получим ещё один тест, который не говорит ни о чём...

Мы получим тест HIPS-систем безопасности, представленных на рынке. Многие не имеют антивирусного движка на борту ибо не нужен.

а .... ну ну, согласен с Дмитрием, получим тогда некий узкий тест технологии типа тестов эмулятора...полезно наверное, но я лично буду ждать пока А.Маркс не закончит свой процесс...мне его вариант интересней

[sww 486]

Ух, на AM затевается тестирование BSODогенераторов новейшего поколения?

Рекомендую для тестов прогнать BSODHook и NTCALL, хотя бы для приличия. Ну и отнять там по 0.5 балла )))

[Сергей Ильин 1538]

Этапов проверок две. Первая- концептуальные тесты. Запись в автозагрузку, чувствительные объекты реестра (куда обычно зловреды пишутся), установка/модификация/удаление драйвера/сервиса, снятие скриншотов, кейлоггинг, внедрение в процессы. Вторая- тесты на отобранных реальных зловредах по группам: trojans, spyware, adware, rootkits, keylogers, ransomeware.

Тогда тест можно сделать в два этапа:

1. Концептуальные тесты HIPS:

- контроль реестра

- блокировка установки/модификации/удаления драйвера,

- блокировка установки/модификации/удаления сервиса,

- обнаружение снятия скриншотов,

- обнаружение кейлоггинга,

- обнаружение внедрения в процессы.

2. Комплексные тесты на отобранных реальных зловредах. То, о чем писал Иван выше. Будем тестировать проактивную защиту целиком (HIPS+эвристик, если есть). Тестируемые продукты можно будет разбить на группы: чистые HIPS; антивирусы с HIPS.

По первому пункту оценивать ясно как. Детект есть - 1 балл, нет - баранка.

оценивать грубо так

Запускаем зловредов на машине.

Эвристик дает вердикт типа: BehavesLike:Trojan.

Downloader, probably a variant of Win32/TrojanDownloader.Delf.ACC, Downloader (модификация) оцениваем детект в 1 бал (полноценное обнаружение)

-эвристик дает вердикт просто Suspicious file (Panda такое любит) - даем 0,5 балла, т.к. при таком вердикте пользователь с большой вероятностью не поверит антивирю

-поведенческий блокиратор дает вердикт типа: Trojan.generic или Keylogger, Invader, Hidden object (rootkit) и т.д. оцениваем детект в 1 бал

-поведенческий блокиратор просто сообщает всякую ерунду вроде Registry access или Hidden install не давая никаких вердиктов - только 0,5 бала.

Я думаю, если есть обнаружение с вердиктом, не важно каким:BehavesLike:Trojan.Downloader, probably a variant of Win32/TrojanDownloader или Suspicious file - это будет 1 балл. Вероятность ложных срабатываний мы тут не рассматриваем, поэтому если антивирус будет на все ругаться Suspicious file, он победит.

Поведенческие вердикты Keylogger, Invader, Hidden object (rootkit), как у КАВа оценивать также в 1 балл.

Размытые поведенческие вердикты типа Registry access или Hidden install - оценивать в 0,5 балла. По ним не пользователю ИМХО ничего не ясно, это должно оцениваться ниже.

[Umnik 997]

Сергей Ильин

Если разрешать ложняки, то я напишу на Дельфи программу, которая будет ругаться на запуск абсолютно всего. Я однозначно одержу победу? :? Не гуд это.

[Сергей Ильин 1538]

Если разрешать ложняки, то я напишу на Дельфи программу, которая будет ругаться на запуск абсолютно всего. Я однозначно одержу победу? Confused Не гуд это.

Значит еще нужно вести 3-й этап обязательно - тест на ложны срабатывания. Есть идеи, как его провести в данном контексте?

[Storm 0]

Размытые поведенческие вердикты типа Registry access или Hidden install - оценивать в 0,5 балла.

С хидден инсталлом не согласен. Это чистый аналитический детект.

[Иван 290]

а я согласен, простому пользователю слова хиден инстал ничего не говорят, ну идет установка и что дальше, может ничего страшного на самом деле, у меня так пдм уже ругался на установку чего-то легального, не помню чего к сожалению

я вот не согласен что за простые слова саспишез давать один бал, мне кажется надо сначала внимательно изучить вердикты эвристиков разных продуктов, а потом уже принимать решение по этому поводу.

Добавлено спустя 1 минуту 9 секунд:

а вот товарищ A. нам случайно не поведает как вопрос оценки решили на том историческом собрании Маркса и Энгельса на ВиБи

интересно все же

[A. 876]

Нет желания облегчать жизнь товарищу Ленину...

[Иван 290]

злой дядя злой

но все наверное в детстве читали про тайное становится явным товарища Драгунского

[Сергей Ильин 1538]

я вот не согласен что за простые слова саспишез давать один бал, мне кажется надо сначала внимательно изучить вердикты эвристиков разных продуктов, а потом уже принимать решение по этому поводу.

Согласен, нужно будет изучить возможные вердикты, это важно.

[Werasy 0]

получим тогда некий узкий тест технологии типа тестов эмулятора...

Да,примерно так.В своё время исследование радиоактивности атома было узким направлением.Пока не дошли до эффекта.

Что делает АВ?Запрещает вируса АБС на компе после того,когда аналитики его определят,как вирус,что длится неделю,до этого вирус делает всё,что хочет:инсталлируется,инсталлирует,компромитирует систему для использования её в своих интересах так же от имени первого владельца или непосредственно против первого,шифрует или просто форматирует тем,что пользователю больше ничего не остаётся,как самому это сделать.

Что делает HIPS?Блокирует вышеописанное сразу по самому факту попытки и неограниченное время.Щелчки по вредоносу или его старт другим путём есть безопастны,так как вредонос изначально автоматически попадает в чёрный список,дополнительно создавая логи при попытке своего старта.

[Иван 290]

о да, тока разные виды и подвиды эвристиков тоже коцают зловреда по самому факту и без ожидания выпуска сигнатуры аналитиками

[Mr. Justice 771]

Все сообщения, касающиеся общих вопросов применения HIPS и эвриcтики (эмуляции) в средствах

защиты выделены в отдельную тему http://www.anti-malware.ru/phpbb/viewtopic...51cdee3f5ca7bc5

Добавлено спустя 11 минут 7 секунд:

Хм....посмотрел более внимательно и заметил что некоторые из перенесенных сообщений имеют частичное отношение к обсуждаемой теме. Есть ли необходимость в корректировке модерации?

[Иван 290]

кстати

2007-09-10 AVAR 2007 Conference in Seoul, South Korea

The AVAR Conference will be held this year from November 28 to 30 in Seoul. Maik Morgenstern and Andreas Marx will be talking about the topic "Testing of Dynamic Detection" (like HIPS, Host Intrusion Prevention Systeme, and "Behaviour Based" solutions).

[Илья Рабинович 521]

Угу, в это воскресенье читал текущую ревизию данного документа.

[Иван 290]

и как впечатление?

[Илья Рабинович 521]

Много правильных вещей, но кое-что я там поправил бы, мои соображенимя улетели Andreas Marx. Если их учтут в полной мере- получится достаточно неплохая методология тестирования HIPS-систем. Вот только из переписки с Andreas всё меньше уверенности, что для DefenseWall там найдётся местечко...

[Werasy 0]

Какие у него представления по этому?

[Илья Рабинович 521]

"У него"- это у кого?

[Werasy 0]

Андреас,или стоящий за "там" в твоём предпоследнем топике этой темы.

[Иван 290]

http://www.pcworld.com/article/id,138112-c...us/article.html

Analysts Work on Improved Antivirus Software Test

Antivirus vendors are closer to agreeing on a new way to test their software after widespread agreement that older antivirus tests can be misleading.

Jeremy Kirk, IDG News Service

Friday, October 05, 2007 11:00 AM PDT

Antivirus vendors are closer to agreeing on a new way to test their software after widespread agreement that older antivirus tests can be misleading.

AV-Test.org, a German antivirus testing organization, is meshing suggestions from vendors such as Symantec Corp., Panda Software ASA and Trend Micro Inc. as well as its own for a new testing regime, said Maik Morgenstern, who conducts product tests at AV-Test.org.

The new testing proposal -- also supported by vendors Kaspersky Lab Ltd., F-Secure Corp. as well as other testers such as Virus Bulletin -- will be presented next month at the Association of AntiVirus Asia Researchers 2007 conference in Seoul.

Companies supporting AV-Test.org's paper will try to marshal support from other security vendors, said Mark Kennedy, an antivirus engineer with Symantec.

"We believe this is the way tests should be conducted," Kennedy said. "The hope is that other companies will join us."

Still, the proposals will be optional guidelines for antivirus testers, which ultimately can choose to adopt or ignore them.

Antivirus testing groups have typically tested antivirus products by running the detection engine against hundreds of malicious software samples. If the product doesn't detect a sample, it gets a lower ranking. The style of evaluation tests whether an antivirus product has the right "signatures," or indicators that can identify a specific piece of malware.

The test is relatively quick and easy to perform. But over the last three years or so, many security companies have added technology that can flag malware based on how it acts. That's because signatures have become a less reliable way to defend a computer due to the high number of malware variations that now appear on the Internet.

A signature test does not take into account behavioral detection technology, so vendors have argued that a failed signature test doesn't mean their product wouldn't have protected a PC.

Software vendors have proposed testing antivirus products under the same conditions a consumer would encounter on the Internet. In essence, antivirus testers would use real, active malicious software samples from the Internet and present them to computers in the same way people encounter them, such as through e-mail attachments or Web pages rigged to exploit browser vulnerabilites.

Before a test, antivirus suites would be "frozen" a few weeks prior and not allowed to update their signatures in order to really test the proactive or behavioral technology. Debate is still ongoing whether testers should use malware that is actually doing bad things on the Internet, which poses questions of whether the test machines could potentially do harm.

An alternative is setting up a simulated Internet environment in the lab, but that may not allow malware to run in the way it would if it could access the Internet. "There's always a trade-off," Morgenstern said.

Security analysts are still working on how the products will be scored. It's tricky, since there are many different levels at which a product may detect and neutralize a threat. The scoring has to be clear and comprehensible to people who read technology magazines that write about the tests.

"If the magazines are not able to communicate that in a simple manner to the consumer, then it's not worth much," said Pedro Bustamante, senior research advisor for Panda.

The new parameters mean it will likely take a lot longer to conduct the tests, but Morgenstern said he believed AV-Test.org could do it with their existing staff and without any significant fee increases to publishers who commission work from them.