Перейти к содержанию
Сергей Ильин

Тест антивирусов/антируткитов на обнаружение активных руткитов (результаты)

Recommended Posts

Mr. Justice
Вы, видимо, не привыкли к тому, что для повышения качества тестирований меня уже давно не интересует, где был бы тот или иной антивирус, даже если он мне симпатизирует и даже если я являюсь сотрудником одной из компаний, продукты которой участвуют в тестах. Если с помощью какого-либо из дефектов тестирования Dr.Web будет на более высоком месте, в других тестированиях он может быть на более низких местах из-за этого же дефекта. Я пытаюсь бороться за повышение общего качества тестирования.

Валерий, у меня сложилось впечатление, что Вы слишком предвзято относитесь к тому. что обсуждается на форуме. Хотелось бы верить, что я ошибаюсь. Ладно, не будем об этом. Извините, если обидел.

Ещё раз. Был выбран репрезентативный (по мнению авторов теста) набор концептов руткитов. При этом выяснилось, что какой-то из продуктов, на которых проводилось тестирование взял все условно неизвестные руткиты. Но при этом на реальных (вредоносных) руткитах этот же продукт не детектирует все руткиты.

Не смог взять всего лишь один из "реальных" руткитов. Это вполне нормально.

Из этого делаем вывод, что реальные руткиты могут действовать и как-то по-другому, нежели выбранные концепты для тестирования проактивки.

Нет , из приведенных выше суждений такой вывод сделать нельзя! Из ваших посылок не следует, что есть принципиальные отличия между "реальными" и "концептуальными" руткитами. Вдумайтесь внимательно в то, что Вы пишите!

Соответственно, в наборе концептов для тестирования проактивки есть "пробелы", которые позволяют реальным руткитам обходить эту самую проактивку.

Вы не правы. Касперский сумел обнаружить 5 из 6 "реальных" руткитов, и 4 из 4 "концептуальных" руткитов. То есть разница минимальна (между детектированием обеих групп вредоноснов). И даже если разница была бы существенной, вывод о нерепрезентативности теста нельзя было бы признать доказанным. Это нелогично.

Т.е. в следующем тестировании надо добавить такие концепты, которые будут отражать поведение реальных руткитов, которые продукты с проактивкой не брали.

Нет. Тогда мы теряем в репрезентативности. Антивирус должен защищать не только от существующих на сегодняшний день угроз (реактиваня защита), он должен уметь противостоять угрозам, с которыми пользователь может столкнуться в ближайшем будущем (превентивная защита).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Mr. Justice, я человек творческий, поэтому придумал такое вот образное представление своих мыслей.

Представьте себе Вторую Мировую Войну и 2 отряда по 10 человек - один немецкий, другой - советский.

Первый (немецкий) отряд проходил довольно продолжительное время обучение военному делу, изучал тактику ведения боевых действий советских войск, отрабатывал собственную тактику противодействия. (т.е. хорошая проактивка).

А советский отряд - сплошь партизаны, которые состоят из вчерашних учителей и токарей, которым пришлось взять винтовки и гранаты в руки вчера. Единственное преимущество - хорошо знают местность (аналог сигнатур).

В итоге немецкая сторона несёт потери в 3 человека, советская - в 2 человека.

В итоге побеждает немецкая сторона. Т.к. потенциально имела больше шансов победить :lol:

Отсюда следующий очень важный вопрос - какой вес в общих результатах теста на противодействие руткитам должен иметь детект невредоносных концептных руткитов? Я всё больше склоняюсь к тому, что вес должен быть невысокий. Т.е. я согласен, что, возможно, нужно сюда включать и проактивку, но если она несильно влияет на уровень детекта реальных руткитов, то влияние на общий результат должно быть тоже несильным, по крайней мере не на равных условиях с детектом реальных руткитов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Пример неудачный. Какой вес? Смотрите внимательно методологию оценки. Реальные руткиты оцениваются в 1 балл, а "концептуальные" - 0,5 баллов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Попробую немного прояснить ситуацию, дабы не было много споров.

Начну с проактивного детекта:

в данном случае проактивный детект на руткитах - это детект скрытого на диске файла малвары без наличия сигнатуры, детект скрытого процесса (процесса невидимого в диспетчере задач или его аналогов) или наличия скрытого драйвера в памяти. В случае антивируса Касперского - он позволяет обнаруживать скрытые процессы и файлы. Для обнаружения скрытых файлов сигнатуры не нужна. Вердик - Hidden File. То есть этот проактив не имеет ничего общего с той проактивкой, которая срабатывает при запуске малвары. Таким образом, проактивный детект руткитов позволяет удалять файлы руткитов (или завершать скрытые процессы) еще не известных сигнатурно.

В методике теста указано, что все малвары используемые в тесте были на момент тестирования известны сигнатурно всем используемым антивирусам. Следовательно - проактивного детекта на малварах у Касперского не было. Да и проактивный детект не может сработать там, где не сработала бы сигнатура (касается скрытых файлов).

Что касается подбора демо-руткитов для теста проактива - то были взяты только те, которые дополняют ITW - чтобы не пересекались способы маскировки у ITW и концептов. Поэтому можно заметить - что 3 из 4 концепта используются для маскировки процесса - т.к. из ITW маскировал процесс только Wopla (sklog).

Отмечу тенденцию к появлению руткитов не маскирующихся на диске - они видны, но доступ к ним заблокирован по руткит-технологии. Соответственно - антивирус не может проверить файл на наличие сигнатуры, а соответсвенно обнаружить вредоносную программу. Пример - Rootkit.Win32.Podnuha. Поскольку файл малвары виден - то не срабатывает проактивный детект.

Что касается упомянутой тут статьи в IT-спец - там упор бы не на функционал антивирусов, а принципиальная возможность детtкта/удаления руткита в системе. Поэтому использовались только известные сигнатурно малвары, дабы все были в равных условиях.

Приведу пример:

Есть руткит Хаксдур. Если он известен сигнатурно - его обнаружат и удалят как Касперский так и Доктор веб. если же нет сигнатуры у обоих антивирусов - его обнаружит и удалит только Касперский.

Есть руткит Podnuha. Если сигнатуры нет у обоих антивирусов - его не обнаружат и не удалят ни Касперский, ни Доктор веб. если же есть сигнатура у обоих - его обнаружит и удалит Доктро веб, а для Касперского он так и останется невидимым.

от сюда видно - что есть принципиальная возможность детекта и что есть проактив.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий' date=' у меня сложилось впечатление, что Вы слишком предвзято относитесь к тому. что обсуждается на форуме. Хотелось бы верить, что я ошибаюсь.[/quote']

Почему же? Я с недавних пор начал публиковать ссылки и материалы в виде тестов, которые встречаю на просторах Интернета. Кроме того, я отмечаю, что на портале anti-malware.ru тестирования проводятся на весьма высоком уровне. Далее, отвечая на вопросы наших пользователей, я довольно часто даю ссылку на http://antimalware.ru/index.phtml?part=tests . Довольно смелый шаг для человека, который предвзято относится ко всему, что обсуждается на форуме.

При этом я считаю, что в праве разрешать противоречия, которые возникают у меня в голове по поводу того, что происходит на портале с помощью соответствующих дискуссий.

По крайней мере, это более конструктивно (хотя и менее весело), чем общаться с виталиками.

Вы не правы. Касперский сумел обнаружить 5 из 6 "реальных" руткитов' date=' и 4 из 4 "концептуальных" руткитов.[/quote']

Вот это как раз говорит о том, что репрезентативность набора реальных руткитов и набора концептов - неодинаковая, что искажает результаты теста.

Valery Ledovskoy писал(а):

Реальные руткиты оцениваются в 1 балл' date=' а "концептуальные" - 0,5 баллов.[/quote']

Почему именно столько? А если Виталик предложит не 0,5, а 0,25?

vaber, спасибо за ответ, он многое прояснил. Думаю, информация будет полезна не только мне.

в данном случае проактивный детект на руткитах - это детект скрытого на диске файла малвары без наличия сигнатуры' date=' детект скрытого процесса (процесса невидимого в диспетчере задач или его аналогов) или наличия скрытого драйвера в памяти. В случае антивируса Касперского - он позволяет обнаруживать скрытые процессы и файлы.[/quote']

Хочу для уточнения задать и такой, возможно, простой вопрос. У Dr.Web в логе эти скрытые файлы обнаружены не были? Т.е. эти скрытые файлы не были просканированы, хотя бы и с вердиктом "Ok"? (я пока просто про скрытые файлы, не процессы). Если они были просканированы, то, возможно, стоит в функциональность Dr.Web добавить в вывод в таблице инфекций, а также в лог информацию о файлах, которые были обнаружены с помощью Dr.Web Shield и таким образом вызывают подозрения?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Что касается веса оценки детекта ITW и концептов - тут я пасс :). Я ставил оценку таким образом:

Если руткит (будь то концепт или ITW) был обнаружен (хотя бы его присутствие в системе без указания где он) - ставил 0,5 балла. Если он был еще и удален - то еще 0,5 балла.

Поскольку концепты не противятся своему удалению (там где процесс - и удалять нечего) - то можно ставить + только за обнаружение. ЧТо я и сделал. Соотвественно так же обнаружившие получали 0,5.

З.Ы. В следующий раз мешать концепты и ITW я вероятно не стану. Возможно чистого теста с руткитами тоже не будет - все руткиты будут включаться в тест на активное заражение. А тест только с антируткитами как спецсредствами для борьбы с руткитами - не столь интересен, т.к. они мало известны и мало используются пользователями в отличии от антивирусных продуктов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Почему же? Я с недавних пор начал публиковать ссылки и материалы в виде тестов, которые встречаю на просторах Интернета. Кроме того, я отмечаю, что на портале anti-malware.ru тестирования проводятся на весьма высоком уровне. Далее, отвечая на вопросы наших пользователей, я довольно часто даю ссылку на http://antimalware.ru/index.phtml?part=tests . Довольно смелый шаг для человека, который предвзято относится ко всему, что обсуждается на форуме.

Я не это имел в виду. В общем неважно.

Вы не правы. Касперский сумел обнаружить 5 из 6 "реальных" руткитов, и 4 из 4 "концептуальных" руткитов.
Вот это как раз говорит о том, что репрезентативность набора реальных руткитов и набора концептов - неодинаковая, что искажает результаты теста.

Почему? Детект примерно одинаковый как на "реальных", так и на "концептуальных". И даже если разница была бы существенной, это не о чем бы не говорило. Не вижу никаих оснований для тех выводов, которые вы делаете. По моему нелогичность ваших суждений очевидна. Вы дорисовываете, то что вам хочеться видеть, но ваши суждения не опираются на правила логики, это лишь домыслы.

И где же мы тут теряем в репрезентативности?

Мы не учитваем превентивность защиты. Напоминаю, что это тест на общий детект и удаление, а не на сигнатурный.

Мы добавим такие концепты, которых до этого не было в тестах. И увидим, что проактивка не может давать 100%-ую защиту не только на реальных руткитах, но и на концептах.

Это не имеет никакого значения. Добавлены руткиты, которых нет, но которые могут появится с очень высокой степенью вероятности, так как уже разработаны соответствующие концепты и заложенными в них идеями можно пользоваться. Что тут непонятного? ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Хочу для уточнения задать и такой, возможно, простой вопрос. У Dr.Web в логе эти скрытые файлы обнаружены не были? Т.е. эти скрытые файлы не были просканированы, хотя бы и с вердиктом "Ok"? (я пока просто про скрытые файлы, не процессы). Если они были просканированы, то, возможно, стоит в функциональность Dr.Web добавить в вывод в таблице инфекций, а также в лог информацию о файлах, которые были обнаружены с помощью Dr.Web Shield и таким образом вызывают подозрения?

Проактивный детект проверялся только на 4 концептах - 3 из них - скрытый процесс. Один - скрытый файл. Его сканер не видит в принципе (так же как Podnuha не видит Касперский). Суть таже как и с элиткейлоггер - те руткиты, где используется драйвер-фильтр для сканера невидимы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Реальные руткиты оцениваются в 1 балл, а "концептуальные" - 0,5 баллов.

А ещё это вполне реальный довод к тому, что складываются неэквивалентные вещи, а поэтому будет весьма сложно прийти к консенсусу.

Я всё же склоняюсь, что проактивка и сигнатурный детект руткитов должны показываться в результатах отдельно.

Это как у нас на http://stat.drweb.com раньше показывались суммарные цифры по сканированиям почтовыми севрерами и ES-серверами. Да, вроде бы и там, и там проверятся файлы и находятся вирусы. Но суммарная цифра просто ничего не показывает. А по отдельности информацию по ES-серверам и почтовым серверам можно уже как-то анализировать. Поэтому сейчас эта статистика существует только в раздельном виде.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
А ещё это вполне реальный довод к тому, что складываются неэквивалентные вещи, а поэтому будет весьма сложно прийти к консенсусу.

Я всё же склоняюсь, что проактивка и сигнатурный детект руткитов должны показываться в результатах отдельно.

Еще раз повторяю, что для конечного пользователя неважно каким способом антивирус обнаружил руткит. Недооценивать возможности проактивной защиты и непонимать ее важность по меньшей мере неразумно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Почему? Детект примерно одинаковый как на "реальных", так и на "концептуальных".

Если бы было 999-1000 и 555-555 - это разница несущественная.

А если 5-6 и 4-4, то посчитайте, сколько процентов "весит" каждая единица.

Вы дорисовываете, то что вам хочеться видеть, но ваши суждения не опираются на правила логики, это лишь домыслы.

Это не домыслы. Это сомнения. А если есть сомнения, значит, есть нечёткость в цифрах.

Проактивный детект проверялся только на 4 концептах - 3 из них - скрытый процесс. Один - скрытый файл. Его сканер не видит в принципе. Суть таже как и с элиткейлоггер - те руткиты, где используется драйвер-фильтр для сканера невидимы.

Ещё раз спасибо за объяснение. Хотелось бы подробнее узнать, что такое эти драйверы-фильтры и как они работают, если это не сложно.

Добавлены руткиты, которых нет, но которые могут появится с очень высокой степенью вероятности, так как уже разработаны соответствующие концепты и заложенными в них идеями можно пользоваться. Что тут непонятного? ...

Когда будут не только концепты, они будут добавлены в базы. Возможно, не все. Но у Dr.Web не будет нулевого детекта руткитов, основанных на этих концептах.

Напоминаю, что это тест на общий детект и удаление, а не на сигнатурный.

Детект и удаление чего? Сумма из детекта вредоносных руткитов и невредоносных концептов. Почему меня это волнует - см. предыдущий мой абзац.

Кстати, насколько я понимаю, антивирусы и антируткиты для детекта и выноса руткитов сами используют руткит-технологии. Если это так, то почему проактивка их не ловит? Или ловит? Было бы интересно ещё и на этот вопрос ответ получить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Почему? Детект примерно одинаковый как на "реальных", так и на "концептуальных".

Если бы было 999-1000 и 555-555 - это разница несущественная.

А если 5-6 и 4-4, то посчитайте, сколько процентов "весит" каждая единица.

В контексте данного теста это несущественная разница. Где вы найдет столько технологий скрытия? Тест, как раз наоборот, благодаря "концептам" наиболее полно охватывает все известные технологии.

Это не домыслы. Это сомнения. А если есть сомнения, значит, есть нечёткость в цифрах.

Сомневаться можно почти во всем! Но это не дает нам основания делать серьезные выводы.

Когда будут не только концепты, они будут добавлены в базы. Возможно, не все. Но у Dr.Web не будет нулевого детекта руткитов, основанных на этих концептах.

То есть вы сомневаетесь в необходимости использования превентивной защиты? Мда....

Детект и удаление чего?

Вы зачем это глупый вопрос задаете?

Кстати, насколько я понимаю, антивирусы и антируткиты для детекта и выноса руткитов сами используют руткит-технологии. Если это так, то почему проактивка их не ловит? Или ловит? Было бы интересно ещё и на этот вопрос ответ получить.

Это наверно говорит о том, что она неплохо продумана.:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
В контексте данного теста это несущественная разница.

Почему?

Где вы найдет столько технологий скрытия?

Это уже другой вопрос.

Тест, как раз наоборот, благодаря "концептам" наиболее полно охватывает все известные технологии.

Согласен, охватывает полно.

То есть вы сомневаетесь в необходимости использования превентивной защиты? Мда....

Нет, я сомневаюсь в общих результатах теста. Появятся реальные вредоносные сэмплы, основанные на этих концептах - они появятся и в базах. Результаты теста такой возможности не показывают. Они говорят, что вредоносные руткиты, которые будут основаны на этих конептах, не будут браться сигнатурно. А они будут добавляться в базы и будут браться в том числе и сигнатурно.

При этом я не говорю, что нет необходимости в разработке превентивной защиты от руткитов. Необходимость такая, безусловно, есть.

Это наверно говорит о том, что она неплохо продумана.Smile

Т.е. если руткит будет использовать те же методы, что и Dr.Web Shield (к примеру), то он не будет обнаружен проактивкой? Такая вероятность существует?

Добавлено спустя 5 минут 24 секунды:

Валерий, поздравляю.

успели

Спасибо. Я не стремился, в общем-то :)

Но так вот получилось. Всё не было времени этот тест рассмотреть подробно. И не хотелось дискуссию до НГ завязывать - в неудобное время результаты выложили.

Но что-то дёрнуло ведь меня :)

Но я вроде почти всё уже для себя выяснил за исключением некоторых моментов ради собственного ликбеза.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Хотелось бы подробнее узнать, что такое эти драйверы-фильтры и как они работают, если это не сложно.

В данном случае идет речь о драйвер-фильтре файловой системы. Он перехватывает пакеты запросов ввода/вывода (IRP) идущие к драйверу файловой системы. Поскольку при обращение к файлам формируются соответствующие IRP - драйвер руткита может модифицировать передоваемые в нем данные, а уже потом передать драйвер файловой системы. Причем модификация возможна как на пути к драйверу фс так и обратно. Яркий пример - драйвер утилиты FileMon Руссиновича. Это тоже драйвер-фильтр файловой ссистемы, только передаваемые пакеты он не модиффицирует.

Кстати, насколько я понимаю, антивирусы и антируткиты для детекта и выноса руткитов сами используют руткит-технологии. Если это так, то почему проактивка их не ловит? Или ловит? Было бы интересно ещё и на этот вопрос ответ получить.

Проактивка Касперского? Она ловит инсталляцию большинства руткитов и, соответственно, позволяет блокировать их установку в системе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Нет, я сомневаюсь в общих результатах теста. Появятся реальные вредоносные сэмплы, основанные на этих концептах - они появятся и в базах. Результаты теста такой возможности не показывают. Они говорят, что вредоносные руткиты, которые будут основаны на этих конептах, не будут браться сигнатурно. А они будут добавляться в базы и будут браться в том числе и сигнатурно.

Навеяло аллегорией про партизан и немцев. Нарисуем и мы эдакого сферического коня в вакууме.

20ХХ год. В мире остался только один антивирус.

DrWeb.

Нет больше никого, все пали, проиграли, разорились.

Хакеры остались.

Валерий, расскажите мне пожалуйста, каким образом вредоносные руткиты, основанные на концептах, не берущихся DrWeb технологиях скрытия - попадут в ваши базы и начнут детектироваться сигнатурно?

вариант - будут обнаружены другим антивирусомантируткит утилитой - не катит. все умерли, никого нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Проактивно детектируется только то, что характерно для ITW, потенциально опасно - не любое проявление руткит-технологии. Скажем, если файл или процесс скрыт - это подозрительно и опасно - алерт. Если же просто стоит хук на какую-либо функцию (как драйвер даемон тула) - то алерта не будет, поскольку потенциально опасного в системе не происходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
В контексте данного теста это несущественная разница.

Почему?

Валерий, неужели Вы сами не в состоянии ответить на это?

Где вы найдет столько технологий скрытия?

Это уже другой вопрос.

Как это другой? Он имеет прямое отношение к условиям теста. Вы же не станете предлагать добавить в тест оценку технологий скрытия, которые не могут существовать вообще или расширять перечень способов маскировки до бесконечности, только ради того, что бы добится желаемого результата 999 из 1000. Это бессмысленно, да и физически невозможно.

Согласен, охватывает полно.

Тогда какие претензии к репрезентативности и объективности?

Нет, я сомневаюсь в общих результатах теста. Появятся реальные вредоносные сэмплы, основанные на этих концептах - они появятся и в базах. Результаты теста такой возможности не показывают.

Ну это само собой. Вендоры будут добавлять соответствующие сигнатуры в базы, но какое отношение это имеет к тесту? Здесь тестируется не способности вирусных лабораторий к добавлению сигнатур (не полнота добавления и скорость реакции), а способность к противодействию с помощью имеющихся на данный момент средств борьбы. Попросите vabera, может быть он проведет тест о котором вы говорите.

Они говорят, что вредоносные руткиты, которые будут основаны на этих конептах, не будут браться сигнатурно.

:) С чего Вы взяли. Валерий, прочитайте еще раз что вы пишите! Я очень вас прошу.

А они будут добавляться в базы и будут браться в том числе и сигнатурно.

Конечно.

При этом я не говорю, что нет необходимости в разработке превентивной защиты от руткитов. Необходимость такая, безусловно, есть.

Валерий в ы противоречите себе и уже не в первый раз.

Т.е. если руткит будет использовать те же методы, что и Dr.Web Shield (к примеру), то он не будет обнаружен проактивкой? Такая вероятность существует?

На этот вопрос я вам ответить не смогу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Проактивно детектируется только то, что характерно для ITW, потенциально опасно - не любое проявление руткит-технологии. Скажем, если файл или процесс скрыт - это подозрительно и опасно - алерт. Если же просто стоит хук на какую-либо функцию (как драйвер даемон тула) - то алерта не будет, поскольку потенциально опасного в системе не происходит.

Ясно. Спасибо за информацию.

Навеяло аллегорией про партизан и немцев. Нарисуем и мы эдакого сферического коня в вакууме.

20ХХ год. В мире остался только один антивирус.

DrWeb.

Нет больше никого, все пали, проиграли, разорились.

Хакеры остались.

Валерий, расскажите мне пожалуйста, каким образом вредоносные руткиты, основанные на концептах, не берущихся DrWeb технологиях скрытия - попадут в ваши базы и начнут детектироваться сигнатурно?

вариант - будут обнаружены другим антивирусомантируткит утилитой - не катит. все умерли, никого нет.

Разработчики останутся ;)

Будут собственные вспомогательные утилиты. Будут разработаны новые способы детекта руткитов. И не сомневайтесь, они разрабатывались и будут разрабатываться.

Новые способы детекта руткитов будут сначала выпускаться в виде утилит, а потом постепенно встраиваться в основной функционал антивирусов.

Новые семплы будут не только к неквалифицированным пользователям попадать, но и к специалистам, которые общаются с нашими разработчиками, и, собственно, к разработчикам.

Кстати, если эту аллегорию про будущее обратить в реальность про прошлое, то мы вспомним время, когда повсеместно стоял Dr.Web и активно появлялись новые полиморфные вирусы, а Dr.Web активно им противодействовал. И были тогда и стелс-вирусы, и загрузочные вирусы, и OneHalf, и как-то справлялись.

Добавлено спустя 20 минут 18 секунд:

Mr. Justice, думаю, и Ваша, и моя позиция всем уже понятна, не будем переливать из пустого в порожнее.

Я лишь кратко резюмирую в виде тезисов:

1. Результаты теста неидеальны, тестирование можно сделать более объективным. Это аксиома, и она годится для любого тестирования.

2. Почему тест был сделан именно в том виде, в котором он был представлен, тоже понятно. Иначе было нельзя - это ясно. И они хоть что-то показывают. При этом можно посмотреть подробно методологию и результаты по каждому сэмплу. Это несомненный плюс тесту, т.к. даёт возможность собственной интерпретации результатов.

3. Интерпретация тестов может быть разной. Мне понятна Ваша интерпретация, автор вообще не должен интерпретировать результаты, а быть объективным, а Вам, насколько я понимаю, понятна моя интерпретация теста. И это здорово.

4. У автора теста есть планы на будущие тестирования. И я вижу, что они будут ещё более интересными и объективными. Поэтому желаю удачи.

5. Безусловно нужно развивать превентивные методы защиты от воздействия вредоносных программ, в том числе и руткитов. Но нужно правильно расставлять приоритеты в разработке этих методов. И пока ещё превентивные методы защиты (даже та же классическая эвристика) слабо помогает неподготовленному пользователю. Во-первых, просто эффективность её пока низка, а во-вторых, пользователь должен часто включать и собственные мозги. Да, есть "базовая проактивка", но и эффективность у неё ниже, чем у "полной", а зачем тогда полная? Возможно, не все вендоры пока считают, что параметр эффективность*качество некоторых из новых превентивных методов защиты достаточно высокий для того, чтобы его включать в продукты. Но разработка подобных методов ведётся всеми вендорами, которые хотят остаться на антивирусном рынке.

Итого, спасибо за дискуссию. Надеюсь, ни у кого я не испортил предновогоднего настроения своей "выходкой". Желаю всем всего наилучшего в Новом Году :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

В методологии опечатка

Установка (запуск) тестируемой антивируса/антируткита и очистка системы;

+ Почему по-разному происходило тестирование ITW и концептов? В первом случае, исходя из методологии, сначала машина заражалась, а потом ставился защитный продукт - по сути повторение теста на активное лечение, а в случае с концептами наоборот - сначала ставился защитный продукт, а потом ставился концепт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
+ Почему по-разному происходило тестирование ITW и концептов? В первом случае, исходя из методологии, сначала машина заражалась, а потом ставился защитный продукт - по сути повторение теста на активное лечение, а в случае с концептами наоборот - сначала ставился защитный продукт, а потом ставился концепт.

Потому как концепты в автозапуск не прописываюстя, а стало быть после ребута (апосле установки антивируса его нужно производить) руткита уже не будет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ThreatSense®Vitalik

Тема про руткниты.

http://forum.kaspersky.com/index.php?showtopic=54575

Руткит Alman,1 ссылка потомушто один из новых.

http://forum.kaspersky.com/index.php?showtopic=54341

Rootkit.Win32.Agent.qz

http://forum.kaspersky.com/index.php?showtopic=56489

Rootkit.win32.agent.pg

http://forum.kaspersky.com/index.php?showtopic=55750

И тему "Борьба с вирусами" почитайте,с многими вирусами неможет сам справится,да любой антивирус не может справится наверно с большим количеством активного заражения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Сделаю свои выводиты относительно теста, опираясь в том числе и на рузельтаты дискуссии.

1.Учитывая условия проведения теста и методику определения результатов можно сделать однозначный вывод о репрезентативности теста.

2.Удаление из тестовой коллекции «концептуальных» руткитов неизбежно приведет к существенном снижению репрезентативности исследования. Это не что иное как банальное выхолащивание условий и результатов теста. Присутствие «концептов» - атрибутивное условие настоящего репрезентативного теста.

3.Мой оппонент явно недооценивает роль проактивной защиты в борьбе с руткитами, несмотря на то, что заявляет прямо противоположное.

4.Не было приведено ни одного серьезного контраргумента в отношении изложенных выше доводов.

5.Критика указанных выше доводов, по моему мнению носила деструктивный характер, противоположная сторона прикрывлась лишь мнинмой конструктивностью.

6.Предложения, высказанные моим оппонентом не способный существенно улучшить условия и методику проведения подобных тестов в будущем и не в состоянии существенным образом повлиять на их результаты. Кроме того, некторые из них они просто неосуществимы и нежелательны.

Добавлено спустя 27 минут 16 секунд:

В методологии опечатка
Тема про руткниты.

http://forum.kaspersky.com/index.php?showtopic=54575

Руткит Alman' date='1 ссылка потомушто один из новых.

http://forum.kaspersky.com/index.php?showtopic=54341

Rootkit.Win32.Agent.qz

http://forum.kaspersky.com/index.php?showtopic=56489

Rootkit.win32.agent.pg

http://forum.kaspersky.com/index.php?showtopic=55750

И тему "Борьба с вирусами" почитайте,с многими вирусами неможет сам справится,да любой антивирус не может справится наверно с большим количеством активного заражения.[/quote']

Почитайте внимательно, что пишут участники форума по этому поводу. Прочитали? Неужели не видно, что их аргументы-вопросы сводят на нет все ваши усилия по дискредитации теста.

Добавлено спустя 1 минуту 55 секунд:

Прошу высказываться в конструктивном духе. Охаять тест может каждый, а предложить что-то дельное далеко не все!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко
Потому как концепты в автозапуск не прописываюстя

У меня сложилось впечатление, что Unreal не удаляет свою запись из реестра и сообразно инициализируется после каждой перезагрузки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Mr. Justice, Ваше резюме полностью деструктивно ко мне как к оппоненту. Например, ни Вы, ни автор теста (он в этом признался) не смогли объяснить, почему для концептов был выбран коэффициент 0,5. Каким образом он был вычислен? Почему не 0,3 или не 0,8 или не на равных с реальными руткитами? А если это не объяснено в методике, то я могу сделать вывод, что этот дефект методики позволяет играть результатами так, как хочется. Попробуйте поизменять этот коэффициент от 0,25 до 0,75 и Вы увидите, как меняются итоговые результаты.

3.Мой оппонент явно недооценивает роль проактивной защиты в борьбе с руткитами, несмотря на то, что заявляет прямо противоположное.

Нет, не так. Разработка "проактивных" методов защиты ведётся большинством вендоров, и все вендоры понимают необходимость этого. Но не все вендоры считают, что на данный момент общий уровень работы проактивных методов (в мире, если хотите) настолько высок, что его обязательно нужно включать в продукты. Ибо и без проактивной защиты можно неплохо противодействовать реальным руткитам. На данный момент. В будущем ситуация будет меняться, т.е. проактивные методы выйдут на новый уровень - будут противодействовать большему проценту реальных неизвестных руткитов. Количество реальных руткитов на каждый из концептуальных руткитов тоже возрастёт. И потребность в проактивных методах защиты существенно возрастёт, т.к. без них будет много пропускаться.

Я делаю вывод, что Вы поверхностно ознакомились с моими сообщениями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

×