Подводные камни динамического тестирования

[p2u 824]

Всякий, кто имеет хоть какое-то отношение к антивирусной отрасли, знает, что тестирование антивирусных продуктов — горячая тема. В последнее время ему уделяется много внимания, в особенности после учреждения в мае 2008 года Организации по стандартам в области тестирования — AMTSO (the Anti-Malware Testing Standards Organization).

Мы не ставили задачу создать очередной документ о том, как следует проводить тестирование. Наша статья посвящена одному из возможных последствий характерного для нашего времени повышенного интереса к динамическому тестированию, который может привести к тому, что вирусописатели станут уделять больше внимания обходу защиты, обеспечиваемой антивирусными продуктами, а не только противодействию обнаружению вредоносных программ.

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием. Будет также предложен ряд мер, которые позволят тестовым организациям существенно снизить степень риска. [...]

Читаем здесь

Paul

[696 5]

Интересная статья.

Напомнила давние бесконечные споры по поводу свободной продажи оружия.

Но вывод из этих споров я для себя уже сделал.

Те правительства, которые боятся народа и самих себя - запрещают свободную продажу оружия.

Другие же, доверяют народу и себе и по обоюдной договоренности позволяют друг другу защищать самих себя в дополнение к полициям и т.п.

Нет сомнений, что вирусописатели имеют как желание, так и возможности для проведения собственных подобных тестов.

Простой итог:

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

[Deja_Vu 366]

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Продукты Касперского, сейчас самые популярные в России и за рубежом достаточно распространены, но я не могу сказать что их продукты "бесполезно-незащитные".

Я бы даже сказал наоборот.

[My(aPo4eK 15]

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

[seevbon 40]

Внедрение динамических тестов влечет за собой новые проблемы. Теперь результаты тестирования имеют большее, чем когда бы то ни было, значение для авторов вредоносного ПО и для их действий. Компаниям, занимающимся компьютерной безопасностью, в их работе по просвещению общественности не следует забывать о главном — защите пользователей.

Нужно прилагать все усилия к тому, чтобы результатом просветительской деятельности не стало ускоренное развитие вредоносного ПО. Первое правило, декларируемое организацией AMTSO в документе об основополагающих принципах тестирования, состоит в том, что тестирование не должно нести опасности для общественности.

Повышенное внимание к технологиям защиты и динамическому тестированию неизбежно ведет к росту информированности, в том числе и со стороны авторов вредоносного ПО. Минимизация риска и предотвращение раскрытия слишком подробной информации в публикуемых результатах тестирования — задача, которая должна решаться на уровне всей отрасли. Решение этой задачи могло бы быть возложено на AMTSO.

Выводы хороши.

"Вся отрасль", прикройся замусоленными словами про заботу о простых пользователях и приучи их верить наслово твоей рекламе со словами непревзойденный уникальный революционный и т.д. уровень защиты от всех видов вредоносного и далее по тексту... Можно подумать что писатели зловредов настолько нищие что сами не в состоянии провести динамическое или какое там угодно тестирование своих произведений.

[Ego1st 95]

Да только Роул Шоуэнберг, забыл упоминуть что пока не тыкнешь некоторых в то что они немогут, они так и не пошевелятся..

да даже если тыкать ничего не измениться, последний тест на активное заражение это отлично показал..

Scan.bd

Детектирование добавлено 11 окт 2006 17:24 MSK

Обновление выпущено 11 окт 2006 18:10 MSK

Поведение Email-Worm, почтовый червь

до сих пор половина не в состоянии его лечить нормально

Agent.ea тоже хз когда появился, но тоже черт знает сколько времени уже назад, до сих пор куча не лечит.

а еще говорят о каких-то сокрытиях, что бы все молчали кто тестирует фиг там не дождетесь..

[p2u 824]

1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот; результаты тестов здесь на anti-malware это убедительно показали...

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Paul

[Сергей Ильин 1538]

Если не публиковать детали результатов динамического тестирования, то доверия к нему будет мало. Кому нужны закрытые тесты, тем более под патронажем синдиката антивирусных вендоров?

[seevbon 40]

1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот

А мож андеграунд учится у отделов стратегического маркетинга?.. =)))

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Зато отправляют "новинки" сразу по вирлабам. Добавят - не добавят но чего бы это писателям зловредов самим себя заранее палить в таком тестовом он-лайн режиме? С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов. Помойму статья пробный камешек насколько юзеры готовы безоговорочно довериться производителям защиты.

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Только доли рынка и будут выступать тогда в подтверждение достоинств тех или иных решений. Ну и еще личное мнение юзера есле ему в лиц.соглашении его публично высказывать "вся отрасль" не запретит. А переписка с техподдержкой будет собственностью вендора.

Как вы считаете если согласиться с автором статьи, выполнить его рекомендации -попрятать от общественности все, но для еще большей путаницы в умах писателей зловредов засекретить и данные про доли рынка ав -кто больше от этого выиграет или проиграет?.. =)))

[Сергей Ильин 1538]

С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.

А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Если говорить о публичных тестах, то я убежден, что они должны быть максимально открытыми. Это как общественный аудит, можно сколько угодно заявлять о суперзащите и инновациях, но пока не аудит не проведен, то грош этому цена.

[Александр Шабанов 120]

В это теме Сергей затронул важный аспект про "антивирусный синдикат", у меня сразу возникает основной вопрос:

- Какая целевая аудитория этой статьи? Кому она направлена? "Иным" тестовым лабораториям?

Что касается содержания, то у меня в голове зреют следующие мысли:

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием

1) Риск для кого? И какой? Риск для антивирусных вендоров, ведь их продукты покупают пользователи для защиты. Если это так, что то автор потенциально согласен с тем, что у продуктов имеются значимые проблемы, которые покажет динамический тест.

2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимостью только от антивирусных вендоров и однобокостью развития их компаний.

3) Все публичные исследования и тесты иной раз противоречат стратегии продвижения тех или иных продуктов, поэтому для части вендоров тесты вообще вредны, поэтому краткосрочная цель немного предушить и поумерить пыл дерзких лабораторий, получив какой-то контроль над ними. Эта цель с успехом выполняется, о чем свидетельствует глава "Что могут сделать организаторы тестов?".

[p2u 824]

форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.

А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Я раньше тоже так думал. Тепер передумал; сарказм seevbon - уместен.

Спрятать определённый круг 'доверенных', 'проверенных годами' бета-тестеров в закрытых разделах не совсем решение, конечно - дело в том, что среди бета-тестеров могут быть как раз те, которые потом передают данные куда не надо. Допустим, нашли багу (не просто кнопку, которая не работает, или деталь интерфейса, которая не смотрится, а реальную дыру в безопасности). А кто заставляет их о ней сообщить? Возможно в других местах получат побольше, чем похвалу или ключик на год. Ни вендор, ни клиенты не будут знать. Так с Майкрософтом уже давно. Разве такое для себя хотим? Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Paul

[Сергей Ильин 1538]

Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Да, но информация о багах, особенно критичных ни чуть не вреднее для вендора и ее клиентов, чем результаты тестов. Преступники могут принимать решения на основании инфы с багтрекера, тем более, что закрыть некоторые баги бывает не так просто, не говоря уже про то, что может потребоваться переставлять новые сборки/версии у клиентов.

Что касается содержания, то у меня в голове зреют следующие мысли:

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Я вижу несколько причин:

1. Динамическое тестирование было изначально задумано для того, чтобы показать эффективность работы антивирусов по-новому, чтобы там перестали выигрывать одни только Касперские, Ноды и Авиры. Идея динамического тестирования первоначально проталкивалась Symantec.

Идея правильная и здравая, именно по этому сообщество поддержало концепцию динамических тестов и процесс вроде бы пошел. Только первые результаты никого не обрадовали, пости все вместо золотого конфети получили порцию коричневой жижи. Так не интересно, где позитив? Интересы синдиката не соблюдены, надо что-то менять.

2. Незавимых тестеры стали зажаты в бюрократические рамки. Уже заметно, что тестов стало реально меньше. Всегда найдется куча причин сказать, что так тестировать нельзя. Опыт показывает, что все долгие согласования приводят к одному - в итоге теста не будет, ни какого, так как всем не угодишь.

Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно.

[Deja_Vu 366]

2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимость только от антивирусных вендоров и однобокостью развития их компаний.

Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно.

Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Думаю автор так не мыслил. Он дестивтельно считает что это благо ((-

[Ego1st 95]

Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

[Deja_Vu 366]

не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Я ожидал чего-то более ... ммм .. конекретного, нежеле чем это.

Почти ничего не изменилось с начала 2008 года -((

Principle 9: Vendors, testers and publishers must have an active contact point for testing-

relatedcorrespondence

улыбнул принцип.