p2u

Подводные камни динамического тестирования

В этой теме 16 сообщений

Всякий, кто имеет хоть какое-то отношение к антивирусной отрасли, знает, что тестирование антивирусных продуктов — горячая тема. В последнее время ему уделяется много внимания, в особенности после учреждения в мае 2008 года Организации по стандартам в области тестирования — AMTSO (the Anti-Malware Testing Standards Organization).

Мы не ставили задачу создать очередной документ о том, как следует проводить тестирование. Наша статья посвящена одному из возможных последствий характерного для нашего времени повышенного интереса к динамическому тестированию, который может привести к тому, что вирусописатели станут уделять больше внимания обходу защиты, обеспечиваемой антивирусными продуктами, а не только противодействию обнаружению вредоносных программ.

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием. Будет также предложен ряд мер, которые позволят тестовым организациям существенно снизить степень риска. [...]

Читаем здесь

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересная статья.

Напомнила давние бесконечные споры по поводу свободной продажи оружия.

Но вывод из этих споров я для себя уже сделал.

Те правительства, которые боятся народа и самих себя - запрещают свободную продажу оружия.

Другие же, доверяют народу и себе и по обоюдной договоренности позволяют друг другу защищать самих себя в дополнение к полициям и т.п.

Нет сомнений, что вирусописатели имеют как желание, так и возможности для проведения собственных подобных тестов.

Простой итог:

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Продукты Касперского, сейчас самые популярные в России и за рубежом достаточно распространены, но я не могу сказать что их продукты "бесполезно-незащитные".

Я бы даже сказал наоборот.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Внедрение динамических тестов влечет за собой новые проблемы. Теперь результаты тестирования имеют большее, чем когда бы то ни было, значение для авторов вредоносного ПО и для их действий. Компаниям, занимающимся компьютерной безопасностью, в их работе по просвещению общественности не следует забывать о главном — защите пользователей.

Нужно прилагать все усилия к тому, чтобы результатом просветительской деятельности не стало ускоренное развитие вредоносного ПО. Первое правило, декларируемое организацией AMTSO в документе об основополагающих принципах тестирования, состоит в том, что тестирование не должно нести опасности для общественности.

Повышенное внимание к технологиям защиты и динамическому тестированию неизбежно ведет к росту информированности, в том числе и со стороны авторов вредоносного ПО. Минимизация риска и предотвращение раскрытия слишком подробной информации в публикуемых результатах тестирования — задача, которая должна решаться на уровне всей отрасли. Решение этой задачи могло бы быть возложено на AMTSO.

Выводы хороши.

"Вся отрасль", прикройся замусоленными словами про заботу о простых пользователях и приучи их верить наслово твоей рекламе со словами непревзойденный уникальный революционный и т.д. уровень защиты от всех видов вредоносного и далее по тексту... Можно подумать что писатели зловредов настолько нищие что сами не в состоянии провести динамическое или какое там угодно тестирование своих произведений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да только Роул Шоуэнберг, забыл упоминуть что пока не тыкнешь некоторых в то что они немогут, они так и не пошевелятся..

да даже если тыкать ничего не измениться, последний тест на активное заражение это отлично показал..

Scan.bd

Детектирование добавлено 11 окт 2006 17:24 MSK

Обновление выпущено 11 окт 2006 18:10 MSK

Поведение Email-Worm, почтовый червь

до сих пор половина не в состоянии его лечить нормально

Agent.ea тоже хз когда появился, но тоже черт знает сколько времени уже назад, до сих пор куча не лечит.

а еще говорят о каких-то сокрытиях, что бы все молчали кто тестирует фиг там не дождетесь..

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот; результаты тестов здесь на anti-malware это убедительно показали...

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если не публиковать детали результатов динамического тестирования, то доверия к нему будет мало. Кому нужны закрытые тесты, тем более под патронажем синдиката антивирусных вендоров?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот

А мож андеграунд учится у отделов стратегического маркетинга?.. =)))

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Зато отправляют "новинки" сразу по вирлабам. Добавят - не добавят но чего бы это писателям зловредов самим себя заранее палить в таком тестовом он-лайн режиме? С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов. Помойму статья пробный камешек насколько юзеры готовы безоговорочно довериться производителям защиты.

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Только доли рынка и будут выступать тогда в подтверждение достоинств тех или иных решений. Ну и еще личное мнение юзера есле ему в лиц.соглашении его публично высказывать "вся отрасль" не запретит. А переписка с техподдержкой будет собственностью вендора.

Как вы считаете если согласиться с автором статьи, выполнить его рекомендации -попрятать от общественности все, но для еще большей путаницы в умах писателей зловредов засекретить и данные про доли рынка ав -кто больше от этого выиграет или проиграет?.. =)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.

А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Если говорить о публичных тестах, то я убежден, что они должны быть максимально открытыми. Это как общественный аудит, можно сколько угодно заявлять о суперзащите и инновациях, но пока не аудит не проведен, то грош этому цена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В это теме Сергей затронул важный аспект про "антивирусный синдикат", у меня сразу возникает основной вопрос:

- Какая целевая аудитория этой статьи? Кому она направлена? "Иным" тестовым лабораториям?

Что касается содержания, то у меня в голове зреют следующие мысли:

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием

1) Риск для кого? И какой? Риск для антивирусных вендоров, ведь их продукты покупают пользователи для защиты. Если это так, что то автор потенциально согласен с тем, что у продуктов имеются значимые проблемы, которые покажет динамический тест.

2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимостью только от антивирусных вендоров и однобокостью развития их компаний.

3) Все публичные исследования и тесты иной раз противоречат стратегии продвижения тех или иных продуктов, поэтому для части вендоров тесты вообще вредны, поэтому краткосрочная цель немного предушить и поумерить пыл дерзких лабораторий, получив какой-то контроль над ними. Эта цель с успехом выполняется, о чем свидетельствует глава "Что могут сделать организаторы тестов?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.
А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Я раньше тоже так думал. Тепер передумал; сарказм seevbon - уместен.

Спрятать определённый круг 'доверенных', 'проверенных годами' бета-тестеров в закрытых разделах не совсем решение, конечно - дело в том, что среди бета-тестеров могут быть как раз те, которые потом передают данные куда не надо. Допустим, нашли багу (не просто кнопку, которая не работает, или деталь интерфейса, которая не смотрится, а реальную дыру в безопасности). А кто заставляет их о ней сообщить? Возможно в других местах получат побольше, чем похвалу или ключик на год. Ни вендор, ни клиенты не будут знать. Так с Майкрософтом уже давно. Разве такое для себя хотим? Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Да, но информация о багах, особенно критичных ни чуть не вреднее для вендора и ее клиентов, чем результаты тестов. Преступники могут принимать решения на основании инфы с багтрекера, тем более, что закрыть некоторые баги бывает не так просто, не говоря уже про то, что может потребоваться переставлять новые сборки/версии у клиентов.

Что касается содержания, то у меня в голове зреют следующие мысли:

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Я вижу несколько причин:

1. Динамическое тестирование было изначально задумано для того, чтобы показать эффективность работы антивирусов по-новому, чтобы там перестали выигрывать одни только Касперские, Ноды и Авиры. Идея динамического тестирования первоначально проталкивалась Symantec.

Идея правильная и здравая, именно по этому сообщество поддержало концепцию динамических тестов и процесс вроде бы пошел. Только первые результаты никого не обрадовали, пости все вместо золотого конфети получили порцию коричневой жижи. Так не интересно, где позитив? Интересы синдиката не соблюдены, надо что-то менять.

2. Незавимых тестеры стали зажаты в бюрократические рамки. Уже заметно, что тестов стало реально меньше. Всегда найдется куча причин сказать, что так тестировать нельзя. Опыт показывает, что все долгие согласования приводят к одному - в итоге теста не будет, ни какого, так как всем не угодишь.

Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимость только от антивирусных вендоров и однобокостью развития их компаний.
Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Думаю автор так не мыслил. Он дестивтельно считает что это благо ((-

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Я ожидал чего-то более ... ммм .. конекретного, нежеле чем это.

Почти ничего не изменилось с начала 2008 года -((

Principle 9: Vendors, testers and publishers must have an active contact point for testing-

relatedcorrespondence

улыбнул принцип.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Dion
      Полностью с вами согласен, что заморачиваться в крайней степени незачем, в наше время всё поставлено на поток и  максимально автоматизировано. У меня ещё не было такого, чтобы посылка не пришла всё вопрос времени, когда быстрее посылка придёт когда медленнее но всегда приходила!
    • rustlakov
      Умные люди всегда найдут на чём заработать и как. Тем более что возможностей заработать деньги в наше время очень и очень большое количество. Только слепой не увидит их. А что уж там говорить про интернет. Он сейчас настолько развит что в нём даже можно уже деньги зарабатывать. Лет десять назад про это ещё никто не знал. Сейчас же ситуация очень изменилась.
    • Pechalka
      Вообще не замарачиваюсь по этому поводу. Где там моя посылка... Заказываю всегда всё заранее и сижу не дергаюсь, на любом сайте указаны сроки доставки, раньше указанного срока даже и не переживаю о посылке и вот до сих пор всё всегда приходило, что-то быстро, что-то не очень. Но в целом меня всё устраивает.
    • Bomborgman
      Точно такая же проблема на Premium-версии.
    • Dion
      Всё таки как далеко продвинулись компьютерные технологии по сравнению с начало девяностых годов когда ещё никто в помине не знал, что будет такое  html. А Сейчас уже наверно каждый дошкольник разбирается круче в компьютере  чем в девяностые старшеклассник!