Перейти к содержанию
p2u

Подводные камни динамического тестирования

Recommended Posts

p2u

Всякий, кто имеет хоть какое-то отношение к антивирусной отрасли, знает, что тестирование антивирусных продуктов — горячая тема. В последнее время ему уделяется много внимания, в особенности после учреждения в мае 2008 года Организации по стандартам в области тестирования — AMTSO (the Anti-Malware Testing Standards Organization).

Мы не ставили задачу создать очередной документ о том, как следует проводить тестирование. Наша статья посвящена одному из возможных последствий характерного для нашего времени повышенного интереса к динамическому тестированию, который может привести к тому, что вирусописатели станут уделять больше внимания обходу защиты, обеспечиваемой антивирусными продуктами, а не только противодействию обнаружению вредоносных программ.

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием. Будет также предложен ряд мер, которые позволят тестовым организациям существенно снизить степень риска. [...]

Читаем здесь

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
696

Интересная статья.

Напомнила давние бесконечные споры по поводу свободной продажи оружия.

Но вывод из этих споров я для себя уже сделал.

Те правительства, которые боятся народа и самих себя - запрещают свободную продажу оружия.

Другие же, доверяют народу и себе и по обоюдной договоренности позволяют друг другу защищать самих себя в дополнение к полициям и т.п.

Нет сомнений, что вирусописатели имеют как желание, так и возможности для проведения собственных подобных тестов.

Простой итог:

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Продукты Касперского, сейчас самые популярные в России и за рубежом достаточно распространены, но я не могу сказать что их продукты "бесполезно-незащитные".

Я бы даже сказал наоборот.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
My(aPo4eK
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
seevbon
Внедрение динамических тестов влечет за собой новые проблемы. Теперь результаты тестирования имеют большее, чем когда бы то ни было, значение для авторов вредоносного ПО и для их действий. Компаниям, занимающимся компьютерной безопасностью, в их работе по просвещению общественности не следует забывать о главном — защите пользователей.

Нужно прилагать все усилия к тому, чтобы результатом просветительской деятельности не стало ускоренное развитие вредоносного ПО. Первое правило, декларируемое организацией AMTSO в документе об основополагающих принципах тестирования, состоит в том, что тестирование не должно нести опасности для общественности.

Повышенное внимание к технологиям защиты и динамическому тестированию неизбежно ведет к росту информированности, в том числе и со стороны авторов вредоносного ПО. Минимизация риска и предотвращение раскрытия слишком подробной информации в публикуемых результатах тестирования — задача, которая должна решаться на уровне всей отрасли. Решение этой задачи могло бы быть возложено на AMTSO.

Выводы хороши.

"Вся отрасль", прикройся замусоленными словами про заботу о простых пользователях и приучи их верить наслово твоей рекламе со словами непревзойденный уникальный революционный и т.д. уровень защиты от всех видов вредоносного и далее по тексту... Можно подумать что писатели зловредов настолько нищие что сами не в состоянии провести динамическое или какое там угодно тестирование своих произведений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

Да только Роул Шоуэнберг, забыл упоминуть что пока не тыкнешь некоторых в то что они немогут, они так и не пошевелятся..

да даже если тыкать ничего не измениться, последний тест на активное заражение это отлично показал..

Scan.bd

Детектирование добавлено 11 окт 2006 17:24 MSK

Обновление выпущено 11 окт 2006 18:10 MSK

Поведение Email-Worm, почтовый червь

до сих пор половина не в состоянии его лечить нормально

Agent.ea тоже хз когда появился, но тоже черт знает сколько времени уже назад, до сих пор куча не лечит.

а еще говорят о каких-то сокрытиях, что бы все молчали кто тестирует фиг там не дождетесь..

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот; результаты тестов здесь на anti-malware это убедительно показали...

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Если не публиковать детали результатов динамического тестирования, то доверия к нему будет мало. Кому нужны закрытые тесты, тем более под патронажем синдиката антивирусных вендоров?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
seevbon
1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот

А мож андеграунд учится у отделов стратегического маркетинга?.. =)))

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Зато отправляют "новинки" сразу по вирлабам. Добавят - не добавят но чего бы это писателям зловредов самим себя заранее палить в таком тестовом он-лайн режиме? С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов. Помойму статья пробный камешек насколько юзеры готовы безоговорочно довериться производителям защиты.

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Только доли рынка и будут выступать тогда в подтверждение достоинств тех или иных решений. Ну и еще личное мнение юзера есле ему в лиц.соглашении его публично высказывать "вся отрасль" не запретит. А переписка с техподдержкой будет собственностью вендора.

Как вы считаете если согласиться с автором статьи, выполнить его рекомендации -попрятать от общественности все, но для еще большей путаницы в умах писателей зловредов засекретить и данные про доли рынка ав -кто больше от этого выиграет или проиграет?.. =)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.

А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Если говорить о публичных тестах, то я убежден, что они должны быть максимально открытыми. Это как общественный аудит, можно сколько угодно заявлять о суперзащите и инновациях, но пока не аудит не проведен, то грош этому цена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

В это теме Сергей затронул важный аспект про "антивирусный синдикат", у меня сразу возникает основной вопрос:

- Какая целевая аудитория этой статьи? Кому она направлена? "Иным" тестовым лабораториям?

Что касается содержания, то у меня в голове зреют следующие мысли:

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием

1) Риск для кого? И какой? Риск для антивирусных вендоров, ведь их продукты покупают пользователи для защиты. Если это так, что то автор потенциально согласен с тем, что у продуктов имеются значимые проблемы, которые покажет динамический тест.

2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимостью только от антивирусных вендоров и однобокостью развития их компаний.

3) Все публичные исследования и тесты иной раз противоречат стратегии продвижения тех или иных продуктов, поэтому для части вендоров тесты вообще вредны, поэтому краткосрочная цель немного предушить и поумерить пыл дерзких лабораторий, получив какой-то контроль над ними. Эта цель с успехом выполняется, о чем свидетельствует глава "Что могут сделать организаторы тестов?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.
А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Я раньше тоже так думал. Тепер передумал; сарказм seevbon - уместен.

Спрятать определённый круг 'доверенных', 'проверенных годами' бета-тестеров в закрытых разделах не совсем решение, конечно - дело в том, что среди бета-тестеров могут быть как раз те, которые потом передают данные куда не надо. Допустим, нашли багу (не просто кнопку, которая не работает, или деталь интерфейса, которая не смотрится, а реальную дыру в безопасности). А кто заставляет их о ней сообщить? Возможно в других местах получат побольше, чем похвалу или ключик на год. Ни вендор, ни клиенты не будут знать. Так с Майкрософтом уже давно. Разве такое для себя хотим? Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Да, но информация о багах, особенно критичных ни чуть не вреднее для вендора и ее клиентов, чем результаты тестов. Преступники могут принимать решения на основании инфы с багтрекера, тем более, что закрыть некоторые баги бывает не так просто, не говоря уже про то, что может потребоваться переставлять новые сборки/версии у клиентов.

Что касается содержания, то у меня в голове зреют следующие мысли:

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Я вижу несколько причин:

1. Динамическое тестирование было изначально задумано для того, чтобы показать эффективность работы антивирусов по-новому, чтобы там перестали выигрывать одни только Касперские, Ноды и Авиры. Идея динамического тестирования первоначально проталкивалась Symantec.

Идея правильная и здравая, именно по этому сообщество поддержало концепцию динамических тестов и процесс вроде бы пошел. Только первые результаты никого не обрадовали, пости все вместо золотого конфети получили порцию коричневой жижи. Так не интересно, где позитив? Интересы синдиката не соблюдены, надо что-то менять.

2. Незавимых тестеры стали зажаты в бюрократические рамки. Уже заметно, что тестов стало реально меньше. Всегда найдется куча причин сказать, что так тестировать нельзя. Опыт показывает, что все долгие согласования приводят к одному - в итоге теста не будет, ни какого, так как всем не угодишь.

Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимость только от антивирусных вендоров и однобокостью развития их компаний.
Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Думаю автор так не мыслил. Он дестивтельно считает что это благо ((-

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st
Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Я ожидал чего-то более ... ммм .. конекретного, нежеле чем это.

Почти ничего не изменилось с начала 2008 года -((

Principle 9: Vendors, testers and publishers must have an active contact point for testing-

relatedcorrespondence

улыбнул принцип.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • PR55.RP55
      https://www.comss.ru/page.php?id=586 При проверке ЭЦП  flash_player uVS выдаёт ошибку. ( в версии для firefox ) https://www.virustotal.com/ru/file/f3fc32449dccf88aed8a7d1f4bf35deb3064a03966f1223bcb1363d56e744b33/analysis/ Это происходит при пополнении базы SHA1 " Добавить хэши исполняемых файлов каталога в базу проверенных..." Но, не всегда.
    • Лукин Вадим
      Пришла мне в голову идея организовать самостоятельное путешествие по некоторым сказочным местам нашей Родины! Было бы здорово, если бы кто-то подсказал, где можно найти нормальные отели? Может есть какая-то прога?
    • Липковский Борис
      Моё отношение к казино вполне положительное, я уже больше полугода играю в слоты на сайте Play Fortuna Уже неоднократно поднимал там приличные деньги и не жалуюсь. Естественно и несколько раз проигрывал, но в каждой игре бывают проигрыши и это вполне нормально. На этом сайте есть разные слоты, их около двухсот штук, можно выбрать любой и на каждом из них высокий шанс выиграть.
    • Dima2_90
      Об особенностях сканирования исполняемых файлов антивирусами и доверии результатам VirusTotal - https://habr.com/post/346480/ Цитаты из статьи "Забавно, детект уменьшился с 60 для неупакованного файла и 41 для архива до 17 — при этом ни один из антивирусных движков не обнаружил Eicar, детекты явно имеют эвристический характер, а в ряде случаев напоминают ложное срабатывание (DrWeb, Baidu и др.)" "6 детектов из 67. Шесть, Карл! Все — эвристические. И скорее всего ничего не подозревающий пользователь посчитает файл безопасным." "современные антивирусные сканеры так и остались барахлом, которым были десяток-два лет назад, абсолютно пасующим перед простейшими видами упаковки кода. Решения в виде тестовых сред — «песочниц», эвристических анализаторов и т.д. только добавили неразберихи, ложных срабатываний, но по сути не защищают от реальной угрозы. Со старым, открытым и разжёванным до потрохов UPX как был бардак — так он и остался. А ведь я вполне мог упаковать не файл, вызывающий вредоносную активность, а непосредственно код, работать не с файлами на диске в %temp%, а в памяти, использовать не свободно доступные утилиты, а собственные или закрытые разработки — и таким образом обойти срабатывание резидентной защиты. Я вполне мог добавить интересные элементы интерфейса или скопировать таковой из распространённой программы — и обойти проактивку у неискушённого пользователя, который просто будет соглашаться с любыми запросами, доверяя тому, что запустил.

      То, что мы сделали выше — примитивный способ обмануть антивирус, который может понять и реализовать практически любой. И он сработал. Что говорить про искушённых специалистов!"
    • Dima2_90
      Ad-Aware --------- https://www.adaware.com/support/securitycenter/report_false_positives.php  Antiy-AVL --------- [email protected] Avast --------------- https://www.avast.ru/false-positive-file-form.php AVG ---------------- https://www.avg.com/ru-ru/false-positive-file-form Avira --------------- https://analysis.avira.com/en/submit BitDefender -------- https://www.bitdefender.com/submit/ ClamAV ------------ http://www.clamav.net/reports/fp DrWeb ------------- https://vms.drweb.ua/sendvirus ESET-NOD32 ------- https://www.esetnod32.ru/support/knowledge_base/new_virus/ Kaspersky --------- https://virusdesk.kaspersky.ru/ Microsoft ---------- https://www.microsoft.com/en-us/wdsi/filesubmission NANO-Antivirus ---- http://nanoav.ru/index.php?option=com_content&view=article&id=15&Itemid=83&lang=ru Symantec ---------- https://submit.symantec.com/false_positive/
×