Подводные камни динамического тестирования - Общий форум по информационной безопасности - Форумы Anti-Malware.ru Перейти к содержанию
p2u

Подводные камни динамического тестирования

Recommended Posts

p2u

Всякий, кто имеет хоть какое-то отношение к антивирусной отрасли, знает, что тестирование антивирусных продуктов — горячая тема. В последнее время ему уделяется много внимания, в особенности после учреждения в мае 2008 года Организации по стандартам в области тестирования — AMTSO (the Anti-Malware Testing Standards Organization).

Мы не ставили задачу создать очередной документ о том, как следует проводить тестирование. Наша статья посвящена одному из возможных последствий характерного для нашего времени повышенного интереса к динамическому тестированию, который может привести к тому, что вирусописатели станут уделять больше внимания обходу защиты, обеспечиваемой антивирусными продуктами, а не только противодействию обнаружению вредоносных программ.

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием. Будет также предложен ряд мер, которые позволят тестовым организациям существенно снизить степень риска. [...]

Читаем здесь

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
696

Интересная статья.

Напомнила давние бесконечные споры по поводу свободной продажи оружия.

Но вывод из этих споров я для себя уже сделал.

Те правительства, которые боятся народа и самих себя - запрещают свободную продажу оружия.

Другие же, доверяют народу и себе и по обоюдной договоренности позволяют друг другу защищать самих себя в дополнение к полициям и т.п.

Нет сомнений, что вирусописатели имеют как желание, так и возможности для проведения собственных подобных тестов.

Простой итог:

Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Продукты Касперского, сейчас самые популярные в России и за рубежом достаточно распространены, но я не могу сказать что их продукты "бесполезно-незащитные".

Я бы даже сказал наоборот.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
My(aPo4eK
Наиболее популярные "защитные" программы - всегда самые уязвимые и фактически "бесполезно-незащитные".

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
seevbon
Внедрение динамических тестов влечет за собой новые проблемы. Теперь результаты тестирования имеют большее, чем когда бы то ни было, значение для авторов вредоносного ПО и для их действий. Компаниям, занимающимся компьютерной безопасностью, в их работе по просвещению общественности не следует забывать о главном — защите пользователей.

Нужно прилагать все усилия к тому, чтобы результатом просветительской деятельности не стало ускоренное развитие вредоносного ПО. Первое правило, декларируемое организацией AMTSO в документе об основополагающих принципах тестирования, состоит в том, что тестирование не должно нести опасности для общественности.

Повышенное внимание к технологиям защиты и динамическому тестированию неизбежно ведет к росту информированности, в том числе и со стороны авторов вредоносного ПО. Минимизация риска и предотвращение раскрытия слишком подробной информации в публикуемых результатах тестирования — задача, которая должна решаться на уровне всей отрасли. Решение этой задачи могло бы быть возложено на AMTSO.

Выводы хороши.

"Вся отрасль", прикройся замусоленными словами про заботу о простых пользователях и приучи их верить наслово твоей рекламе со словами непревзойденный уникальный революционный и т.д. уровень защиты от всех видов вредоносного и далее по тексту... Можно подумать что писатели зловредов настолько нищие что сами не в состоянии провести динамическое или какое там угодно тестирование своих произведений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

Да только Роул Шоуэнберг, забыл упоминуть что пока не тыкнешь некоторых в то что они немогут, они так и не пошевелятся..

да даже если тыкать ничего не измениться, последний тест на активное заражение это отлично показал..

Scan.bd

Детектирование добавлено 11 окт 2006 17:24 MSK

Обновление выпущено 11 окт 2006 18:10 MSK

Поведение Email-Worm, почтовый червь

до сих пор половина не в состоянии его лечить нормально

Agent.ea тоже хз когда появился, но тоже черт знает сколько времени уже назад, до сих пор куча не лечит.

а еще говорят о каких-то сокрытиях, что бы все молчали кто тестирует фиг там не дождетесь..

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот; результаты тестов здесь на anti-malware это убедительно показали...

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Если не публиковать детали результатов динамического тестирования, то доверия к нему будет мало. Кому нужны закрытые тесты, тем более под патронажем синдиката антивирусных вендоров?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
seevbon
1) В его критике на динамическое тестирование автор предполагает, что андерграунд учится у тестеров. А я боюсь, что как раз всё наоборот

А мож андеграунд учится у отделов стратегического маркетинга?.. =)))

2) Вряд ли зловредописатели пользуются он-лайн мультисканерами для тестирования своих 'продуктов' - там же должно быть известно, что такие сканеры ничего не говорят о поведении этих же антивирусов на реальной машине?

Зато отправляют "новинки" сразу по вирлабам. Добавят - не добавят но чего бы это писателям зловредов самим себя заранее палить в таком тестовом он-лайн режиме? С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов. Помойму статья пробный камешек насколько юзеры готовы безоговорочно довериться производителям защиты.

Извините, но Ваше мнение ошибочно. Распространенность продукта говорит о его востребованности.

Только доли рынка и будут выступать тогда в подтверждение достоинств тех или иных решений. Ну и еще личное мнение юзера есле ему в лиц.соглашении его публично высказывать "вся отрасль" не запретит. А переписка с техподдержкой будет собственностью вендора.

Как вы считаете если согласиться с автором статьи, выполнить его рекомендации -попрятать от общественности все, но для еще большей путаницы в умах писателей зловредов засекретить и данные про доли рынка ав -кто больше от этого выиграет или проиграет?.. =)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
С таким закрытым подходом еще и форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.

А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Если говорить о публичных тестах, то я убежден, что они должны быть максимально открытыми. Это как общественный аудит, можно сколько угодно заявлять о суперзащите и инновациях, но пока не аудит не проведен, то грош этому цена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

В это теме Сергей затронул важный аспект про "антивирусный синдикат", у меня сразу возникает основной вопрос:

- Какая целевая аудитория этой статьи? Кому она направлена? "Иным" тестовым лабораториям?

Что касается содержания, то у меня в голове зреют следующие мысли:

В настоящей статье мы рассмотрим несколько примеров и сценариев и попытаемся оценить риск, связанный с динамическим тестированием

1) Риск для кого? И какой? Риск для антивирусных вендоров, ведь их продукты покупают пользователи для защиты. Если это так, что то автор потенциально согласен с тем, что у продуктов имеются значимые проблемы, которые покажет динамический тест.

2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимостью только от антивирусных вендоров и однобокостью развития их компаний.

3) Все публичные исследования и тесты иной раз противоречат стратегии продвижения тех или иных продуктов, поэтому для части вендоров тесты вообще вредны, поэтому краткосрочная цель немного предушить и поумерить пыл дерзких лабораторий, получив какой-то контроль над ними. Эта цель с успехом выполняется, о чем свидетельствует глава "Что могут сделать организаторы тестов?".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
форумы бета и прочих тестеров прятать надо вместе со списками баг и фиксов.
А вот это я бы порекомедовал обязательно делать. Ни к чему выносить все грязное белье на всеобщее обозрение. Нашли багу - сообщили на закрытом форуме, получили похвалу.

Я раньше тоже так думал. Тепер передумал; сарказм seevbon - уместен.

Спрятать определённый круг 'доверенных', 'проверенных годами' бета-тестеров в закрытых разделах не совсем решение, конечно - дело в том, что среди бета-тестеров могут быть как раз те, которые потом передают данные куда не надо. Допустим, нашли багу (не просто кнопку, которая не работает, или деталь интерфейса, которая не смотрится, а реальную дыру в безопасности). А кто заставляет их о ней сообщить? Возможно в других местах получат побольше, чем похвалу или ключик на год. Ни вендор, ни клиенты не будут знать. Так с Майкрософтом уже давно. Разве такое для себя хотим? Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Чем больше народа смотрит, тем больше шанса, что одна и та же бага находится дважды разными людьми, и возможно один из двух честно сообщит...

Да, но информация о багах, особенно критичных ни чуть не вреднее для вендора и ее клиентов, чем результаты тестов. Преступники могут принимать решения на основании инфы с багтрекера, тем более, что закрыть некоторые баги бывает не так просто, не говоря уже про то, что может потребоваться переставлять новые сборки/версии у клиентов.

Что касается содержания, то у меня в голове зреют следующие мысли:

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Я вижу несколько причин:

1. Динамическое тестирование было изначально задумано для того, чтобы показать эффективность работы антивирусов по-новому, чтобы там перестали выигрывать одни только Касперские, Ноды и Авиры. Идея динамического тестирования первоначально проталкивалась Symantec.

Идея правильная и здравая, именно по этому сообщество поддержало концепцию динамических тестов и процесс вроде бы пошел. Только первые результаты никого не обрадовали, пости все вместо золотого конфети получили порцию коричневой жижи. Так не интересно, где позитив? Интересы синдиката не соблюдены, надо что-то менять.

2. Незавимых тестеры стали зажаты в бюрократические рамки. Уже заметно, что тестов стало реально меньше. Всегда найдется куча причин сказать, что так тестировать нельзя. Опыт показывает, что все долгие согласования приводят к одному - в итоге теста не будет, ни какого, так как всем не угодишь.

Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
2) С созданием AMTSO я еще раз убедился в том, что все входящие в его состав тестовые лаборатории (AV-Comparatives и AV-Test) будут становиться "карманными", то есть со временем будут работать как внешний отдел контроля качества для антивирусных вендоров, а не для предоставление информации реальным пользователям, а также потенциальным. Это обуславливается жестокой финансовой зависимость только от антивирусных вендоров и однобокостью развития их компаний.
Сейчас вроде бы есть у AMTSO уже какие-то документы общего плана, методологию продумывали почти. Проблема только в одном - по этим документам тестировать невозможно. :)

Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

Согласен, все верно. Давайте пойдем по логической цепочке еще дальше и зададим себе вопрос, а зачем вдруг понадобилось по сути прикрывать проект динамического тестирования?

Думаю автор так не мыслил. Он дестивтельно считает что это благо ((-

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st
Если есть у кого возможность достать эти документы общего плана и их методологию ... предлагаю "подогнать" тест под него и первыми и провести. -))

О "невозможности" говорить думаю не стоит ибо: "Вообще, как я понимаю, можно многое интерпретировать в написанном в документах, как понравится."

не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
не они? http://www.amtso.org/documents.html там описано почти один в один, то что на антималвари приняли за методологию=))

Я ожидал чего-то более ... ммм .. конекретного, нежеле чем это.

Почти ничего не изменилось с начала 2008 года -((

Principle 9: Vendors, testers and publishers must have an active contact point for testing-

relatedcorrespondence

улыбнул принцип.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×