Сергей Ильин

Фундаментальные принципы тестирования от AMTSO

В этой теме 11 сообщений

AMTSO (Anti-Malware Testing Standards Organization) совсем недавно опубликовала документ "AMTSO - Fundamentals Principles of Testing", описывающий фундаментальные принципы тестирования антивирусного ПО. Документ ранее был известен специалистам, но теперь авторы решили выложить его в публичный доступ, чтобы получить комментарии сообщества.

Все кому интересен документ могут с ним ознакомиться

AMTSO__Principles_final_RFC.pdf

Основных принципов получилось девять:

1. Testing must not endanger the public.

2. Testing must be unbiased.

3. Testing should be reasonably open and transparent.

4. The effectiveness and performance of anti‐malware products must be measured in

a balanced way.

5. Testers must take reasonable care to validate whether test samples or test cases

have been accurately classified as malicious, innocent or invalid.

6. Testing methodology must be consistent with the testing purpose and should meet

the needs of the target audience.

7. Test results should be statistically valid.

8. Vendors, testers and publishers must have an active contact point for testingrelated

correspondence.

9. Testers are encouraged to provide relevant feedback to vendors with regard to

observed product deficiencies during a test.

AMTSO__Principles_final_RFC.pdf

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Это всё, что за все время существования AMTSO они сделали? %)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Почему-то в отечественных документах по испытаниям и тестированиям принципов больше и они более понятны и вразумительны

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

помоему к таким фундаментальным принципам пришли на anti-malware.ru почти в самом начале существования ресурса=)) :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это всё, что за все время существования AMTSO они сделали? %)

Вспомните, сколько уже идет работа над евроконституцией? А тут не прошло и года, как есть черновик с перечисленными принципами. :)

Почему-то в отечественных документах по испытаниям и тестированиям принципов больше и они более понятны и вразумительны

У меня тоже создалось ощущение невнятности документа, слишком много общих слов и абстракции. Хотя, может быть, на этом уровне без этого ни как не обойтись ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет, я конечно понимаю что это один из начальных уровней абстракции, но хоть какой то конкретики могли бы достичь. А то блин, я такие списочки за чаем могу сочинять ^_^

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Фундаментальные принципы тестирования от AMTSO обновились

http://www.amtso.org/documents/doc_downloa...of-testing.html

Кроме этого, 31 октября был принят еще один документ "AMTSO Best Practices for Dynamic Testing"

http://www.amtso.org/documents/doc_downloa...ic-testing.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Прошел год, подводим его итоги.

В соответствие с принципами и рекомендациями AMTSO сделаны два теста:

AV-Comparatives.org Whole Product Dynamic Test (декабрь 2009)

AV-Test.Org Real-World Malware Protection Report (декабрь 2009)

Анализ и обсуждение результатов тестов мне лично говорит о том, что их ценность низкая. Почти все антивирусы хорошие, эффективные, просто красота и идилия.

Какие будут мнения на этот счет у сообщества?

Сама идея AMTSO показывает свою несостоятельность? Или просто первый блин комом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Думаю стоит поглядеть на продолжение подобных тестов- что будет далее, хотябы со следующими линейками (2011) - а так на глаз- первое что интересно- как отбирались семплы, ссылки и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сама идея AMTSO показывает свою несостоятельность? Или просто первый блин комом?

Ну, я думаю, что первый пробный динамический тест АМ тоже был не до конца продуман сначала. Помнишь, какие были баталии на закрытом форуме?

Фундаментально- всё сделано правильно. Дьявол кроется, как всегда, в мелочах типа отбора семплов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если столько обсуждается начальная теория, то когда ж дело дойдет до практики.

Или не будет от АМИТСО ни 1 теста? Аля стандарты w3c, которых в принципе нет, ибо нет браузера который их соблюдает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • malamut
      Я тоже предпочитаю зарабатывать дома. С игровыми автоматами на этом портале https://vulkan-platinum-777.com/ не нужна никакая другая работа. Доход более чем достаточен.
    • nikolajandriyanov87
      Панели оператора (HMI) — устройства локальной визуализации и взаимодействия с оператором в системах автоматизации промышленности, встречаются на любых типах производств, а также в спецтехнике. Различные режимы эксплуатации и естественный износ оборудования подвергают блоки риску выхода из строя. Любая поломка — это нештатная ситуация для производства, а заказ нового блока сопряжён с серьёзными финансовыми затратами. При этом ремонт оборудования осуществляется в короткие сроки и по цене в 35-50% от стоимости нового блока. Наши контакты для связи по вопросам ремонта и диагностики сервоприводов, сервомоторов, промышленной электроники https://www.remontservo.ru/pages/contacts.html Ремонтируем следующие типы панелей оператора: - простейшие кнопочные; - графические; - сенсорные; - HMI. ПОЛНАЯ ЗАМЕНА ИЛИ РЕМОНТ? Представленные сегодня на рынке модели промышленных мониторов относятся к дорогостоящей технике, ремонт которой практически всегда обходится существенно дешевле замены. Применение OEM-компонентов позволяет сохранить исходные характеристики и обеспечить длительный срок службы. Наконец, существенным фактором в ряде случаев является невозможность найти в свободной продаже технику, снятую с производства. Промышленный компьютер — компьютер со стандартной ОС, содержащий в себе данные для различных промышленных операций. Встречается на любых типах производств. Различные режимы эксплуатации и естественный износ оборудования подвергают блоки риску выхода из строя. Любая поломка — это нештатная ситуация для производства, а заказ нового блока сопряжён с серьёзными финансовыми затратами. При этом ремонт оборудования осуществляется в короткие сроки и по цене в 35-50% от стоимости нового блока. Ремонт промышленных компьютеров осуществляется на уровне компонентов с применением новейшего высокоточного и высокотехнологичного оборудования.
    • fafa
      Как-то совсем стало не понятно куда надо ехать в нынешнем сезоне, как-то снимать квартиру совсем не хочется. Вот думаем, чтобы выбрать какой-то домик возле моря и жить там. Единственное, что нас интересует, то это условия, которые нам будут предложены. Не мало важным вопросом является какой будет цена. А то те варианты, что просматривали, то совсем цена на домик была просто вау огромной! Ехать в Крым также не хотим! Есть советы на что стоит обратить внимание, и куда ехать?
    • fafa
       Сейчас выбор смартфонов просто огромный, но совсем не знаю, какой именно для себя выбрать. Кто что думает по всему этому поводу, может присмотреть что-то из китайских товаров? Я совсем не понимаю зачем переплачивать, когда можно взят не бренд, но по качеству будет совсем не хуже!  Интересно узнать реальные отзывы тех клиентов, кто конкретно купил и начал использовать.
    • Андрей2345
      Барселона - посетил и запомнил навсегда!
      Советую всем