Перейти к содержанию
Сергей Ильин

Фундаментальные принципы тестирования от AMTSO

Recommended Posts

Сергей Ильин

AMTSO (Anti-Malware Testing Standards Organization) совсем недавно опубликовала документ "AMTSO - Fundamentals Principles of Testing", описывающий фундаментальные принципы тестирования антивирусного ПО. Документ ранее был известен специалистам, но теперь авторы решили выложить его в публичный доступ, чтобы получить комментарии сообщества.

Все кому интересен документ могут с ним ознакомиться

AMTSO__Principles_final_RFC.pdf

Основных принципов получилось девять:

1. Testing must not endanger the public.

2. Testing must be unbiased.

3. Testing should be reasonably open and transparent.

4. The effectiveness and performance of anti‐malware products must be measured in

a balanced way.

5. Testers must take reasonable care to validate whether test samples or test cases

have been accurately classified as malicious, innocent or invalid.

6. Testing methodology must be consistent with the testing purpose and should meet

the needs of the target audience.

7. Test results should be statistically valid.

8. Vendors, testers and publishers must have an active contact point for testingrelated

correspondence.

9. Testers are encouraged to provide relevant feedback to vendors with regard to

observed product deficiencies during a test.

AMTSO__Principles_final_RFC.pdf

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Это всё, что за все время существования AMTSO они сделали? %)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Почему-то в отечественных документах по испытаниям и тестированиям принципов больше и они более понятны и вразумительны

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

помоему к таким фундаментальным принципам пришли на anti-malware.ru почти в самом начале существования ресурса=)) :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Это всё, что за все время существования AMTSO они сделали? %)

Вспомните, сколько уже идет работа над евроконституцией? А тут не прошло и года, как есть черновик с перечисленными принципами. :)

Почему-то в отечественных документах по испытаниям и тестированиям принципов больше и они более понятны и вразумительны

У меня тоже создалось ощущение невнятности документа, слишком много общих слов и абстракции. Хотя, может быть, на этом уровне без этого ни как не обойтись ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Нет, я конечно понимаю что это один из начальных уровней абстракции, но хоть какой то конкретики могли бы достичь. А то блин, я такие списочки за чаем могу сочинять ^_^

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Фундаментальные принципы тестирования от AMTSO обновились

http://www.amtso.org/documents/doc_downloa...of-testing.html

Кроме этого, 31 октября был принят еще один документ "AMTSO Best Practices for Dynamic Testing"

http://www.amtso.org/documents/doc_downloa...ic-testing.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Прошел год, подводим его итоги.

В соответствие с принципами и рекомендациями AMTSO сделаны два теста:

AV-Comparatives.org Whole Product Dynamic Test (декабрь 2009)

AV-Test.Org Real-World Malware Protection Report (декабрь 2009)

Анализ и обсуждение результатов тестов мне лично говорит о том, что их ценность низкая. Почти все антивирусы хорошие, эффективные, просто красота и идилия.

Какие будут мнения на этот счет у сообщества?

Сама идея AMTSO показывает свою несостоятельность? Или просто первый блин комом?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Думаю стоит поглядеть на продолжение подобных тестов- что будет далее, хотябы со следующими линейками (2011) - а так на глаз- первое что интересно- как отбирались семплы, ссылки и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Сама идея AMTSO показывает свою несостоятельность? Или просто первый блин комом?

Ну, я думаю, что первый пробный динамический тест АМ тоже был не до конца продуман сначала. Помнишь, какие были баталии на закрытом форуме?

Фундаментально- всё сделано правильно. Дьявол кроется, как всегда, в мелочах типа отбора семплов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Если столько обсуждается начальная теория, то когда ж дело дойдет до практики.

Или не будет от АМИТСО ни 1 теста? Аля стандарты w3c, которых в принципе нет, ибо нет браузера который их соблюдает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • santy
      согласен, не пользуюсь этим, (удалить только файл, из контекста на полном имени файла) потому наверное и забыл уже. использую только удаление файлов или объектов в контексте Инфо. те, что никак не вписываются в автоскрипт. тогда придется все контекстное меню переносить. например, кто-то захочет проверку на VT/VScan выполнить из Инфо, запретить запуск файла, добавить сигнатуру... и т.д. потому что если удалить сразу файл, то потом уже никак это не сделать.  
    • alamor
      Наугад потыкал на разных файлах, строка в Инфо удалить только сам файл была на всех начиная от системных файлов и заканчивая рассширением браузеров. Так что ваш вывод похоже ошибочен. А прочитать о чём изначально речь не пробовали? Речь как раз про то что это неудобно. Если ещё на одном файле посмотреть ладно, а если хотя бы пять или больше, то уже начинает надоедать туда сюда скакать и ещё после того как вернёшься из Инфо надо смотреть, чтобы случайно на другой строке не кликнуть. Так что наверно оптимальный вариант был бы: 1) Добавить туда по ПКМ список этих команд для тех, кто привык вставлять команды мышкой (вместо того чтобы вернуться в основной список и там ПКМ отдать команду сразу можно будет отдать её из этого окна). 2) Добавить в этом окне поддержку стандартных горячих клавиш удаления и карантина, для тех кто привык вставлять команды горячими клавишами.
    • santy
    • santy
      можно, но только через контекстное меню.  а это все то же дополнительное нажатие ПКМ + еще и стрелку вниз/вверх для выбора элемента меню+ click, так что не факт что это будет проще и быстрее. вообщем рационализация спорная, имхо. можно после просмотра Инфо вернуться в список и использовать уже настроенное меню всевозможных удалений.  
    • PR55.RP55
      Дело то не в этом. Дело в наличие команды:  " Удалить только сам файл" в меню Инфо. значит отдавать команды через меню Инфо. можно. ( Для системных файлов так ,или иначе уже реализована защита ссылок от удаления. ) Вернёмся к теме: " alamor пишет: неудобно, что посмотришь подробную инфу о файле по дабл-клику - примешь решение удалять его. И нельзя сразу из того же окна удалить его (или ссылки на него). Надо выходить из того окна и так. "  
×