Результаты VB100% - Август 2008

[Александр Шабанов 120]

Щупаем 10%, 15% функционала - и получаем хороший результат.... Приятно, греет сердце... Не получаем результат - как то не греет, правда?

Вот по-моему ключевая фраза

От того, что продукт по факту протестирован или нет, качество улучшается? Резонный ответ, что - нет, если тест пройден успешно.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

Основная тема, по-моему мнению, состоит в том, чтобы обозначить покрытие каждого теста для пользователей результатов, что мы собственно и стараемся делать, разбивая их на критерии качества. Проблема в понимании результатов тестов пользователями, а не в тестах.

Для меня позиция Доктора является не очень удачной, так как лучше участвовать в тестировании и говорить о том, что это 10% функционала, нежели вообще выходить из него по этой причине.

[Valery Ledovskoy 1082]

Осталось найти суть. Не изложите?

Ок. Ещё раз. Суть в том, что возможности тестов ограничены. Как по направлениям тестирований, так и по точности и применимости получаемых результатов. Тестируются "чёрные ящики". При этом весьма сложно организованные. При этом весьма простыми методами. Математические модели методов тестирования антивирусов разваливаются как карточные домики, когда начинаешь их анализировать подробно. При этом сами тесты остаются "чёрными ящиками" - иногда не раскрывается методика, часто не показывается коллекция, никогда не считается точность проведённых измерений, даже не делается попыток её оценить.

Alexandr Shabanov, Вы снова затронули правильный аспект темы. Но все же с выводами я не согласен.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

В том, что пользователи (потенциальные) ничего не хотят знать о том, как были получены результаты и что они отражают. Они смотрят результат, как новости по телевизору. И верят экспертам. Попробуйте человеку, для которого компьютер лишь инструмент или средство развлечения, объяснить, что эксперты из авторитетного журнала VB ошибаются. Да он даже не знает, что это за 10% функционала там тестируется. Они вот будут всегда говорить "но эти же 10% функционала не работают", как говорит alexgr. А если так говорит весьма уважаемый мной эксперт в области ИБ, то что говорить о пользователях? И это большая проблема на самом деле, и никто раскрывать глаза пользователю не собирается. Это сложно и невыгодно большинству вендоров. Те, кто выигрывают - утверждаются в очередной раз, те, кто проигрывают - ну хоть какая-то бесплатная реклама - и то дело.

На этом я заканчиваю свои изливания по данному поводу. Что хотел - сказал. Кто хотел - понял.

[alexgr 556]

если уж к сути. Любая система испытаний складывается из десятков и сотен различных тестов, причем - натурных! Математические модели калибруются по результатам натурного эксперимента и никак иначе. Делается это только для эконосии времени и технических ресурсов, поскольку прорабатывать необходимо вполне определенное, математически выведенное количество точек факторного пространства. Поэтому - некие тесты пперекрывают 4% факторного пространства, некие - 10%, некоторые еще 12%. Однако только скрупулезное сравнение по всему полю показателей может показать реальные результаты того или иного игрока.

Если таких результатов и вовсе нет, то сравнивать то нечего, как вы понимаете. Интуитивное понимание превосходства некоторого эндюзера в данном случае - ничего общего с научным или статистическим подходом не имеют.

ИМХО. Надо было взять тест и после этого красиво уйти. Но это мое личное мнение.

[Zyx 45]

Вот по-моему ключевая фраза

От того, что продукт по факту протестирован или нет, качество улучшается? Резонный ответ, что - нет, если тест пройден успешно.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

Основная тема, по-моему мнению, состоит в том, чтобы обозначить покрытие каждого теста для пользователей результатов, что мы собственно и стараемся делать, разбивая их на критерии качества. Проблема в понимании результатов тестов пользователями, а не в тестах.

Для меня позиция Доктора является не очень удачной, так как лучше участвовать в тестировании и говорить о том, что это 10% функционала, нежели вообще выходить из него по этой причине.

Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Доктор вышел потому, что из нескольких тысяч вирусов(иногда и десятков тысяч) появляющихся за месяц, в тестировании участвуют сотни, причем присланные определенными людьми из определенных компаний. Чего непонятного то?

Доктор из своих коллекций ничего не присылает и специально под тесты не затачивается, видимо это не очень им надо (есть множество более важных и интересных задач)

А то что из ~10000 любой антивирус не детектирует всего (и даже близко к всему) объяснять помоему и не надо (хотя посмотрев вашу дискуссию кажется что в яслях оказался).

[dot_sent 140]

Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Доктор вышел потому, что из нескольких тысяч вирусов(иногда и десятков тысяч) появляющихся за месяц, в тестировании участвуют сотни, причем присланные определенными людьми из определенных компаний. Чего непонятного то?

Доктор из своих коллекций ничего не присылает и специально под тесты не затачивается, видимо это не очень им надо (есть множество более важных и интересных задач)

А то что из ~10000 любой антивирус не детектирует всего (и даже близко к всему) объяснять помоему и не надо (хотя посмотрев вашу дискуссию кажется что в яслях оказался).

Все эти аргументы уже неоднократно обсуждались на форуме и были приняты всеми участниками дискуссии. Но несмотря на все это, VB ещё сохраняет останки былого авторитета (среди простых пользователей) и потому вообще не считаться с ним пока нельзя.

[Сергей Ильин 1538]

Zyx, только вот на днях написал на эту тему в своем блоге

http://www.anti-malware.ru/node/464

[alexgr 556]

Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Это типа мимо проходило оф. лицо? Или лицо официальное, а фраза неофициальная, через папарацци попавшая в прессу?

Эт первый вопросик....

Второй = отказавшись от каких - либо тестов - как будете показывать свой "лучшизм"? эсклюзивность так сказать....?

третье - и основное - сотрудником компании был поставлен вопрос, на который я и ответил. Есть ГОСТы по системам испытаний. Есть подходы к оценкам -на уровне ТУ. Есть мнение сотрудника компании, который ставит математические модели впереди натурных экспериментов. напомню - Есть раздел знаний - названный "Теорией сложных (или больших) систем". Там про тесты написано ох! как много. Таким образом - вы там для себя опеределитесь, нужны ли тесты вообще -эт первое, какова схема тестирования сложной системы -я полагаюсь здесь на ГОСТ, бо они писаны кровью. Антивирус ведь сложная система? Сложная!

Не надо вводить веса за показатели - глупо, писал не единожды....Ведь вес показателя - даже определенный экспертом - не более, как его мнение, а в практике.... таких экспертов долно быть в таком случае много, штук (голов) 100-250, чем более - тем лучше!

Далее. И главное. перед тем, как говорить о ненадежности теста - следует рассказать, какие предложения имеете. Имеете? Результаты тестов по методике имени Гребенюка, полученные компанией в обход правообладателя - юридически называются? второе - использование их в PR материалах как обзовем?

Таким образом - мое мнение - перед тем как выходить из системы, надо было тест таки взять.... А потом был бы повод говорить о ненадежности теста.

А так - не взявши последних (сколько? может уже с УНА сравнялись?) говорить о ненадежности, затребовав из Киева материалы тестов по внутренней методике (которую ваш покорный слуга из банка приволок) мегов эдак на десяток архива.....Ну смешно....

И последнее - есть аргументы против комплексности испытаний? Модераторы, давайте откроем новую ветку.

[p2u 824]

перед тем как выходить из системы, надо было тест таки взять.... А потом был бы повод говорить о ненадежности теста.

Согласен; было бы сильнее так поступать. Хотя - кто слушал бы на самом деле разумные аргументы, когда 'Компьютерная Безопасность' стала что-то вроде религией и маркетинговой войной?

С аргументами Доктора я согласен. Иду даже дальше: пока не изменится система API в Windows, такие тесты ('кто ловит больше в стерильных условиях') ничто иное как пустая показуха продуктов участников друг против друга. Вывод для меня всегда один и тот же: 'Дорогой клиент - продукт А (хотя набрал 100%) вас не может защищать, а продукт Б ещё хуже'. Я возражаю (во имя всех бедных юзеров-чайников) против таких 'эталонов', потому что простой народ всё равно смотрит на результаты таких тестов. На самом деле это относится ко ВСЕМ существующим тестам по продуктам безопасности (включая ликтесты для файрволов). Я очень рад, что наконец-то кто-то делает первый (смелый!) шаг, и отказывается участвовать в этом цирке... Можно такие тесты создать, что никто их не проходит даже на 25%. Но естественно тогда и продукты безопасности хуже будут продаваться...

Когда мы покупаем, допустим, машину, ни у кого нет сомнения, что тормоза будут работать, что двери будут нормально закрываться, что ремень безопасности работает. Но это в рекламах не является параметрами для продажи. Прошёл коммисию - если машина не соотсветствует нормам, значит её даже продавать нельзя как таковой. Для этого существуют международные нормы. То, что антвирус в стерильных условиях что-то должен ловить, это как бы само собой разумеется, и не должно быть предметом тестирования.

Теперь надо всё-таки что-то предлагать.

1) Даже если тесты оставить как игрушки для экспертов, надо их убрать как средство маркетинга, потому что они вводят пользователей в заблуждение. Пусть будет форумы, конгрессы, где такие вещи обсуждаются, и всё такое, мне всё равно. Должно быть запрещено даже ссылаться на успех в таких тестах в целях маркетинга.

2) Против тестов по лечению не возражаю, хотя программы/утилиты, которые это лучше всего умеют - бесплатные, и даже не являются 'полноценными антивирусными решениями'.

3) Я это раньше уже в другом месте писал: Надо бы организовать тесты в он-лайн. У всех та же ОС с настройками по умолчанию, с теми же обновлениями, теми же дырявыми модулями ActiveX от всяких прееров и ридеров, которые у всех стоят, и заранее составить список определённых адресов в Интернете, где средний пользователь может заразиться. Экспертам список будет известен - участникам теста - нет. 'За рулём', естественно, не будут сидеть эксперты (те должны только наблюдать), а простые чайники. Пусть щёлкают по инструкциям (теперь туда, теперь туда, etc.). В реакции юзеров на работу программ защиты никто не имеет права вмешиваться. Через неделю посмотрим, что у кого осталось от системы с разными продуктами защиты и делаем выводы.

4) Надо бы создать хотя бы один тест, где сами пользователи (не бэта-тестера, а чайники) решают, какой продукт кажется им самым удачным по удобству, качеству алертов, и т.д.

5) Надо бы организовать ещё рейтинг: какая компания из всех наилучшим образом обслуживают своих клиентов когда появляются провалы в защите, какая компания делает усилия для того, чтобы обучать своих клиентов, не только по пользованию продуктов, а ещё по общим принципам защиты ОС. Знаю, что Symantec была одна из первых (если не самая первая), которая начала говорить о том, что можно и нужно отключить ненужные службы Windows. Похвала за это Symantec. Сейчас я знаю, что ЛК и Доктор Веб делают очень хорошие усилия в данном направлении. Короче - придумать можно много всего, лишь бы желание было...

P.S.: Всем веднорам: Самое главное - в моих глазах должно быть больше впечатление, что вы хотите помогать клиенту защищать себя, а не просто подсунуть очередное обновление продуктов, которое ещё более конкурентоспособным никому ненужными фичами...

Простите за, возможно, чрезмерно резкий подход к делу и за, возможно, не-русские обороты.

Paul

[Valery Ledovskoy 1082]

alexgr, постараюсь коротко изложить свои мысли по сказанному, насколько это возможно, т.к. в Вашем сообщении есть много новой пищи для размышлений.

1. Права на интеллектуальную собственность, произведённую на работе, принадлежат работодателю. Мне, как и любому человеку, продающему за зарплату плоды интеллектуальной деятельности, это не нравится, но таковы законы.

2. Да, теория сложных систем есть. Но тут большой нюанс. Есть книжки по основам теории сложных систем, в которых лишь раскрывается суть проблемы. И есть множество трудов, посвящённых различным сложным системам и попыток их описать простыми методами. У всех из этих методов есть недостатки, иначе не было бы столько трудов, противоречащих часто друг с другом, посвящённых каждой из этих сложных систем и использующих совершенно различные методы, использующиеся для описания каждой из этих систем. Антивирусные системы в этом плане (в плане вписывания их в общую теорию сложных систем и серьёзного изучения) пока малоизучены, я бы сказал, даже находятся в начальной стадии исследования. Причин тому много - высокая динамика как изменения в функциональности/возможностях вирусов, так, соответственно, высокая динамика в изменении функциональности антивирусных продуктов. Т.е. подробно изучить эти системы просто нет времени. И этим на данный момент пользуются авторы антивирусных тестов, предлагающие методики, которые не соответствуют ни то, что там какому-то ГОСТу, но никак вообще не обосновываются. Примерно это выглядит сейчас так: "Мы тут набрали каких-то сэмплов, которые насобирали за последний год, как-то их просканировали, вот такая у нас методика, как нам кажется, правильная (а другой нету у нас), получили такие вот результаты. Раз другого никто ничего не предлагает, то и не нужно спорить. Сейчас отдадим результаты в СМИ, и дело с концом. И ещё пусть вендоры скажут спасибо за то, что мы тут натестировали". Мне кажется, что тут есть несколько принципиальных моментов, с наличием которых я не могу согласиться.

3. Если нечего на данный момент противопоставить существующим тестам, то это не значит, что можно использовать для тестирования необоснованные методы. Вернее, использовать-то можно. Пользователям не нужно показывать. Ибо неверные результаты влияют на целевую аудиторию пользователей, чем могут навести весьма конкретный материальный ущерб. Не тестировщикам, которые всегда окажутся в выигрыше, а вендорам, которые пытаются бороться с тестировщиками - либо пытаясь соответствовать методикам тестирований, либо не участвуя в тестах. Это как игра на бирже ценных бумаг. Если ты играешь, то можешь выиграть или проиграть, а брокеры всё равно останутся в доходе.

4. Экспертами в области оценки антивирусов являются пользователи. Антивирусные продукты от военной техники отличается тем, что военная техника (сложная военная техника) делается для экспертов, создаётся экспертами, и оценивается тоже экспертами. С антивирусами несколько иначе. Антивирус создаётся для пользователя. Один пользователь более коммуникабельный, жаждущий знаний. Тот может и на бесплатном решении сидеть. Да, пусть много фолсов и малый детект. Но общение на соответствующих форумах, надлежащий уход за системой, несколько специализированных утилит достаточно, чтобы этот пробел восполнить. И этого пользователя этот бесплатный антивирус вполне устраивает. Другой пользователь не столь общительный - не общается с техподдержкой, ничего не отправляет в вирлаб, использует только лишь, собственно, антивирусное ПО, на которое полагается полностью. При этом изредка неверно отвечает на вопросы антивируса. И для него все антивирусы раньше или позже оказываются плохими. Он скачет с одного антивируса на другой в надежде найти лучший антивирус или же пытается использовать все антивирусы одновременно (есть у меня такой знакомый, который на множестве разделов установил множество ОС, в каждой свой антивирус, которые постоянно обновляет и сканирует весь винчестер, каждым антивирусом. Вот уже год мне не удаётся его переубедить. Обещает попробовать использовать что-то одно, но так и не делает это. Общаться на форумах производителей антивирусов тоже не хочет. Есть третий тип пользователей. Которые выбирают одно из платных решений и используют все ресурсы - техподдержку, вирусную лабораторию, официальный форум производителя, пытаются даже найти контакты с сотрудниками производителей антивируса, т.е. подходят к защите системно, используют все предлагаемые ресурсы, и человека снова же всё устраивает, но он тратит на антивирусную защиту своего компьютера меньше времени сил, чем первый и второй тип пользователей, перечисленных здесь.

Но тут приходят результаты теста. Что они делают? Они искусственно уравнивают всех пользователей, влияют на их мнение. При этом основаны эти результаты на 10% функционала, при этом точность измерений уровня детекта 10-20%, но чтобы получить в нём медаль, нужен детект 100% на выбранной коллекции.

5. Можно ли показать без тестирований, что тот или иной антивирусный продукт лучше для конкретного пользователя? Да, можно. Через пробное использование этих продуктов. Возможностям и требованиям каждого пользователя лучше подходит той или иной продукт. Благо, выбрать сейчас есть из чего. Сначала нужно выбирать грубо. Если нужна быстрореагирующая русскоязычная поддержка, то бесплатные продукты вычёркиваются. На них даже не нужно смотреть. Если нужен русскоязычный интерфейс - ещё часть отметается. Если нужна поддержка х64 - ещё одна часть отметается. Если компьютер слабый - ещё часть отметается. И уже на этом этапе остаётся всего несколько решений, каждое из которых можно опробовать и принять окончательное решение.

Люди же (как пример сложной системы) как-то выбирают, с кем им общаться? Сначала грубо - доступен/недоступен для постоянного общения, согласен/несогласен человек общаться, мужчина/женщина, ребёнок/подросток/мужчина(женщина)/старик, бомж/нищий/среднестатистический достаток/средний класс/зажиточный, ну и т.д. Остаётся не так уж много вариантов. И дальше снова начинается проба. Человек пробует общаться с теми людьми, которые ему нравятся. Если обнаружатся какие-то неприятные особенности, происходит разрыв отношений и дальнейшие поиски.

Т.е. пользователю не нужны тесты для того, чтобы выбрать продукт. Тесты нужны вендорам, которые в них могут выиграть. Тесты нужны тестировщикам, чтобы получить за тестирование свою прибыль, ну или, если тест сделан на чистом энтузиазме, сказать себе - какой я молодец!

p2u, я в последнее время думаю весьма часто над тестом, который позволил бы по его результатам помочь пользователям в выборе продукта (хотя, как я уже показал, для пользователя наличие тестов не критично). И Ваши мысли во многих местах пересеклись с моими в Вашем последнем сообщении. Спасибо.

[Илья Рабинович 521]

2) Против тестов по лечению не возражаю, хотя программы/утилиты, которые это лучше всего умеют - бесплатные, и даже не являются 'полноценными антивирусными решениями'.

Одна поправка, Паул- потенциал этих утилит раскрывается лишь в умелых руках. В руках чайника они подобны гранате с выдернутой чекой.

3) Я это раньше уже в другом месте писал: Надо бы организовать тесты в он-лайн. У всех та же ОС с настройками по умолчанию, с теми же обновлениями, теми же дырявыми модулями ActiveX от всяких прееров и ридеров, которые у всех стоят, и заранее составить список определённых адресов в Интернете, где средний пользователь может заразиться. Экспертам список будет известен - участникам теста - нет. 'За рулём', естественно, не будут сидеть эксперты (те должны только наблюдать), а простые чайники. Пусть щёлкают по инструкциям (теперь туда, теперь туда, etc.). В реакции юзеров на работу программ защиты никто не имеет права вмешиваться. Через неделю посмотрим, что у кого осталось от системы с разными продуктами защиты и делаем выводы.

Фактически, такой тест уже делает Сергей. Берутся линки, анализируются на предмет зловредов на той стороно, после чего на них натравливается человек с виртуалкой, под которой крутится средство безопасности. Этот человек, конечно, не "простые чайники", но по сути и не профи.

4) Надо бы создать хотя бы один тест, где сами пользователи (не бэта-тестера, а чайники) решают, какой продукт кажется им самым удачным по удобству, качеству алертов, и т.д.

Ага, вот только он должен быть вендоронезависимым. Кто будет оплачивать время разработчиков?

[p2u 824]

Одна поправка, Паул- потенциал этих утилит раскрывается лишь в умелых руках. В руках чайника они подобны гранате с выдернутой чекой.

По-любому не надо оставлять пользователя один на один со зверьями - для лечения систем неумелых пользователей существуют ресурсы подобны virusinfo.info. Количество запросов о лечении доказывают, что традиционные антивирусные программы не справляются не только с обнаружением, но и с лечением. Причём, приходят только те пользователи, которые набрали смелость и терпение выполнить правила форума. Что с остальными? Они либо являются частью Ботнета, либо переустанавливают систему.

Фактически, такой тест уже делает Сергей. Берутся линки, анализируются на предмет зловредов на той стороно, после чего на них натравливается человек с виртуалкой, под которой крутится средство безопасности. Этот человек, конечно, не "простые чайники", но по сути и не профи.

Боюсь, что условия всё-таки слишком 'стерильными'. Пока у меня доказательств нет, но я верю, что виртуальная система и программы, которые установленны на ней, реагируют не так, как реагирует физическая система с теми же программами.

Может быть я пропустил, но я, например, тоже не видел в таких тестах, какие именно модули ActiveX (add-ons и plug-ins) установлены - чистая установка Windows тоже не отвечает требованиям реальности. Нельзя отрицать, что плееры и ридеры играют часто жизневажную роль в заражении - эксплойты часто направлены против них, а не против браузера. Если запускается эксплойт против них, то тогда система начинает 'дуреть', и антивирус, который ловил ВСЁ на тестах оказывается бессильным.

Ага, вот только он должен быть вендоронезависимым. Кто будет оплачивать время разработчиков?

Я в этом плане - оптимист; деньги найдутся на это если спонсор(ы) видит (или видят) в этом что-то привлекательное для себя. Единственное, что может мешать - неумение с нашей стороны 'продавать' идею.

Paul

[Илья Рабинович 521]

По-любому не надо оставлять пользователя один на один со зверьями - для лечения систем неумелых пользователей существуют ресурсы подобны virusinfo.info.

Угу, где сам пользователь играет, скорее, роль "а теперь делай всё так, как я, хелпер, скажу".

Боюсь, что условия всё-таки слишком 'стирильными'. Пока у меня доказательств нет, но я верю, что виртуальная система и программы, которые установленны на ней, реагируют не так, как реагирует физическая система с теми же программами.

Да, безусловно. Проблема в том, что через физическую систему прогонять сотню- другую зловредов долго.

Может быть я пропустил, но я, например, тоже не видел в таких тестах, какие именно модули ActiveX (add-ons и plug-ins) установлены - чистая установка Windows тоже не отвечает требованиям реальности. Нельзя отрицать, что плееры и ридеры играют часто жизневажную роль в заражении - эксплойты часто направлены против них, а не против браузера. Если запускается эксплойт против них, то тогда система начинает 'дуреть', и антивирус, который ловил ВСЁ на тестах оказывается бессильным.

Обычно, в реальности, против малоизвестных продуктов никто не пишет эксплойты- это экономически невыгодно. Всегда можно поставить на машину самые ходовые программы, против которых есть эксплуатирующий код. Более того, можно проанализировать код взламывающей странички и посмотреть набор эксплойтов, в неё входящий.

Я в этом плане - оптимист; деньги найдутся на это если спонсор(ы) видит (или видят) в этом что-то привлекательное для себя. Единственное, что может мешать - неумение с нашей стороны 'продавать' идею.

Так "продать" идею- это и есть самое сложное. И оптимизм здесь мало поможет. Нужно искать "спонсоров".

[p2u 824]

Угу, где сам пользователь играет, скорее, роль "а теперь делай всё так, как я, хелпер, скажу".

Естественно, если юзер приказывает антивирусу 'удалить' или 'лечить', и при следущей загрузке Windows зверь опять в системе... Даже если пользователь знает, что, возможно, надо бы отключить Восстановление Винды, это часто лишь незначительная часть решения.

Да, безусловно. Проблема в том, что через физическую систему прогонять сотню- другую зловредов долго.

Мой аргумент немного о другом - время реакции процессов должно быть разным.

Обычно, в реальности, против малоизвестных продуктов никто не пишет эксплойты- это экономически невыгодно. Всегда можно поставить на машину самые ходовые программы, против которых есть эксплуатирующий код. Более того, можно проанализировать код взламывающей странички и посмотреть набор эксплойтов, в неё входящий.

Я лишь говорю об общепринятых приложениях - Flash Player, QuickTime Player, Real Player, Adobe Reader, Sun Java, etc.

Так "продать" идею- это и есть самое сложное. И оптимизм здесь мало поможет. Нужно искать "спонсоров".

Я готов в этом по возможности содействовать. Надо будет организовать сначала 'мозговой штурм' - Что 'продадим'? То есть - как можно человека или группу людей интересовать в этом? Как только это будет ясно - найдутся деньги.

P.S.: Один человек в одиночку это, скорее всего, не сможет осуществлять, но если объединять усилия, то тогда...

Paul

[Иван 290]

Paul предлагает расширение динамического теста, проводимого сейчас АМ, на фокусгруппу реальных юзеров с реальными компами.

имхо на такой тест будет стоить как минимум штук 20 баксов, учитывая его продолжительность во времени может больше.

да такие деньги теоретически можно собрать с вендоров, но только теоретически

все закончится еще на этапе выбора исполнителей, вендоры перегрызутся еще на этом этапе

[alexgr 556]

1. Права на интеллектуальную собственность, произведённую на работе, принадлежат работодателю. Мне, как и любому человеку, продающему за зарплату плоды интеллектуальной деятельности, это не нравится, но таковы законы

неправда ваша.... Не принадлежит. особенно, ежели до того было зарегистрировано и опубликовано. Подчеркиваю - ДО. Есть и доказательства в виде журнальной статьи, которая - кстати - весьма ценится в узком круге тестеров. И более того - это ваше заблуждение. Например, ваша диссертация остается вашей - а не компании "доктор Веб", хотя писана в эпоху вашей работы компании. Nicht Wahr?

3. Если нечего на данный момент противопоставить существующим тестам, то это не значит, что можно использовать для тестирования необоснованные методы. Вернее, использовать-то можно. Пользователям не нужно показывать. Ибо неверные результаты влияют на целевую аудиторию пользователей, чем могут навести весьма конкретный материальный ущерб. Не тестировщикам, которые всегда окажутся в выигрыше, а вендорам, которые пытаются бороться с тестировщиками - либо пытаясь соответствовать методикам тестирований, либо не участвуя в тестах. Это как игра на бирже ценных бумаг. Если ты играешь, то можешь выиграть или проиграть, а брокеры всё равно останутся в доходе.

Вот пользователи и спросят. Где оно? Где суть эсклюзивности? Все берем? Или таки не все? С чем сравните?Или сранивать бум с ложным антивирусом? Что тоже можно.....

И доведем продукт, выпавший из системы к http://cnews.ru/news/top/index.shtml?2008/07/22/309182

Можно и не играть -значит, ваши бумаги стали мало интересными - по аналогии с биржей

Можно ли показать без тестирований, что тот или иной антивирусный продукт лучше для конкретного пользователя? Да, можно.

посмеемся? Дать сэмплики? А они в конкретной зоне живучи..... Не берете. Ответ - ставим иной - и он вытащит этих зверят. И потенциальный юзер будет со смехом идти мимо горы коробок в магазинах со словами.....Не берете простого виря, в тестах не участвуете... в общем, закат солнца имени УНА. Хотя их я очень уважаю.

И последнее. как математику - да, не хотите заметить книжку Шаракшанэ - Дайте плз, альтернативу. Это научно. Не даете - не плодите флуд А просто нет у вас альтернативы - Сергей Шаракшанэ и к создали систему, а увас ее просто нет. Используйте, что есть, которое обкатано и проверено, причем опять же математикой. не имеете альтернативы- ?

5) Надо бы организовать ещё рейтинг: какая компания из всех наилучшим образом обслуживают своих клиентов когда появляются провалы в защите, какая компания делает усилия для того, чтобы обучать своих клиентов, не только по пользованию продуктов, а ещё по общим принципам защиты ОС. Знаю, что Symantec была одна из первых (если не самая первая), которая начала говорить о том, что можно и нужно отключить ненужные службы Windows. Похвала за это Symantec. Сейчас я знаю, что ЛК и Доктор Веб делают очень хорошие усилия в данном направлении. Короче - придумать можно много всего, лишь бы желание было...

легко. Тест на быстродействие примерно таков. И уровень саппорта важен как №1. все это важно. Я написал - как нужно подходит к комплексной оценке -давайте, подумаем над оценкой уровня саппорта. Тем более, что снова есть нюансы. Допустим, уровень обращений по ложному детекту... Особенно на базовых бизнес - системах. То есть "probably infecned by COM/TSR virus@ на чистом txt файле - это как оценивать? Но есть примеры и похуже....Повесомей - для большой бизнес - структуры отсутсвие старта АС компании из=за антивируса - это уже денежный эквивалент.

[alexgr 556]

и повторюсь - сыпать дерьмо не тестеров, не прошедшему последние Х тестов - смешно. Взявшему и вышедшему- позволительна критика.

[Valery Ledovskoy 1082]

неправда ваша.... Не принадлежит. особенно, ежели до того было зарегистрировано и опубликовано. Подчеркиваю - ДО. Есть и доказательства в виде журнальной статьи, которая - кстати - весьма ценится в узком круге тестеров. И более того - это ваше заблуждение. Например, ваша диссертация остается вашей - а не компании "доктор Веб", хотя писана в эпоху вашей работы компании. Nicht Wahr?

Моя диссертация абсолютно не связана с моей деятельностью в "Доктор Веб", ибо находится в области математического описания гидродинамических процессов, и начинала создаваться за 4 года до работы в "Доктор Веб".

Если Ваши материалы по теме работы в "Доктор Веб" были опубликованы и зарегистрированы до работы в "Доктор Веб", то здесь всё ок. Я подробностей знать не могу. Я просто напомнил о том, что законы такие существуют.

не хотите заметить книжку Шаракшанэ

Спасибо за наводку на Або Сергеевича. Но книжки довольно таки устаревшие, хотя я взгляну на них. По нашей тематике подходят:

1. Шаракшанэ А.С., Шакин В. П., Халецкий А. К. Испытания программ сложных автоматизированных систем. — М.: Высшая школа, 1982.

2. Шаракшанэ А.С., Халецкий А.К., Морозов И.А. Оценка характеристик сложных автоматизированных систем. — М.: Машиностроение, 1993.

Не думаю, правда, что там учитывается специфика антивирусов и ориентированность ПО на неподготовленного пользователя. Но в качестве материала для размышлений - вполне себе интересная ссылка. Возможно, можно будет от этого материала оттолкнуться, но потом обязательно добавить изучение эргономики продуктов и психологии пользователя. Всё это поддаётся изучению, но в этих книжках наверняка этого нет.

Кстати, используете ли Вы материал этих книжек в своей настоящей деятельности по тестированию антивирусного ПО?

Используйте, что есть

Не согласен. Сначала деньги, потом стулья. Ракета не полетела в космос, пока соответствующие разделы физики/химии и прочих наук не были достаточно исследованы, пока не было совершено множество серьёзных ошибок и просчётов. На том, что было изначально, сразу взлететь не получилось. Использовать в нашей тематике того, что есть, возможно только лишь потому, что здесь не нужно никуда взлетать. Ошибки ни к чему вроде бы плохому не приводят. Только лишь к желанию не участвовать в тестах.

Если есть у Вас есть теоретическая база, на которой можно создать корректное тестирование антивирусов, нужно эту базу рассмотреть, добавить недостающие компоненты. Да, потратить пару десятков килобаксов (это немного на самом деле в контексте всех вендоров, которые могут участвовать в таком тесте, если им подробно осветить справедливость этого тестирования), и сделать тест, который показывает степень защиты информации конкретного пользователя от реальных вредоносных программ, с которыми он сталкивается.

имхо на такой тест будет стоить как минимум штук 20 баксов, учитывая его продолжительность во времени может больше.

да такие деньги теоретически можно собрать с вендоров, но только теоретически

Самое смешное, что тесты гораздо сильнее влияют на доход вендоров

И вот тут снова встаёт вопрос об оправданности проведения тестов в существующем виде.

Ибо их проведение сейчас почти ничего не стоит, но много на что влияет.

посмеемся? Дать сэмплики?

Вы до сих пор думаете, что такие сэмплики можно найти только для одного антивируса? Такие же ровно сэмплики можно найти для любого продукта, проходящего сейчас VB. И результаты VB это показывают (колонки правее первой).

Все берем? Или таки не все?

Кто-то берёт всё? Почему-то те сэмплы, которые ко мне попадают в последнее время (а это сэмплы, которые встречаются реально у пользователей заражённых компьютеров, использующих разные антивирусы), судя по virustotal.com, определяют на момент проверки сразу после вытаскивания с заражённой системы от 0 до 75% (весьма редко) антивирусов. При этом антивирусы, которые не детектят эти новые сэмплы, меняются в шахматном порядке. Итого, пропускают все, и часто. Какие там 100% или даже 97%, какое там VB100? Пора в реальный мир вернуться.

Взявшему и вышедшему- позволительна критика.

После недавнего комментария Сергея Ильина к тесту VB мне вот это "взять, а потом уйти" не кажется столь уж необходимым. Хотя и до этого я в этом необходимости не видел. Если методика не соответствует, то зачем "хлопать дверью"? Бред давать VB100 антивирусам, не берущим 25% коллекции троянов. Они, наверное, не in the wild, а Ваши "простые сэмплы", которые не берёт Dr.Web, они, наверное in the wild по классификации VB. Я подозреваю, что их в коллекции VB вообще нет.

[alexgr 556]

Я подозреваю, что их в коллекции VB вообще нет.

я не эксперт wildlist.org. Поэтому дополнять не могу. Но всегда имею несколько образцов для 6-7 антивирусов, которых они не видят. Книги Шаракшанэ Использую, потому что кроме них в теории сложных систем и их испытаний- мне не попадалось ничего более фундаментального.

И - об испытаниях. Подвергаются испытаниям все заявлнные функциональности, а также те, которые не заявлялись, но могут иметь существенное влияние на применимость. Потому - эргономика вегда проверялась. Поэтому для начала делается декомпозиция показателей, формируется для каждого методика и проводятся испытания.

То есть - тест Клементи - показывает некий показатель, тест на лечение активного заражения - тоже, но иной, тест на детект - тоже. И даже нагрузочный тест, который мы обозвали тестом на быстродействие - тоже дает свою характеристику продукта. И когда мы получим с два - три десятка таких показателей - можно реально сравнивать продукты по множеству показателей. Именно таким образом сравнивают например образцы вооружений. Иначе детский разговор, что "наш танк лучше, потому что быстроходнее" - актуален. Или спор о том, что ИС2 лучше "Тигра", потому калибр орудия 122 мм, а у "Тигра" всего 88. А скорострельность? А дульная энергия орудия? и получилось, что пока ИС перезаряжает пушку, немец успевал сделать три выстрела.

Когда показателей нет вовсе - спор о качестве продукта носит характер спора бенедиктинцев и францисканцев об имуществе Христа.

[Valery Ledovskoy 1082]

alexgr, спасибо, в общем и целом с Вами согласен. Метод декомпозиции сложной системы и изучение отдельных срезов вполне годится.

Что мне при этом не нравится.

1. Пользователи, как правило, не видят всех тестирований и не могут составить потом некую композицию. Как правило, они читают некие журналы (печатные или электронные), в которых публикуются статьи, в которых антивирусы ранжируются по одной характеристике с использованием одной методики. При этом в таких статьях недвусмысленно раздаются продуктам награды. Именно продуктам, а не конкретной характеристике, проверенной по конкретной методике. По крайней мере, многие пользователи это видят так. И задают соответствующие вопросы.

2. Эксперты тоже не могут составить некую композицию полученных разрозненных результатов, т.к. имеют разные взгляды на важность того или иного компонента сложной системы. Кроме того, многим экспертам в области ИБ, насколько я понимаю, недоступны те математические методы, которые мы можем применить.

Как Вы видите решение этих проблем?

[alexgr 556]

Думаю, что для начала отстаивать позицию по подходу к испытаниям и обработки их результатов. Именно как к испытаниям сложной системы и сложного программного комплекса. Второе - разработка подходов к работе с прессой, чтобы уйти от глупых тестов - например, оценке размера резидентного модуля. Когда? При каких условиях? и этим тоже занимаюсь.

Третье - Отстаивать позицию, что по одному показателю оценить сложную систему невозможно. Должна быть выведена система показателей - качества детекта, дезинфекции, нагрузочные характеристики, превентивные возможности, размер технического трафика, даже действия при обнаружении заражения или подозрительной активности. И так далее.... И - как по мне- не надо давать интегрированную характеристику, а надо давать таблички по каждому показателю, можно ранжированные. Примерно так

[dot_sent 140]

Среднестатистический "чайник" теста без наличия интегральной оценки не поймет и не примет, ИМХО.

[alexgr 556]

ну, для этого может подойти схема "Выбор редакции"

[Олег777 85]

Антивирусные продукты от военной техники отличается тем, что военная техника (сложная военная техника) делается для экспертов, создаётся экспертами, и оценивается тоже экспертами

Как человек военный могу сказать, что не дай Бог попробовать провести тестирование ракетно-ядерного оружия. Хотя я и эксперт в нем, но лучше быть теоретиком, чем практиком в этом вопросе.

Позиция DrWeb мне понятна - лучше один недостаток - не присутствие, чем 10 выявленных недостатков. Но тогда нужно и у себя что-то менять. Более качественно подойти к вопросу "а почему наш продукт не проходит тесты?", пусть даже и такие спорные и сомнительные.

Что не так в самом продукте? Почему он хорош для обычного пользователя, но критикуем экспертами.

Зачем создавать у пользователя иллюзию защиты и молиться, чтобы не дай Бог он не прочитал очередной отчет о тестировании с провальными результатами?

[Umnik 997]

А я вот в этом поддерживаю Доктора. В данном случае не "иллюзия безопасности", а "иллюзия теста".

[Valery Ledovskoy 1082]

Почему он хорош для обычного пользователя, но критикуем экспертами.

Эдак Вы рубите направо и налево Далеко не все эксперты о Dr.Web высказываются плохо.

Зачем создавать у пользователя иллюзию защиты и молиться, чтобы не дай Бог он не прочитал очередной отчет о тестировании с провальными результатами?

И с этим не согласен, ибо вижу, как защищает больше сотни компьютеров, каждый божий день. И вижу по отчётам, как вставляют флешки, принесённые из дома и из других контор. Практически каждую вставляемую вижу И много чего другого вижу по отчётам.

И сеть работает годами на этом решении, и люди довольны. При том, что порядка 15 пользователей в сети имеют абсолютно свободный доступ в Интернет.

Наверное, всё же, что-то не так с тестированиями?