Интервью Игоря Данилова для журнала Cnews

[Valery Ledovskoy 1082]

Ответ В. Ледовского (сотрудника "Доктор Веб") -- да\нет [Y\N]?

Ответ В. Ледовского (личное мнение) -- да\нет [Y\N]?

На оба вопроса ответ "да".

Принимаю во внимание, что результаты и методику этих тестов принимали положительно ответственные за это направление сотрудники компании (на тот момент).

Политике компании этот мой ответ как сотрудника не противоречит, т.к. является исключением. Идеальной политики не бывает. У любой политики есть жертвы и ситуации, когда политические принципы приводят к негативному эффекту. Это так не только в нашей компании.

И вот какой парадокс. Отсутствие в этих тестах Dr.Web НЕ сделало бы его НЕ лидером в лечении активных заражений. Есть возражения на этот тезис?

Да доказать это было бы сложнее. Но всё ж. Если продукт действительно в чём-то лидер, скрыть это сложно.

АМ как бы не делает продукты лидерами по тому или иному направлению (лишь пытается констатировать тот или иной факт), это делают совсем другие люди и тратят на это больше своих сил, чем тратят сил тестировщики на тестирование. АМ не является сущностью, дарующей лидерство, если хотите.

В данной ситуации я был бы счастлив, если бы у нас были стандартизированные тестирования с официально квалифицированными на эту роль тестерами (да хотя бы и теми же самыми, что сейчас на АМ). Иначе вес у тестов ничем не отличается относительно остальных тестов других лабораторий энтузиастов, об изъянах которых мы все прекрасно знаем. Иначе непонятно, кто дал право АМ говорить, что их тесты качественнее, чем тесты VB или Клементи с известными недостатками. На основании чего мы должны так говорить? Оценив представленную методику? А какое право мы имеем судить о качестве методики и тем более сравнивать одну методику с другой? Вопросов всё больше и больше.

Но, опять же, мир не идеален. Я это прекрасно понимаю.

Кстати, я так и не увидел ни одного мнения на один из центральных, считаю, вопросов, которые поставил. Возможно, он излишне идеализированный, ну а если представить, что это возможно? Тестирования антивирусных продуктов, разработанные квалифицированными специалистами и показывающие реальное положение дел по возможностям антивирусных продуктов защищать и лечить - это будет благо или зло для отрасли в целом?

[посетитель 0]

Ровно это мы всегда предлагали лично Борису Шарову. Не согласны с чем-то - давай сделаем лучше! Давайте готовить тесты заранее, можно ведь влиять на методологию. Мы же не догматики, упершиеся лбом в методогию вековой давности. Мы всегда готовы к диалогу, конечно, если он ведется уважительно на уровне бизнеса

ное это оторванный от жизни идиализм и самообман с целью объяснить свою неудачи.

М-да. Для кого это пишется? Вы не догматики, вы сотрдуники конкурирующей антивирусной компании. То, что вы говорите просто не может восприниматься, как "уважительно на уровне бизнеса", потому что это бизнес другой компании. И тот обман который вы затеяли с цирком про независимый портал дискредитировал вас полностью и именно этот обман, а не упертость Данилова и Шарова делают невозможным никакое дальнейшее сотрудничество с вами.

Повторю вопрос, для кого это пишется!? Все же знают это... Все, кто еще сюда приходит.

[Сергей Ильин 1538]

И тот обман который вы затеяли с цирком про независимый портал дискредитировал вас полностью и именно этот обман, а не упертость Данилова и Шарова делают невозможным никакое дальнейшее сотрудничество с вами.

Старая песня - простая отмазка, чтобы ничего не делать. Безусловно проще поносить всех и вся

Чтобы не раздувать очередной флейм не буду ничего писать про "обман", "конкурирующую антивирусную компанию" и т.п. Вы правильно заметили, все всё знают и, судя по всему, гораздо больше Вас.

[K_Mikhail 807]

На оба вопроса ответ "да".

Ну вот, "да" по всем пунктам. А говоришь "Я не знаю, чем подтверждена эта строчка. Возможно, независимыми экспертами в личных разговорах smile.gif Т.е. вопрос не к тому человеку."

Принимаю во внимание, что результаты и методику этих тестов принимали положительно ответственные за это направление сотрудники компании (на тот момент).

А как ты хотел без этого?

Политике компании этот мой ответ как сотрудника не противоречит, т.к. является исключением. Идеальной политики не бывает. У любой политики есть жертвы и ситуации, когда политические принципы приводят к негативному эффекту. Это так не только в нашей компании.

Политика -- резкое непризнание рез-тов последнего теста на лечение и, как следствие, срочное удаление баннера с китайского сайта Dr.Web о результатах последнего теста лечения активного, если ты помнишь. И то после огласки на этом сайте.

По поводу неидеальности -- спасибо, Капитан Очевидность! Однако речь идёт всё-таки не об (не-)идеальности, а о последовательности.

И вот какой парадокс. Отсутствие в этих тестах Dr.Web НЕ сделало бы его НЕ лидером в лечении активных заражений. Есть возражения на этот тезис?

Да доказать это было бы сложнее. Но всё ж. Если продукт действительно в чём-то лидер, скрыть это сложно.

Есть возражения. Поясню. Твой тезис ("отсутствие в этих тестах Dr.Web НЕ сделало бы его НЕ лидером в лечении активных заражений.") базируется на результатах двух тестов (для 4.44 (beta) и для 5.0). Представь себе ситуацию, если этих двух тестов не было б вообще. Вот просто не было б. Тут появляется Валера Ледовской от "Доктор Веб" и говорит: "Dr.Web -- лидер в лечении активного заражения". На каком базисе ты бы подтверждал это утверждение (лидер в лечении)? На основании чего? Сторонних тестов, внутренних тестов?

По ходу, загляни вот сюда, пожалуйста, bug_id=0021095. Актуально было для 4.44. Поймёшь о чём я.

АМ как бы не делает продукты лидерами по тому или иному направлению (лишь пытается констатировать тот или иной факт), это делают совсем другие люди и тратят на это больше своих сил, чем тратят сил тестировщики на тестирование. АМ не является сущностью, дарующей лидерство, если хотите.

И, тем не менее, как раз результат теста на АМ даёт подтверждение вышеупомянутой строке на сайте. С чем ты, несмотря на ("Я не знаю, чем подтверждена эта строчка..."), но таки согласился.

Кстати, я так и не увидел ни одного мнения на один из центральных, считаю, вопросов, которые поставил. Возможно, он излишне идеализированный, ну а если представить, что это возможно? Тестирования антивирусных продуктов, разработанные квалифицированными специалистами и показывающие реальное положение дел по возможностям антивирусных продуктов защищать и лечить - это будет благо или зло для отрасли в целом?

Опять же, всё упирается в вопрос -- кто и как будет подтверждать квалификацию тестера (актуален вопрос разработки требований к тестеру) и стандартов. Благом будет для тех, кто умеет защищать и лечить, но есть риск кому-то одному придти к монопольному положению дел и начать усиленно заниматься улаживанием антимонопольных исков. Эт имхо.

P.S. Опять же, повторюсь, всё это тлен и суета.

[Valery Ledovskoy 1082]

Твой тезис ("отсутствие в этих тестах Dr.Web НЕ сделало бы его НЕ лидером в лечении активных заражений.") базируется на результатах двух тестов (для 4.44 (beta) и для 5.0). Представь себе ситуацию, если этих двух тестов не было б вообще. Вот просто не было б. Тут появляется Валера Ледовской от "Доктор Веб" и говорит: "Dr.Web -- лидер в лечении активного заражения". На каком базисе ты бы подтверждал это утверждение (лидер в лечении)? На основании чего? Сторонних тестов, внутренних тестов?

Не хочешь ли ты этим сказать, что без АМ невозможно увидеть лидерство того или иного продукта?

На самом деле вредосносных программ, участвующих в таких тестированиях, не так много. Они ключевые. И они известны всем уважающим себя антивирусным лабораториям. Насколько я знаю, Dr.Web перед каждым выпуском сканера тестируется на предмет корректности лечения от ключевых в смысле активного заражения вредоносных программ. Чтобы доказать, что Dr.Web лидирует в лечении активного заражения необходимо лишь попробовать вылечить систему от этих ключевых (актуальных на сегодняшний момент) вирусов (на самом деле их не так много) с помощью нескольких других наиболее популярных продуктов (можно даже не всех нескольких десятков существующих). Этого будет вполне достаточно для доказательства лидерства в лечении активного заражения на рынке на текущий момент при актуальных угрозах. Без внешнего независимого исследования. Если какая-то компания будет с этим не согласна - приведёт своё тестирование на этом же небольшом количестве ключевых сэмплов и докажет, что это они видят и выносят больше актуальных руткитов, а Dr.Web не ловит. Если не скажет - значит, согласится.

[K_Mikhail 807]

Не хочешь ли ты этим сказать, что без АМ невозможно увидеть лидерство того или иного продукта?

Пока АМ является единственным ресурсом, который проводит эти тестирования (лечение активного заражения). Если АМ не единственный ресурс, проводящий такие тестирования (лечение активного заражения) -- тогда другой коленкор. Пожалуйста, дай ссылки на тестирования антивирусов лечения активного заражения от др. порталов\организаций. Может, и без АМ можно обойтись, действительно.

На самом деле вредосносных программ, участвующих в таких тестированиях, не так много. Они ключевые. И они известны всем уважающим себя антивирусным лабораториям. Насколько я знаю, Dr.Web перед каждым выпуском сканера тестируется на предмет корректности лечения от ключевых в смысле активного заражения вредоносных программ. Чтобы доказать, что Dr.Web лидирует в лечении активного заражения необходимо лишь попробовать вылечить систему от этих ключевых (актуальных на сегодняшний момент) вирусов (на самом деле их не так много) с помощью нескольких других наиболее популярных продуктов (можно даже не всех нескольких десятков существующих).

Кто будет этим заниматься? Тестлабы компаний, внешние нанятые тестеры, пользователи? Кто будет согласовывать выборки семплов, заражать системы, лечить их? Сегодня ты будешь потрясать результатами на одно выборке семплов, завтра -- другой, третий... пятый вендор на своей (удобной для себя, заметь этот момент!) выборке. Потому как, если предложить одному вендору выборку другого вендора -- все завязнут в обвинениях в нерепрезентативности, подложности, нечестной конкуренции и прочих "радостях". А толку 0. Представь себе новость -- "%vendorname% рассказал, что он лидер в лечении активного заражения". На след. день -- "Конкурирующий %vendorname% указал опровержение вчерашней новости, потому как...". Ну и.т.п.

Я тебе недаром сказал -- посмотри тот баг-репорт (bug_id=0021095, там речь шла об Trojan.Msliksur'е ((alilserv.sys, alil.dll), вполне себе ключевое семейство). По ходу, есть предложение включить этот тип в будущие тестирования. Я тебе просто показал, как легко можно найти семпл(-ы), на которых существуют проблемы у того или иного вендора, и из-за чего будут возникать прецеденты для спекуляций. Внешнее тестирование тем и хорошо, что является не привязанным к тому или иному вендору. Во всяком разе, претендует на непривязанность.

Этого будет вполне достаточно для доказательства лидерства в лечении активного заражения на рынке на текущий момент при актуальных угрозах. Без внешнего независимого исследования. Если какая-то компания будет с этим не согласна - приведёт своё тестирование на этом же небольшом количестве ключевых сэмплов и докажет, что это они видят и выносят больше актуальных руткитов, а Dr.Web не ловит. Если не скажет - значит, согласится.

См. выше по поводу спекуляций.

Отредактировал Апрель 22, 2009 Сергей Ильин

[Valery Ledovskoy 1082]

Umnik, Сергей Ильин, в чём была суть правок в посте K_Mikhail? Просто техническая накладка?

K_Mikhail, да, ты показал, что без АМ доказать лидерство будет сложнее. Но не доказал, что это сделать будет невозможно.

Пожалуйста, дай ссылки на тестирования антивирусов лечения активного заражения от др. порталов\организаций. Может, и без АМ можно обойтись, действительно.

Допустим (для начала), я завтра попрошу какого-нибудь студента провести (по его разумению) тест на активное заражение (пиво стоит недорого), создам для него домен, оплачу хостинг (это тоже недорого), наберём подходящих по нашему разумению сэмплов (к сожалению, это тоже не так сложно, как хотелось бы, чтобы оно было), возьмём пару компьютеров, поднимем на них виртуальные системы. Ещё одного студента посадим написать методологию (ещё немного пива с чипсами). Возможно, даже что-то уточним относительно АМ. А может быть и украдём эту методологию, ибо ничем не защищена. Проведём тестирование по этой методологии и опубликуем. Возможно, результаты у нас получатся другие. Или лидеры останутся те же, а отставание других продуктов будет более заметным. Кто знает. Если этого достаточно для того, чтобы признать АМ не уникальной сущностью, только благодаря которой антивирусные продукты признаются лидерами в своей области... Ну, тогда я просто признАю, что позиции АМ по поддержанию уникальности весьма и весьма шатки.

Обрати внимание на слово "допустим" в начале предыдущего абзаца. Я не собираюсь этим заниматься. Но я ярко себе представил, за сколько дней можно это сделать.

Если нужно гипотетически просто другое независимое тестирование на активное заражение, то его провести не так сложно и долго. А АМ защититься от таких действий просто нечем. И надеяться, что никто рано или поздно так не сделает - это по меньшей мере глупо.

А если то, о чём я написал не произойдёт, то получается вот что.

Результаты, которые получены уникальной общностью (пусть она хоть портал называется, хоть организация), не могут восприниматься всерьёз. Они должны быть кем-то подтверждены. Например, другим тестированием или аудиторской проверкой. Иначе нельзя говорить уверенно о том, что они соответствуют действительности. Результаты независимых общностей только тогда можно признать действительно независимыми, если другая независимая общность получит тот же (или похожий) результат. Да, сэмплы есть, да, методология открытая. Но мало кто стоял за спиной тестировщиков и видел, правильно ли они провели тестирование, всегда ли действовали по методологии, не ошибались ли они.

И ещё одно сравнение. Вот ты говоришь, нужно верить результатам теста АМ по активному заражению, потому что никто больше не проводит такое тестирование. Но давай посмотрим на результаты тех тестирований, которые проводят несколько тестовых лабораторий. Малая корреляция результатов между ними не напрягает? И если бы другая лаборатория (типа Клементи) проведёт тест на лечениние активного заражения (по своей, конечно, методологии), то получит те же результаты? Я думаю, что вряд ли. И снова после этого вопрос. Следует ли доверять результатам АМ, если они уникальны? Как раз не стОит, и как раз из-за того, что они уникальны.

Предчувствую вопрос: "Так ты уже не думаешь, что тесты АМ на активное заражение подтверждают лидерство Dr.Web в лечении активного заражения?" Этот вопрос будет неправильным, т.к. то, что я думаю и знаю, никак не увеличивает ценность результатов, полученных АМ. А ценность у них низка из-за их уникальности (см. выше).

[K_Mikhail 807]

Umnik, Сергей Ильин, в чём была суть правок в посте K_Mikhail? Просто техническая накладка?

В том, что я напортачил с квотированием в своём предыдущем сообщении.

K_Mikhail, да, ты показал, что без АМ доказать лидерство будет сложнее. Но не доказал, что это сделать будет невозможно.

Я всего лишь ответил на твой вопрос "Не хочешь ли ты этим сказать, что без АМ невозможно увидеть лидерство того или иного продукта?"

Кроме того, если ты ещё раз, но на этот раз внимательно прочтёшь первую часть моего предыдущего поста ("Пока АМ является единственным ресурсом..."), то увидишь\поймёшь, что там речь не шла о том, что невозможно что-то сделать или создать, и, тем более, там не приводились доказательства этой невозможности. Я моделировал ту ситуацию, когда может произойти, если основываться на выдвигаемых тобой тезисах. Повторюсь, что пока АМ -- единственный портал, который проводил тесты на лечение активного заражения, он и является единственным подтверждающим лидерство в данном случае Dr.Web в этом направлении (то бишь, лечения). Т.е., фактически, монополистом. Появится ещё пара-тройка порталов\организаций, проводящих тесты на лечение активного заражения со своими методиками (улучшенными или просто принципиально другими) и набором семплов, -- будет с чем сравнивать. Но! Самый важный момент, независимо от того одна, две, три... пять и большее организаций проводят тест -- любая методология должна обеспечивать воспроизводимость результатов в пределах допустимой погрешности измерений. Если этого нет, то цена соответствующая.

Допустим (для начала), я завтра попрошу какого-нибудь студента провести (по его разумению) тест на активное заражение (пиво стоит недорого), создам для него домен, оплачу хостинг (это тоже недорого), наберём подходящих по нашему разумению сэмплов (к сожалению, это тоже не так сложно, как хотелось бы, чтобы оно было), возьмём пару компьютеров, поднимем на них виртуальные системы. Ещё одного студента посадим написать методологию (ещё немного пива с чипсами). Возможно, даже что-то уточним относительно АМ. А может быть и украдём эту методологию, ибо ничем не защищена. Проведём тестирование по этой методологии и опубликуем. Возможно, результаты у нас получатся другие. Или лидеры останутся те же, а отставание других продуктов будет более заметным. Кто знает. Если этого достаточно для того, чтобы признать АМ не уникальной сущностью, только благодаря которой антивирусные продукты признаются лидерами в своей области... Ну, тогда я просто признАю, что позиции АМ по поддержанию уникальности весьма и весьма шатки.

Обрати внимание на слово "допустим" в начале предыдущего абзаца. Я не собираюсь этим заниматься. Но я ярко себе представил, за сколько дней можно это сделать.

Если нужно гипотетически просто другое независимое тестирование на активное заражение, то его провести не так сложно и долго. А АМ защититься от таких действий просто нечем. И надеяться, что никто рано или поздно так не сделает - это по меньшей мере глупо.

Повторюсь -- любая методология должна обеспечивать воспроизводимость результатов. Если ты (или твои студенты) с помощью разработанной на АМ методологии и выборке семплов сможешь (смогут) воспроизвести тестирование и получить рез-ты, идентичные полученным на АМ в допустимых пределах погрешности измерений, это только говорит о том, что методология работает. И в этом её ценность. Заодно и выступишь в роли аудиторской конторы.

А если то, о чём я написал не произойдёт, то получается вот что.

Результаты, которые получены уникальной общностью (пусть она хоть портал называется, хоть организация), не могут восприниматься всерьёз. Они должны быть кем-то подтверждены. Например, другим тестированием или аудиторской проверкой. Иначе нельзя говорить уверенно о том, что они соответствуют действительности. Результаты независимых общностей только тогда можно признать действительно независимыми, если другая независимая общность получит тот же (или похожий) результат. Да, сэмплы есть, да, методология открытая. Но мало кто стоял за спиной тестировщиков и видел, правильно ли они провели тестирование, всегда ли действовали по методологии, не ошибались ли они.

Ну вот, допустим, воспроизведёшь ты с помощью студентов последний тест на лечение, и у тебя окажется KAV на первом месте вместо Dr.Web'а. Будешь оспаривать результаты, полученные Василием? Хотя это может только сказать о том, что методика не обеспечивает воспроизводимости результатов, и ты должен будешь об этом заявить, что грош цена такой методологии.

И ещё одно сравнение. Вот ты говоришь, нужно верить результатам теста АМ по активному заражению, потому что никто больше не проводит такое тестирование.

Я не говорил о вере или о том, что нужно верить. Я говорил только о том, что пока АМ -- единственный портал, который проводил тесты на лечение активного заражения, он и является единственным подтверждающим лидерство в данном случае Dr.Web в этом направлении (то бишь, лечения). И подтверждающим висящий на сайте "Доктора" тезис: "Улучшено! Антивирус – лидер в лечении активных заражений." С чем ты и согласился, ответив "да" как сотрудник "Доктор Веб", и как просто человек. Перечитай выше.

Но давай посмотрим на результаты тех тестирований, которые проводят несколько тестовых лабораторий. Малая корреляция результатов между ними не напрягает? И если бы другая лаборатория (типа Клементи) проведёт тест на лечениние активного заражения (по своей, конечно, методологии), то получит те же результаты? Я думаю, что вряд ли. И снова после этого вопрос. Следует ли доверять результатам АМ, если они уникальны? Как раз не стОит, и как раз из-за того, что они уникальны.

Опять же, вопрос упирается в обеспечение методологией воспроизводимости результатов и в выборке семплов. Если методология "по Клементи" её не обеспечит -- грош ей цена. Если да (на выбранных Клементи семплах!), то вопрос переходит в техническую стадию -- почему тот или иной антивирус не справился с лечением той или иной вредоносной программы. Смотри мой пост по поводу Trojan.Msliksur и 4.44. АМ не взял его тогда в тестирование, а Клементи бы взял (допустим). И получил бы 4.44, допустим, не золото, а серебро. Т.е. при воспроизводимости обеих методик был бы провал на одном семпле (семействе), который (-ое) повлиял(-о) на итоговую расстановку мест.

Предчувствую вопрос: "Так ты уже не думаешь, что тесты АМ на активное заражение подтверждают лидерство Dr.Web в лечении активного заражения?" Этот вопрос будет неправильным, т.к. то, что я думаю и знаю, никак не увеличивает ценность результатов, полученных АМ. А ценность у них низка из-за их уникальности (см. выше).

Вопрос ненужный, ибо твои два "да" уже прозвучали:

=====

Valery Ledovskoy: Прошу не мешать моё мнение и понимание ситуации с тем, что кто-то где-то пишет.

Я не знаю, чем подтверждена эта строчка. Возможно, независимыми экспертами в личных разговорах smile.gif Т.е. вопрос не к тому человеку.

K_Mikhail: Нет проблем -- поставлю вопрос таким образом -- считаешь ли ты, что результаты тестов на лечение активного заражения для Dr.Web 4.44 (beta) и для Dr.Web 5.0 подтверждают строчку на сайте "Улучшено! Антивирус – лидер в лечении активных заражений".

Ответ В. Ледовского (сотрудника "Доктор Веб") -- да\нет [Y\N]?

Ответ В. Ледовского (личное мнение) -- да\нет [Y\N]?

Valery Ledovskoy: На оба вопроса ответ "да".

===

UPD: На том game over.

[Valery Ledovskoy 1082]

K_Mikhail, всего лишь разные взгляды на одно и то же Твою точку зрения я тоже понимаю.

Добавлю лишь, что если мои студенты могут выступить в роли аудиторов, то меня это по-любому смущает. Ибо я прекрасно понимаю, что студенты могут провести данную работу некачественно, а я просто не смогу проконтролировать каждое их движение. И конечно, далеко не каждый студент сможет правильно проинтерпретировать сложные ситуации, возникающие при анализе лечения различными антивирусами некоторых (или многих) вредоносных программ. Более того, не уверен, что я сам вправе контролировать ход такого тестирования. Но результаты получить могу. Какие получатся

[Andrey75 0]

"любая методология должна обеспечивать воспроизводимость результатов".

Т.е. если антивирусник "А" занял первое место, то при следующем тестировании, он просто обязан взять "золото" :-)

[dot_sent 140]

"любая методология должна обеспечивать воспроизводимость результатов".

Т.е. если антивирусник "А" занял первое место, то при следующем тестировании, он просто обязан взять "золото" :-)

Не утрируйте, пожалуйста. Не при следующем, а при аналогичном, проводимом по такой же методологии и с такими же сэмплами.

[Deja_Vu 366]

Не утрируйте, пожалуйста. Не при следующем, а при аналогичном, проводимом по такой же методологии и с такими же сэмплами.

Я бы сказал - в тех же условиях -))

[Andrey75 0]

А какай смысл через год(месяц) по старым сэмплам гонять?

[Deja_Vu 366]

А какай смысл через год(месяц) по старым сэмплам гонять?

Я бы сказал - в тех же условиях -))

[TANUKI 240]

Symantec лидер и в корпоративном, и в домашнем сегменте.

Про корпоративный таки да, но давайте не перегибать палку про "домашний сегмент". Исправьте пожалуйста свой пост и добавьте "в Америке", так будет точнее и правильней.

А кто в курсе, как дело обстоит в других странах? Что, в каждой сети госучреждений защищают свои, доморощенные продукты? А как же страны, такие, как, скажем, Турция, Египет или Уругвай, где просто нет таких продуктов? Мне кажется, здесь Данилов, мягко говоря, преувеличил.

Видимо, г-н Данилов считает, что самые тайные тайны есть только у России и США. Остальным "папуасам" скрывать нечего

Несколько издевательски звучит название, "кризис - лучше время для инвестиций в разработку и людей"

А что плохого в этой фразе? Евгений Батькович тоже заявляет, что собирается неплохо нажиться на кризисе с пользой для себя и компании в целом. Вам тоже самое скажет любой бизнесмен, который крепко стоит на ногах. Кризис - это время чьих-то крупных потерь, но и чьих-то крупных приобретений.