Перейти к содержанию
A.

Скорость реакции или качество? Возможен ли компромис?

Recommended Posts

A.
Фокус в том, что высокий детект означает, оперативность выпуска обновлений, которая не позволяет реализовать систему контроля качества (ISO 9001:2000).

Отдельная тема, кстати.

Все чаще и чаще слышу от представителей антивирусных компаний, которые очень медленно реагируют на новые вирусы, выпускают обновления с многочасовыми (а то и многодневными задержками), эдакие подколы в сторону Каспера с постоянным заклинанием про ISO 9001.

Мол, да мы тоже так можем, но нельзя.

Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

Это отдельная тема для обсуждений, но суть в том, что после создания обновления есть сертифицированная процедура тестирования его на всевозможных платформах (Windows, Linux, Solaris/SPARC, AIX, AS/400, S/390, zLinux, ...) --- чтобы не было сбоев, --- и файлах --- чтобы не было ложных старбатываний. Эта процедура требует определенного времени. В минимальном варианте --- порядка часа.

Высокий уровень реакции хорош для всяческих тестов. Для защиты реальной сети важна надежность продукта, так как сбои могут обойтись дороже (удаление lsass.exe, как вируса...), чем ущерб от вредоносного кода (какой-нибудь не обнаруженный вовремя dialer). Крупные компании, обращают внимание на такие сертификаты. TrendLabs были сертифицированы первыми. Потом присоединился Symantec. Сейчас может быть есть еще антивирусные лаборатории, которые также сертифицируют свою деятельность.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Каким же образом Trend и Symantec умудряются допускать ложные срабатывания и класть в даун сетки своих клиентов из-за удаления "lsass.exe" ?

Не очень понимаю каким образом "кем-то разработанный стандарт, не специалистами, а сторонними людьми" может оказаться более эффективным чем многолетняя практика, выработанная в самих антивирусных компаниях и их тестовых лабораториях ?

ISO 9001:2000 это как VB100 - с реальностью мало коррелирует, но "крупные компании, обращают внимание на такие сертификаты" ... только и всего.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Каким же образом Trend и Symantec умудряются допускать ложные срабатывания и класть в даун сетки своих клиентов из-за удаления "lsass.exe" ?

Как раз за Trend Micro и Symantec такого не замечено. Это пример.

Не очень понимаю каким образом "кем-то разработанный стандарт, не специалистами, а сторонними людьми" может оказаться более эффективным чем многолетняя практика, выработанная в самих антивирусных компаниях и их тестовых лабораториях ?

:)

Стандарты ISO 9000 вообще не имеют отношения к безопасности или антивирусам. Это стандарты на систему качества продукции. Они определяют, что для получения качественной продукции нужно проверять ее качество на каждом этапе производства, начиная с выбора поставщиков сырья и кончая доставкой потребителю.

В ключе стандарта разрабатывается система тестирования качества обновлений, которая потом сертифицируется в сторонней сертифицирующей организации, специалисты которой имеет соответствующие технические навыки для того, чтобы определить насколько соответствует процедура тестирования стандарту. Там может быть много общих положений:

Например:

1. Тестирование всегда производит отдельный персонал. Это не позволяет опубликовать обновление "просто так". То есть отдельный сотрудник компании может всегда совершить ошибку, но на клиентах это никак не скажется, так как контроль качества этого не пропустит;

2. Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

ISO 9001:2000 это как VB100 - с реальностью мало коррелирует, но "крупные компании, обращают внимание на такие сертификаты" ... только и всего.

В огороде бузина, а в Киеве дядька...

Вы заблуждаетесь. ISO 9000 и VB100 это вещи разноплановые. (Не хочу поднимать обсуждение VB100)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

(посты выше перенесены из темы про Антивирус Касперского теперь интегрирован в ZoneAlarm)

Вообще часто обсуждение скорости реакции различных вендоров перерастают разговор о качестве выпускаемых апдейтов.

С одной стороны некоторый, как например, Symantec или Trend Micro выпускают обновления с задержками но в соответствии со стандартом ISO 9001.

Другие, например, Лаборатория Касперского или Доктор Веб, реагируют масимально быстро, но их при это обвиняют в потере качества и релизе "сырых" апдейтов.

Вообще, возможен ли компромис между скоростью реакции и качеством в виде стандартов ISO 9001? А ведь такой пример есть - это BitDefender :-)

BitDefender работает по ISO 9001 у них на сайте давно висит такой значек, но при этом они умудряются конкурировать с Лабораторией Касперского по скорости реакции и идут следом по количеству апдейтов.

Есть еще Sophos, они работают по ISO 9001 или нет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Как раз за Trend Micro и Symantec такого не замечено. Это пример.

Первая попавшаяся ссылка:

http://www.viruslist.com/ru/news?id=162747667

1. Тестирование всегда производит отдельный персонал. Это не позволяет опубликовать обновление "просто так". То есть отдельный сотрудник компании может всегда совершить ошибку, но на клиентах это никак не скажется, так как контроль качества этого не пропустит;

2. Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

Вы искренне считаете, что эти два пункта работают и выполняются только в компаниях прошедших сертификацию по ISO ? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Первая попавшаяся ссылка:

http://www.viruslist.com/ru/news?id=162747667

Это вам не удаление lsass.exe! Это не настолько критическая неполадка. Поле нее система качества доработана и больше подобного не повторится.

Вы искренне считаете, что эти два пункта работают и выполняются только в компаниях прошедших сертификацию по ISO ?

Что-то подобное есть во всех компаниях. Вопрос только в том, насколько оно "подобное".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Это вам не удаление lsass.exe! Это не настолько критическая неполадка. Поле нее система качества доработана и больше подобного не повторится.

:)

Мне потратить свое время на поиск случаев когда Тренд удалял и фалсил по-крупному ? Или просто признаем, что ISO 9001 не является панацеей от подобных случаев и ложные срабатывания бывают у всех ?

Михаил, если вы здесь и сейчас скажите "у Тренд Микро не бывает ложных срабатываний и он никогда не вызывает сбоев в работе клиентских сетей и компьютеров из-за обновлений" - я моментально прекращу дальше развивать эту тему. Если нет - тогда давайте разбираться в чем реальный смысл наличия сертификата ISO.

Я пока считаю, что это всего лишь оправдание неумению работать быстро.

Что-то подобное есть во всех компаниях. Вопрос только в том, насколько оно "подобное".

Это не важно.

Важно как оно работает. Если трендовская система не позволяет выпускать обновления быстрей чем раз в три часа - не надо ссылаться на ISO. Там нет никаких ограничений по времени тестирования. Может стоит просто поставить больше компьютеров и максимально распаралеллить процесс ? (это просто предложение-абстракция).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
:)

Мне потратить свое время на поиск случаев когда Тренд удалял и фалсил по-крупному ?

Очень мало найдете.

Или просто признаем, что ISO 9001 не является панацеей от подобных случаев и ложные срабатывания бывают у всех ?

Ложные срабатывания бывают у всех, но только те у кого есть система качества дорабатывают ее и подобные ложные срабатывания не повторяются.

Если нет - тогда давайте разбираться в чем реальный смысл наличия сертификата ISO.

Сертификат позволяет при прочих равных полагать, что вероятность сбоев после обновления меньше, чем при использовании продукта, обновления к которому делает лаборатория без такого сервификата.

Я пока считаю, что это всего лишь оправдание неумению работать быстро.

Неужели вы считаете, что у Trend Micro обновления делают тормоза?

Тестирование и так распараллелено!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat
Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

Увеличивается количество бумаг и электронных документов, которые необходимо заполнить для ответа на самый простейший вопрос. Знаю по опыту работы. Поднял Windows - отпишись 1-2 служебками. И т.д. и т.п.

Но отсутствие ISO, тоже не панацея. Быстрая реакция ЛК на мое письмо с новым Zlob в виде ответа "чисто!" удивляет, когда следом приходят письма от других лабов с добавлением нового зловреда в базу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB

На самом деле при быстрой реакции сбои не то, что возможны, а целиком понятны. Но это, откровенно, вполне простительно!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

VladB

Если говорить о глобальных обновлениях, то это непростительно, так как сбои могу превысить возможный ущерб от вируса.

Мне представляется разумным компромиссный подход, когда клиент, который уже поражен, загружает "бета-версию" обновления, а на глобальные сервера обновлений попадает только протестированное обновление.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Все таки хочется более детально понять:

1. Как приведение бизнес-процесса выпуска обновлений в соответствие с ISO влиеят на его скорость? Какие действия делают в TrendLabs и не НЕ делают конкуренты?

2. Вообще есть ли прямая зависимость количество обновлений -> количество сбоев? Для меня это не очевидно, давайте попробуем собрать статистику, хотя бы по громким сбоям.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Все таки хочется более детально понять:

1. Как приведение бизнес-процесса выпуска обновлений в соответствие с ISO влиеят на его скорость? Какие действия делают в TrendLabs и не НЕ делают конкуренты?

Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

2. Вообще есть ли прямая зависимость количество обновлений -> количество сбоев? Для меня это не очевидно, давайте попробуем собрать статистику, хотя бы по громким сбоям.

Давайте не путать оперативность выпуска обновлений и их частоту. Это разные понятия.

Мне кажется, что статистику набрать не получится, так как с одной стороны мы не знаем скорость создания обновлений, а с другой "громкие" сбои бывают только у крупных вендоров.

Я согласен, что если бы сбор такой статистики был бы возможен, то результат бы расставил все точки над i.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB

В том-то и дело, что связь неочевидна

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
В том-то и дело, что связь неочевидна

Тут я совершенно согласен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Это что, ответ на вопрос "Какие действия делают в TrendLabs и не НЕ делают конкуренты?"

Чушь какую-то городите

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Это что, ответ на вопрос "Какие действия делают в TrendLabs и не НЕ делают конкуренты?"

Чушь какую-то городите

Откуда я могу знать, чего не делают конкуренты?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB

A.

Хотелось бы по теме что-то услышать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
A.

Хотелось бы по теме что-то услышать.

Мне бы тоже очень хотелось услышать что-нибудь по теме от "начальника транспортного цеха", г-на Кондрашина.

До сего момента им были озвучены только некоторые отличия компаний, работающих по ISO от всех остальных, как то:

- Тестирование всегда производит отдельный персонал.

- Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

- Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Ни один из названных параметров, очевидно (для меня), не является чем-то отличительным и используется не только в ТрендеСимантеке.

Ни один из названных параметров не решает проблемы с ложными срабатываниями или сбойными апдейтами, после которых ТрендСимантек несут явные финансовые потери (http://www.net-security.org/news.php?id=8297)

Кроме того, как уже было озвучено в этом топике - наличие сертификата ISO ни коим образом не влияет на скорость выпуска обновлений (см. о BitDefender), что показывает весьма интересную картину - при прочих равных румыны работают быстрей Тренда.

Где ж тут собака зарыта ?

Изменим вопрос: что такого делают конкуренты, что не делает Тренд или Симантек, если ISO явно не при чем ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
A.

Хотелось бы по теме что-то услышать.

До сего момента им были озвучены только некоторые отличия компаний, работающих по ISO от всех остальных, как то:

Это не отличия. Как справедливо уже утверждалось в этой ветке, система тестирования может быть сделана так же, как этого требует ISO, но при это не сертифицирована.

- Тестирование всегда производит отдельный персонал.

- Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

- Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Ни один из названных параметров, очевидно (для меня), не является чем-то отличительным и используется не только в ТрендеСимантеке.

Согласен.

Ни один из названных параметров не решает проблемы с ложными срабатываниями или сбойными апдейтами, после которых ТрендСимантек несут явные финансовые потери

Указанные меры не "решают проблемы", а минимизируют ее вероятность.

(Так же, как антивирус не решает проблему вирусов, а минимизирует вероятность ее появления)

Подобные масштабные последствия, это результат того, что Trend Micro, очень большая компания. Много много клиентов, соответственно любые неполадки сразу просачиваются в прессу.

Кроме того, как уже было озвучено в этом топике - наличие сертификата ISO ни коим образом не влияет на скорость выпуска обновлений (см. о BitDefender),

Насколько я понял на их сайте у BitDefender сертифицирована разработка самих продуктов, а не антивирусной лаборатории.

Где ж тут собака зарыта ?

Изменим вопрос: что такого делают конкуренты, что не делает Тренд или Симантек, если ISO явно не при чем?

Совершенно правильная формулировка вопроса, но увы "начальник транспортного цеха" ответить не может --- это не в его компетенции. Может хоть субъективное впечатление есть у кого-нибудь?

Какое мнение у Сергея Ильина?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Давайте не путать оперативность выпуска обновлений и их частоту. Это разные понятия.

Согласен, это разные понятия, думаю следует отталкиваться от скорости реакции (оперативность выпуска обновлений). Хотя частота выхода обновлений все таки связана со скорость реакции.

Если апдейты выкладываются раз в неделю, то как бы быстро не работал вируслаб, не проводил все неаобходимые тесты, это не будет иметь значение в итоге.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин
Если апдейты выкладываются раз в неделю, то как бы быстро не работал вируслаб, не проводил все неаобходимые тесты, это не будет иметь значение в итоге.

Согласен на 100%.

Редкие обновления => неоперативные, но, может быть, тщательно протестированные

Частые обновления => ?

Неоперативные обновления => может быть, тщательно протестированные

Оперативные обновления => могут быть частыми, но, может быть, плохо протестированными

Других выводов априори сделать нельзя

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Рагозин

Мне кажется мы толчем воду в ступе...

Очевидно, что крупные антивирусные вендоры развивают более широкие линейки продуктов и поддерживают бОльшее количество платформ. В итоге перед выпуском обновлений требуется протестировать данное обновление на бОльшем количестве продуктов, что занимает длительное время, даже если процесс практически полностью автоматизирован.

Поэтому каждый вендор пытается подойти к проблеме быстрой реакции на вирусные и спамовые эпидемии своими методами, различными дополнительными сервисами, проактивными технологиями и т.д.

Однако при прямом проведении теста на скорость реагирования гранды обычно остаются в конце списка ввиду изложенных причин, поэтому многие из них отказываются учавствовать в таких тестах (в AV-comparatives например).

Результаты тестов по скорости реагирования не дают объективной оценки по качеству защиты, которые обеспечивают те или иные антивирусные продукты. То есть эта оценка является скорее субъективным нежели объективным параметром. Однако многие этого не учитывают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VladB

Естественно, однако, обновление скажем дважды в неделю, как у Windows One Care Live уже явно недостаточно!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×