Скорость реакции или качество? Возможен ли компромис?

[A. 876]

Фокус в том, что высокий детект означает, оперативность выпуска обновлений, которая не позволяет реализовать систему контроля качества (ISO 9001:2000).

Отдельная тема, кстати.

Все чаще и чаще слышу от представителей антивирусных компаний, которые очень медленно реагируют на новые вирусы, выпускают обновления с многочасовыми (а то и многодневными задержками), эдакие подколы в сторону Каспера с постоянным заклинанием про ISO 9001.

Мол, да мы тоже так можем, но нельзя.

Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

[Михаил Кондрашин 55]

Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

Это отдельная тема для обсуждений, но суть в том, что после создания обновления есть сертифицированная процедура тестирования его на всевозможных платформах (Windows, Linux, Solaris/SPARC, AIX, AS/400, S/390, zLinux, ...) --- чтобы не было сбоев, --- и файлах --- чтобы не было ложных старбатываний. Эта процедура требует определенного времени. В минимальном варианте --- порядка часа.

Высокий уровень реакции хорош для всяческих тестов. Для защиты реальной сети важна надежность продукта, так как сбои могут обойтись дороже (удаление lsass.exe, как вируса...), чем ущерб от вредоносного кода (какой-нибудь не обнаруженный вовремя dialer). Крупные компании, обращают внимание на такие сертификаты. TrendLabs были сертифицированы первыми. Потом присоединился Symantec. Сейчас может быть есть еще антивирусные лаборатории, которые также сертифицируют свою деятельность.

[A. 876]

Каким же образом Trend и Symantec умудряются допускать ложные срабатывания и класть в даун сетки своих клиентов из-за удаления "lsass.exe" ?

Не очень понимаю каким образом "кем-то разработанный стандарт, не специалистами, а сторонними людьми" может оказаться более эффективным чем многолетняя практика, выработанная в самих антивирусных компаниях и их тестовых лабораториях ?

ISO 9001:2000 это как VB100 - с реальностью мало коррелирует, но "крупные компании, обращают внимание на такие сертификаты" ... только и всего.

[Михаил Кондрашин 55]

Каким же образом Trend и Symantec умудряются допускать ложные срабатывания и класть в даун сетки своих клиентов из-за удаления "lsass.exe" ?

Как раз за Trend Micro и Symantec такого не замечено. Это пример.

Не очень понимаю каким образом "кем-то разработанный стандарт, не специалистами, а сторонними людьми" может оказаться более эффективным чем многолетняя практика, выработанная в самих антивирусных компаниях и их тестовых лабораториях ?

Стандарты ISO 9000 вообще не имеют отношения к безопасности или антивирусам. Это стандарты на систему качества продукции. Они определяют, что для получения качественной продукции нужно проверять ее качество на каждом этапе производства, начиная с выбора поставщиков сырья и кончая доставкой потребителю.

В ключе стандарта разрабатывается система тестирования качества обновлений, которая потом сертифицируется в сторонней сертифицирующей организации, специалисты которой имеет соответствующие технические навыки для того, чтобы определить насколько соответствует процедура тестирования стандарту. Там может быть много общих положений:

Например:

1. Тестирование всегда производит отдельный персонал. Это не позволяет опубликовать обновление "просто так". То есть отдельный сотрудник компании может всегда совершить ошибку, но на клиентах это никак не скажется, так как контроль качества этого не пропустит;

2. Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

ISO 9001:2000 это как VB100 - с реальностью мало коррелирует, но "крупные компании, обращают внимание на такие сертификаты" ... только и всего.

В огороде бузина, а в Киеве дядька...

Вы заблуждаетесь. ISO 9000 и VB100 это вещи разноплановые. (Не хочу поднимать обсуждение VB100)

[Сергей Ильин 1538]

(посты выше перенесены из темы про Антивирус Касперского теперь интегрирован в ZoneAlarm)

Вообще часто обсуждение скорости реакции различных вендоров перерастают разговор о качестве выпускаемых апдейтов.

С одной стороны некоторый, как например, Symantec или Trend Micro выпускают обновления с задержками но в соответствии со стандартом ISO 9001.

Другие, например, Лаборатория Касперского или Доктор Веб, реагируют масимально быстро, но их при это обвиняют в потере качества и релизе "сырых" апдейтов.

Вообще, возможен ли компромис между скоростью реакции и качеством в виде стандартов ISO 9001? А ведь такой пример есть - это BitDefender :-)

BitDefender работает по ISO 9001 у них на сайте давно висит такой значек, но при этом они умудряются конкурировать с Лабораторией Касперского по скорости реакции и идут следом по количеству апдейтов.

Есть еще Sophos, они работают по ISO 9001 или нет?

[A. 876]

Как раз за Trend Micro и Symantec такого не замечено. Это пример.

Первая попавшаяся ссылка:

http://www.viruslist.com/ru/news?id=162747667

1. Тестирование всегда производит отдельный персонал. Это не позволяет опубликовать обновление "просто так". То есть отдельный сотрудник компании может всегда совершить ошибку, но на клиентах это никак не скажется, так как контроль качества этого не пропустит;

2. Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

Вы искренне считаете, что эти два пункта работают и выполняются только в компаниях прошедших сертификацию по ISO ?

[Михаил Кондрашин 55]

Первая попавшаяся ссылка:

http://www.viruslist.com/ru/news?id=162747667

Это вам не удаление lsass.exe! Это не настолько критическая неполадка. Поле нее система качества доработана и больше подобного не повторится.

Вы искренне считаете, что эти два пункта работают и выполняются только в компаниях прошедших сертификацию по ISO ?

Что-то подобное есть во всех компаниях. Вопрос только в том, насколько оно "подобное".

[A. 876]

Это вам не удаление lsass.exe! Это не настолько критическая неполадка. Поле нее система качества доработана и больше подобного не повторится.

Мне потратить свое время на поиск случаев когда Тренд удалял и фалсил по-крупному ? Или просто признаем, что ISO 9001 не является панацеей от подобных случаев и ложные срабатывания бывают у всех ?

Михаил, если вы здесь и сейчас скажите "у Тренд Микро не бывает ложных срабатываний и он никогда не вызывает сбоев в работе клиентских сетей и компьютеров из-за обновлений" - я моментально прекращу дальше развивать эту тему. Если нет - тогда давайте разбираться в чем реальный смысл наличия сертификата ISO.

Я пока считаю, что это всего лишь оправдание неумению работать быстро.

Что-то подобное есть во всех компаниях. Вопрос только в том, насколько оно "подобное".

Это не важно.

Важно как оно работает. Если трендовская система не позволяет выпускать обновления быстрей чем раз в три часа - не надо ссылаться на ISO. Там нет никаких ограничений по времени тестирования. Может стоит просто поставить больше компьютеров и максимально распаралеллить процесс ? (это просто предложение-абстракция).

[Михаил Кондрашин 55]

Мне потратить свое время на поиск случаев когда Тренд удалял и фалсил по-крупному ?

Очень мало найдете.

Или просто признаем, что ISO 9001 не является панацеей от подобных случаев и ложные срабатывания бывают у всех ?

Ложные срабатывания бывают у всех, но только те у кого есть система качества дорабатывают ее и подобные ложные срабатывания не повторяются.

Если нет - тогда давайте разбираться в чем реальный смысл наличия сертификата ISO.

Сертификат позволяет при прочих равных полагать, что вероятность сбоев после обновления меньше, чем при использовании продукта, обновления к которому делает лаборатория без такого сервификата.

Я пока считаю, что это всего лишь оправдание неумению работать быстро.

Неужели вы считаете, что у Trend Micro обновления делают тормоза?

Тестирование и так распараллелено!

[SuperBrat 6]

Не хотите более предметно высказаться, каким образом скорость реакции и выпуска обновлений зависит от ISO ?

Увеличивается количество бумаг и электронных документов, которые необходимо заполнить для ответа на самый простейший вопрос. Знаю по опыту работы. Поднял Windows - отпишись 1-2 служебками. И т.д. и т.п.

Но отсутствие ISO, тоже не панацея. Быстрая реакция ЛК на мое письмо с новым Zlob в виде ответа "чисто!" удивляет, когда следом приходят письма от других лабов с добавлением нового зловреда в базу.

[VladB 60]

На самом деле при быстрой реакции сбои не то, что возможны, а целиком понятны. Но это, откровенно, вполне простительно!

[Михаил Кондрашин 55]

VladB

Если говорить о глобальных обновлениях, то это непростительно, так как сбои могу превысить возможный ущерб от вируса.

Мне представляется разумным компромиссный подход, когда клиент, который уже поражен, загружает "бета-версию" обновления, а на глобальные сервера обновлений попадает только протестированное обновление.

[Сергей Ильин 1538]

Все таки хочется более детально понять:

1. Как приведение бизнес-процесса выпуска обновлений в соответствие с ISO влиеят на его скорость? Какие действия делают в TrendLabs и не НЕ делают конкуренты?

2. Вообще есть ли прямая зависимость количество обновлений -> количество сбоев? Для меня это не очевидно, давайте попробуем собрать статистику, хотя бы по громким сбоям.

[Михаил Кондрашин 55]

Все таки хочется более детально понять:

1. Как приведение бизнес-процесса выпуска обновлений в соответствие с ISO влиеят на его скорость? Какие действия делают в TrendLabs и не НЕ делают конкуренты?

Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

2. Вообще есть ли прямая зависимость количество обновлений -> количество сбоев? Для меня это не очевидно, давайте попробуем собрать статистику, хотя бы по громким сбоям.

Давайте не путать оперативность выпуска обновлений и их частоту. Это разные понятия.

Мне кажется, что статистику набрать не получится, так как с одной стороны мы не знаем скорость создания обновлений, а с другой "громкие" сбои бывают только у крупных вендоров.

Я согласен, что если бы сбор такой статистики был бы возможен, то результат бы расставил все точки над i.

[VladB 60]

В том-то и дело, что связь неочевидна

[Михаил Кондрашин 55]

В том-то и дело, что связь неочевидна

Тут я совершенно согласен.

[A. 876]

Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Это что, ответ на вопрос "Какие действия делают в TrendLabs и не НЕ делают конкуренты?"

Чушь какую-то городите

[Михаил Кондрашин 55]

Это что, ответ на вопрос "Какие действия делают в TrendLabs и не НЕ делают конкуренты?"

Чушь какую-то городите

Откуда я могу знать, чего не делают конкуренты?!

[VladB 60]

A.

Хотелось бы по теме что-то услышать.

[A. 876]

A.

Хотелось бы по теме что-то услышать.

Мне бы тоже очень хотелось услышать что-нибудь по теме от "начальника транспортного цеха", г-на Кондрашина.

До сего момента им были озвучены только некоторые отличия компаний, работающих по ISO от всех остальных, как то:

- Тестирование всегда производит отдельный персонал.

- Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

- Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Ни один из названных параметров, очевидно (для меня), не является чем-то отличительным и используется не только в ТрендеСимантеке.

Ни один из названных параметров не решает проблемы с ложными срабатываниями или сбойными апдейтами, после которых ТрендСимантек несут явные финансовые потери (http://www.net-security.org/news.php?id=8297)

Кроме того, как уже было озвучено в этом топике - наличие сертификата ISO ни коим образом не влияет на скорость выпуска обновлений (см. о BitDefender), что показывает весьма интересную картину - при прочих равных румыны работают быстрей Тренда.

Где ж тут собака зарыта ?

Изменим вопрос: что такого делают конкуренты, что не делает Тренд или Симантек, если ISO явно не при чем ?

[Михаил Кондрашин 55]

A.

Хотелось бы по теме что-то услышать.

До сего момента им были озвучены только некоторые отличия компаний, работающих по ISO от всех остальных, как то:

Это не отличия. Как справедливо уже утверждалось в этой ветке, система тестирования может быть сделана так же, как этого требует ISO, но при это не сертифицирована.

- Тестирование всегда производит отдельный персонал.

- Система контроля качества улучшается в случае, если качество продукции ухудшатся. То есть в случае, если будет выпущено обновление, которое вызовет неполадки, то вместо увольнения нашкодившего сотрудника, просто немного дорабатывается система качества, что исключает подобную ситуацию в будущем.

- Перед публикацией обновления требуется его протестировать, вот и возникает задержка.

Ни один из названных параметров, очевидно (для меня), не является чем-то отличительным и используется не только в ТрендеСимантеке.

Согласен.

Ни один из названных параметров не решает проблемы с ложными срабатываниями или сбойными апдейтами, после которых ТрендСимантек несут явные финансовые потери

Указанные меры не "решают проблемы", а минимизируют ее вероятность.

(Так же, как антивирус не решает проблему вирусов, а минимизирует вероятность ее появления)

(http://www.net-security.org/news.php?id=8297)

Подобные масштабные последствия, это результат того, что Trend Micro, очень большая компания. Много много клиентов, соответственно любые неполадки сразу просачиваются в прессу.

Кроме того, как уже было озвучено в этом топике - наличие сертификата ISO ни коим образом не влияет на скорость выпуска обновлений (см. о BitDefender),

Насколько я понял на их сайте у BitDefender сертифицирована разработка самих продуктов, а не антивирусной лаборатории.

Где ж тут собака зарыта ?

Изменим вопрос: что такого делают конкуренты, что не делает Тренд или Симантек, если ISO явно не при чем?

Совершенно правильная формулировка вопроса, но увы "начальник транспортного цеха" ответить не может --- это не в его компетенции. Может хоть субъективное впечатление есть у кого-нибудь?

Какое мнение у Сергея Ильина?

[Сергей Ильин 1538]

Давайте не путать оперативность выпуска обновлений и их частоту. Это разные понятия.

Согласен, это разные понятия, думаю следует отталкиваться от скорости реакции (оперативность выпуска обновлений). Хотя частота выхода обновлений все таки связана со скорость реакции.

Если апдейты выкладываются раз в неделю, то как бы быстро не работал вируслаб, не проводил все неаобходимые тесты, это не будет иметь значение в итоге.

[Михаил Кондрашин 55]

Если апдейты выкладываются раз в неделю, то как бы быстро не работал вируслаб, не проводил все неаобходимые тесты, это не будет иметь значение в итоге.

Согласен на 100%.

Редкие обновления => неоперативные, но, может быть, тщательно протестированные

Частые обновления => ?

Неоперативные обновления => может быть, тщательно протестированные

Оперативные обновления => могут быть частыми, но, может быть, плохо протестированными

Других выводов априори сделать нельзя

[Олег Рагозин 10]

Мне кажется мы толчем воду в ступе...

Очевидно, что крупные антивирусные вендоры развивают более широкие линейки продуктов и поддерживают бОльшее количество платформ. В итоге перед выпуском обновлений требуется протестировать данное обновление на бОльшем количестве продуктов, что занимает длительное время, даже если процесс практически полностью автоматизирован.

Поэтому каждый вендор пытается подойти к проблеме быстрой реакции на вирусные и спамовые эпидемии своими методами, различными дополнительными сервисами, проактивными технологиями и т.д.

Однако при прямом проведении теста на скорость реагирования гранды обычно остаются в конце списка ввиду изложенных причин, поэтому многие из них отказываются учавствовать в таких тестах (в AV-comparatives например).

Результаты тестов по скорости реагирования не дают объективной оценки по качеству защиты, которые обеспечивают те или иные антивирусные продукты. То есть эта оценка является скорее субъективным нежели объективным параметром. Однако многие этого не учитывают.

[VladB 60]

Естественно, однако, обновление скажем дважды в неделю, как у Windows One Care Live уже явно недостаточно!