Можно ли доверять сравнительным тестам? - Общий форум по информационной безопасности - Форумы Anti-Malware.ru Перейти к содержанию
Deja_Vu

Можно ли доверять сравнительным тестам?

Recommended Posts

Deja_Vu
Как мне кажется, пользователи в массе своей - далеко не дураки. Особенно те, кто читают информацию о тестах.

Я тоже сейчас думаю, что с антивирусами все в принципе понятно. И все тесты разжёваны.

Но вспоминаю себя, пару лет назад. Когда был программистом и решил купить себе антивирус. Банальный выбор между KIS и KAV поставил меня в тупик.

Вот таких вот как я, два года назад - абсолютное большинство из IT мира.

Если честно, тема очень неоднозначная.

Любой антивирусный тест, в принципе, синтетический. И они, на данный момент(имхо) нужны лишь для пиара и для небольшого круга людей, которые интересуются данной тематикой(тут можно много бла-бла-бла про извлечении из тестов информации о тенденциях развитиях продуктов и т.д.).

Соответственно, т.к. любой тест является пиаром для группы вендоров, чьи продукты в лидерах, а DrWeb не пиарится(как я понимаю) на тестах, то тут он попадает в заведомо не выгодное положение. Потому что, каждый антивирус пиарится на чьих либо тестах. А везде продукты сравниваются с другими продуктами.

И в связи с методикой портала, Dr.Web, как правило, может победить лишь в тесте не лечение.

(дальше стараюсь раскрыть мою сложную мысль примером :) )

И вот ситуация, Василий решил выбрать антивирус. Смотрит - множество тестов и т.д. Но Dr.Web'a нигде нет, кроме как на АМ. А тут он выставлен в не выгодном свете. Считайте антипиар.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
При этом широкой публике результаты тестирований будут всегда интересны. Они позволяют не включать мозг.

Это не совсем так. Тесты позволяют оправдать "невключение" мозга, являющегося постоянным.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

вставлю свое ИМХО. Антивирус как по мне представляет собой сложную систему, поэтому для оценки его, как сложной системы, нужен не один тест, а несколько или много, которые будут показывать поведение продукта в некоторой части факторного пространства. Потому тесты по вменяемой методике нужны, как и нужны оценки влияния той или иной точки факторного пространства на общую оценку продукта.

Естетственно, что никакие испытания или тесты не заменят "боевого" режима использования, но в руках грамотного специалиста любой вменяемый тест покажет некую часть функционала. скажем, тест на скорострельность для специалистов антивирусных компаний имеет крайне малое значение, а для эндюзера - имеет. Поэтому тут предлагаю быть более толерантными. Есть тесты для специалистов, есть просто тесты "для себя" - когда непонятно, что за методика применялась, и тесты для эндюзера.

Что касается продуктов, отказавшихся от тестов - тут интересно посмотреть PR материалы и все равно так или иначе употребляются их характеристики в превосходной степени (в тестах не участвуют, тем не менее употребляют такие выражения... Чем они подкреплены?). Обычно их ставит в тупик вопрос - на какие тесты идет ссылка? Где мы можем это увидеть?

Тем не менее, любое решение надо уважать - не хотят участвовать - это их право

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Что касается продуктов, отказавшихся от тестов - тут интересно посмотреть PR материалы и все равно так или иначе употребляются их характеристики в превосходной степени (в тестах не участвуют, тем не менее употребляют такие выражения... Чем они подкреплены?). Обычно их ставит в тупик вопрос - на какие тесты идет ссылка? Где мы можем это увидеть?

На самом деле, если пиарится "и только Dr.Web лечит от самых новых руткитов" или "и только Dr.Web может вылечить от Polipos к 12 часам 15 минутам прошлого вторника" (к примеру), то доказать это не так сложно. И после этого со спокойным сердцем можно вполне применять превосходные степени прилагательных. Не всегда нужен какой-то навороченный тест для того, чтобы заявить о некоторых характеристиках антивируса. А вот под некоторые заявления нужна довольно сложная методика, чтобы "достать" эти преимущества и показать публике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

ИМХО - "лучший в мире" - перебор :P Пиар по поводу банкоматного трояна - с опозданием на три месяца после его обнаружения - тоже как то не очень... И на телевидении выглядело еще более неубедительно....

И писалось выше безотносительно "Доктора", есть и другие отказники, не правда ли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
И писалось выше безотносительно "Доктора", есть и другие отказники, не правда ли?

Да, есть. Им сложнее :)

Пиар по поводу банкоматного трояна - с опозданием на три месяца после его обнаружения - тоже как то не очень... И на телевидении выглядело еще более неубедительно....

Сам факт того, что это дошло до телевидения, говорит об обратном :) Это пиар, он живёт совсем по другим законам.

Я очень удивился, кстати, когда моя новость по финансовым пирамидам в Интернете тоже дошла до телевидения. Просто заметил на тот момент участившиеся случаи, решили сделать новость, чтобы предостеречь пользователей, а получился пиар на ТВ. И ведь там про вирусы ни строчки не было. Но я бы не сказал, что это тоже было неубедительным и был весьма рад, что непостижимым образом мы снова вышли на уровень ТВ.

Недавно комментил решение ставить "чёрные ящики" во все новые автомобили, которые будут выпускаться в "Евросоюзе", в которых будет сохраняться информация о нескольких десятках параметров движения автомобиля. Комментил с точки зрения ИБ. Тоже чёрт-те его знает, причём тут антивирусы, но попросили коммент, было интересно ответить.

Чего только не приходится комментить. Но любое упоминание в СМИ - это напоминание о нашем существовании потенциальным пользователям. Это всегда хорошо для компании.

Хотя с технической точки зрения часто такой бред в СМИ происходит :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

ИМХО, важна суть. Это была информация? Вряд ли... Предупреждение пользователям и рекомендации? Как связанному с этой отраслью напрямую говорю - очень неубедительно и на предупреждение непохоже! Предупреждать надо было о простейших действиях кардхолдера, которое практически защищала от кардеров! Вернемся к новости - сэмпл получен через VMS? Обученный банкомат выслал образец? Смешно.... При этом известно. что западные вендоры добавили детект намного раньше.

Хотя согласен, PR живет по иным законам... Но перегибы и вранье не умиляют! По принципу -единожды солгав.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Но перегибы и вранье не умиляют!

Перегибы и враньё - разные вещи. Под перегибами Вы, видимо, понимаете расстановку акцентов. Да, в СМИ часто расстановка акцентов идёт не совсем адекватным образом. Но тут уж ничего не поделать.

В чём заключалось враньё-то? Разве не мог кто-либо отправить сэмпл на vms@ ? Только банкомат мог это сделать? :)

Предупреждать надо было о простейших действиях кардхолдера, которое практически защищала от кардеров!

Возможно, и надо было, но на тот момент этой информации могло не быть.

ИМХО, важна суть. Это была информация? Вряд ли... Предупреждение пользователям и рекомендации? Как связанному с этой отраслью напрямую говорю - очень неубедительно и на предупреждение непохоже!

Чем эта новость была полезной зрителям? Зрители, по крайней мере, узнали, что такие схемы возможны. И нет гарантий, что подобные схемы будут невозможны в будущем. Зрители узнали, что в банкоматах используется Windows XP со всеми вытекающими проблемами. Многие пользователи эту систему используют дома и знают, что MS постоянно выпускает под неё патчи, связанные с закрытием дыр. Из любой новости можно извлечь что-то полезное.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Возможно, и надо было, но на тот момент этой информации могло не быть.

В том - то и дело. что была. Как и была доступна информация о трояне - примерно с января. Причем от производителя :rolleyes: Засим флуд прекращаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

alexgr, ок-ок, значит, всё же расставление акцентов виновато :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Ещё такой вот этюд.

Тестовые лаборатории, показывая на инновационные тестирования, говорят, что антивирусы без HIPS'а и других супер-пупер-современных технологий - дерьмо! Эвристические технологии - вчерашний день!

А я прихожу на одну из работ каждый день и в течение дня наблюдаю, как без шума, без пыли мой старенький серверок, с позволения сказать (450МГц, 256МБ), под управлением ASPLinux 12 и Dr.Web Enterprise Suite складывает потихоньку статистику в течение дня со 150 компьютеров о вставляемых флешках, о посещаемых интернет-ресурсах, о ломящихся с незащищённых компьютеров сетевых червях. И так уже не первый год. И всё стоит, и не ломается, и работает. Не сказать, что заражений не было. Но их было так мало, единицы за 4 года... И ни одной глобальной эпидемии с начала использования Dr.Web ES. Даже и не знаю, захотел бы я тратить ресурсы этих морально устаревших компьютеров на HIPS-технологии ради такой мелочи.

30%, говорите? Не-а, никогда не поверю.

Валера, блин, ты вроде умный человек, а несешь чушь с умным видом. Твой личный опыт никого не интересует, это твой субъективный опыт, твои 150 компьютеров - это ничто по-сравнению со всей вселенной. Так вот, все зависит от пользователя. Что он посещает, как он посещает, на что нажимает и так далее. Количество факторов для заражения огромно, невероятно огромно, например, заточка под обход конкретных антивирусов (я видел ТЗ на разработку вирья, дрвеп там нет). Я тебя уверяю, что ходить по "порно" и кликать с удовольствием можно и с дрвеп и 30% (а то и еще меньше). Поверь мне, это так. И что самое интересное, то 0day мало кто вообще поймает. Так что ты можешь верить, а можешь не верить, мне пофигу, НО я тебя уверяю, что сигнатуры, эвристика, FLY-CODE (госпади, зачем так убого называть эмулятор и данные из него...) и унылые Origins тебя не спасут. Просто вы отстали и это факт.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

sww, спасибо за мнение. Для противовеса сойдёт.

То, что Вы назвали чушью, я назвал этюдом. Это не доказательство чего-либо. Это жизнь. Впечатление от работы продукта без HIPS и без сканирования 200МБ файлов за 3 секунды ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
sww, спасибо за мнение. Для противовеса сойдёт.

То, что Вы назвали чушью, я назвал этюдом. Это не доказательство чего-либо. Это жизнь.

Я часто вижу от тебя этюды, но к объективной ситуации они вообще никак не относятся, а особенно к жизни.

Впечатление от работы продукта без HIPS и без сканирования 200МБ файлов за 3 секунды ;)

А у меня сам знаешь что больше :P

Опять же, не понимаю причем тут это? Неужели ты думаешь, что ХИПСы придумали только для того, чтобы "пирожки" продавались круче? Только без этюдов плз - лишняя софистика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
На самом деле, если пиарится "и только Dr.Web лечит от самых новых руткитов" или "и только Dr.Web может вылечить от Polipos к 12 часам 15 минутам прошлого вторника" (к примеру), то доказать это не так сложно. И после этого со спокойным сердцем можно вполне применять превосходные степени прилагательных. Не всегда нужен какой-то навороченный тест для того, чтобы заявить о некоторых характеристиках антивируса. А вот под некоторые заявления нужна довольно сложная методика, чтобы "достать" эти преимущества и показать публике.

Софистика, Валера.

Впрочем, мы с тобой эту тему здесь затрагивали (концовка поста и дале по тексту). В дополнение могу тебе сказать, что то, что я тебе пытался донести до твоего сознания, подтвердилось на практике в нескольких организациях -- не можете предоставить документального подтверждения своего главного тезиса, значит, не о чем говорить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Миш, ты правда считаешь, что результаты тестирования на Anti-Malware являются документальным подтверждением чего-либо?

Да ну. Администрация портала сама признаёт, что до идеальных тестов ещё далеко.

Но почему-то считается, что лучше такие, чем никакие.

Да, я могу принять существование такого мнения, что для кого-то такие тесты лучше, чем ничего, хотя не и не разделяю эту точку зрения.

Но эти тестирования также и не документальное подтверждение.

Исследования лаборатории не стандартизованы, не сертифицированы, не подтверждены независимой аудиторской проверкой (да и практически невозможно сейчас такую квалифицированный аудиторский контроль и создать). Тесты также вызывают множество вопросов, как по методике проведения, так и по представлению результатов широкой публике.

То же самое можно сказать про квалификацию людей, которые проводят тестирования. Руководят тестированием вроде бы люди адекватные, но их квалификация также ничем не подтверждена, кроме нашей веры в их квалификацию. (Здесь я не про администрацию веду речь, а про более квалифицированных, опять же, по моему мнению, людей, которые фактически руководят тестированием). Непосредственное тестирование проводят люди, которые, скажем, тоже не вызывают доверия лично у меня, у меня нет сведений, подтверждающих, что эти люди способны провести тестирование, избежав ошибок и ляпов.

Для себя, для СМИ - да, тесты представляют некоторый интерес.

В качестве документального подтверждения чего-либо - нет.

И заявления Ильи о том, что эти тестирования сначала вызывают бурю недовольства, а затем становятся классикой, кажутся... слишком самоуверенными.

Вера в собственные силы - это хорошо. Но этого недостаточно для получения результатов, которые можно использовать в процессах, требующих документального подтверждения.

А т.к. эти результаты не могут являться документальным подтверждением качеств продуктов, они имеют такую же ровно силу, как и заявления вендоров, сделанные на собственном опыте и мировосприятии.

Поэтому все вендоры (как вот ESET недавно) стремятся получить различные сертификаты от госслужб. Вот их можно показывать крупным заказчикам. Это - документальное подтверждение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Сергей Ильин, речь идёт не о качестве тестов в данном случае, а об их юридической силе, о возможности применять их результаты для документального доказательства чего-либо. И моё сообщение было ответом на другое сообщение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

полагаю, что не так. И это просто до очевидности. Какой вендор скажет - да, тут мы отстаем, тут недокрутили, тут просто не успели? Как то слышать такое не приходилось.....

Приходилось слышать - х64 будет скоро, прям на неделе.... (Год прошел, релиза нет :D . Здесь не акценты, а откровенная ложь!). Приходилось комментировать аргумент - мы лучшие в лечении. В ответ вопрос - чем можете подтвердить? Ответ, как вы понимаете, был уклончивый до полного молчания. Голословное утверждение выглядит как попытка обмана, а повторяя персонаж известного фильма - "маленькая ложь рождает большое недоверие"...

Отказ от участия в тестах как раз и ставит вопрос подтверждения. Люди, которые так или иначе вынуждены слушать маркетинговый бред, обычно подготовлены и предварительно оценили некоторые продукты и те минимальные требования, которым они должны удовлетворять. А им двигают - цитирую "вендорскую похвальбу" (с) не я. И их "мировосприятие" оценено - "очень денег хочется" (с) не я.

Это мое восприятие от общения с администраторами, которые так или иначе причастны к закупкам АВ продуктов в Украине.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Поэтому все вендоры (как вот ESET недавно) стремятся получить различные сертификаты от госслужб. Вот их можно показывать крупным заказчикам. Это - документальное подтверждение.

Валерий, документальное подтверждение чего? :)

Того, что ПО соответствует ТУ и не содержит НДВ? Это, безусловно, важные вещи, но, пардон, при чем тут тестирование на качество?

Или появились новые сертификаты, подтверждающие качество работы с точки зрения ловли вирусов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Какой вендор скажет - да, тут мы отстаем, тут недокрутили, тут просто не успели? Как то слышать такое не приходилось.....

Если бы видели, сколько раз в день в техподдержке пишут примерно так: "К сожалению, у нас нет сейчас продукта, полноценно поддерживающего 64-битную платформу Windows...". Можете сами соответствующий вопрос задать, получите подобный ответ.

Приходилось слышать - х64 будет скоро, прям на неделе....

Официальных заявлений по этому поводу не было. То, что пишется на форумах, не стоит брать в рассчёт. И в техподдержке не говорили, что через неделю будет в релизе 64 бита.

Приходилось комментировать аргумент - мы лучшие в лечении. В ответ вопрос - чем можете подтвердить?

Тут можно приводить факты по актуальным руткитам, с которыми одни продукты справляются, а другие - нет. Зависит от того, кто хочет подтвердить и что конкретно.

Подтверждает ли тест АМ на активное заражение, что Dr.Web противодействует всем существующим руткитам? Нет, тоже не подтверждает.

Этот результат говорит о том, что при данной методологии для отобранных образцов, которые авторы тестирования считают достаточно репрезентативными, были получены такие-то результаты.

Кто это сказал? Независимая лаборатория, квалификация и результаты которой ничем не подтверждены.

Если подобный эксперимент проведёт тестовая лаборатория вендора, то юридически этот результат при прочих равных (публикация методики, возможность воспроизвести тестирование и пр.) будет иметь большую доказательную силу.

Люди, которые так или иначе вынуждены слушать маркетинговый бред, обычно подготовлены и предварительно оценили некоторые продукты и те минимальные требования

Так зачем им тогда результаты тестов АМ, если они могут и сами оценить "некоторые продукты"?

Такие люди не будут пользоваться информацией, которая не имеет юридической силы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Если подобный эксперимент проведёт тестовая лаборатория вендора, то юридически этот результат при прочих равных (публикация методики, возможность воспроизвести тестирование и пр.) будет иметь большую доказательную силу.

Это не так.

Именно потому, что это будет делать лаборатория конкретного вендора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, документальное подтверждение чего? smile.gif

Того, чего могут подтвердить документально, того и оформляют, и показывают.

Да, сертификатов, подтверждающих юридически качество продуктов на данный момент нет. К сожалению для корпоративных и госзаказчиков.

Это не так. Именно потому, что это будет делать лаборатория конкретного вендора.

Это так, потому что квалификация этих людей как тестеров антивирусных продуктов официально подтверждена. И тест можно воспроизвести по предоставленной методике всем желающим аудиторским конторам, которые пожелают проверить эту информацию, например, по запросу заказчика. Этой аудиторской конторе будет хоть что оспаривать - конкретный документ, имеющий юридическую силу. Оспаривать же тесты АМ можно только с позиции выявления в результатах тестирований сведений, которые не соответствуют действительности и порочат деловую репутацию компании. Но это практически нереально, потому что "мы провели собственное тестирование по нашей методологии и назвали это тестирование так, нам так захотелось, и наши результаты мы не позиционируем как результаты, за которые мы можем/хотим юридически отвечать". Т.е. тестирование на АМ проводится на правах независимого журналистского расследования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
квалификация этих людей как тестеров антивирусных продуктов официально подтверждена

Ого, это чем же? Трудовой книжкой? Не надо сюда приписывать контроль качества (QA) это совсем разные темы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Ого, это чем же? Трудовой книжкой?

Ну да, хотя бы книжкой. Выпиской из трудовой биографии об опыте работы по теме.

Это лучше, чем ничего.

Если спортсмен установил мировой рекорд на домашней тренировке, он не будет признан. Даже если оборудование, которое использовалось для замера, удовлетворяет международным стандартам. Примерно такие мысли меня посещают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Официальных заявлений по этому поводу не было. То, что пишется на форумах, не стоит брать в рассчёт. И в техподдержке не говорили, что через неделю будет в релизе 64 бита.

Это не форум, а заявление одного из топ-менеджеров компании. Поэтому ответ не в тему. Заявление топ - менеджмента многие обоснованно считают официальным заявлением.

Это так, потому что квалификация этих людей как тестеров антивирусных продуктов официально подтверждена. И тест можно воспроизвести по предоставленной методике всем желающим аудиторским конторам, которые пожелают проверить эту информацию, например, по запросу заказчика. Этой аудиторской конторе будет хоть что оспаривать - конкретный документ, имеющий юридическую силу.

Как то вы очень небрежно об аудиторах.... Так чем подтверждается квалификация - сертификатами каких компаний, центров, органов? У меня вот есть несколько международных - поверьте, я, даже имея их, не бросался бы на амбразуру. Второе - любой аудитор оценит методику и проведет тест, сравнит результаты - и, просто представим себе (хотя таких примеров море) результаты не подтвердились? Гнать в шею тестеров? Нет, они работают на конкретного начальника, которому надо кроме объективных данных всегда показать, где они сильнее :D Кроме того, я сомневаюсь, что компания выложить из кармана несколько тысяч евро для подтверждения результатов внутренних тестов. Как пример - материалы сравнения ES и ePO. С какого бодуна орхестратор попал в антивирусы? Я б дальше и не читал - как аудитор, кстати :D

Это типа сравним лимузин и пикап. Вроде как ездят, а то, что назначение у них разное - это ж можно опустить для красоты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Так чем подтверждается квалификация - сертификатами каких компаний, центров, органов?

Вот независимые лаборатории сейчас и процветают потому что этих институтов нет, пользуются моментом. Обвинять их в этом сложно, молодцы.

Вернее, эти институты начинают создаваться, но, к сожалению, очень медленно идёт процесс. Не всем далеко вендорам выгодно проведение объективных тестирований, имеющих юридическую силу. Многим хочется выбирать из нескольких лабораторий ту, тестирования которой им кажется "правильными".

Подумайте, AMTSO ведь создали не от хорошей жизни. Что-то же движет этими людьми? Чему противодействует эта организация? Не многочисленным ли независимым лабораториям? Не прямой ли это ответ на Вашу аргументацию?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 19.2.10.
    • PR55.RP55
      1) Ситуация когда нет доступа к virustotal.com ( и другим ресурсам ) Что предлагаю: а) На примере Firefox 155 - Happy Eyeballs v3: подключение сразу несколькими путями *Браузер больше не выбирает маршрут до сайта заранее, а пробует несколько вариантов подключения параллельно и работает через тот, который отозвался первым. Выигрыш заметнее всего в сетях, где IPv4 или IPv6 работает медленно либо нестабильно: раньше браузер мог упереться в неотвечающий адрес и ждать таймаута, теперь соединение уходит по резервному пути без паузы. б) Если сайт полностью не доступен - то, при потоковой проверке файлов не заставлять пользователя "бесконечно" ждать... 2) Драйвер фаервола - при проверке. По хорошему программа сама должна знать какие файлы её, какие нет и всякий раз не лезть к ним и не пытаться получить доступ к собственному файлу ?  
    • AM_Bot
      «Инфосистемы Джет» активно развивает концепцию антихрупкости. Эта компания разработала инструменты для её практического применения — первый Фреймворк антихрупкой ИТ-архитектуры и Индекс антихрупкости для построения киберустойчивого бизнеса.      1. Введение2. Что такое антихрупкость ИТ-архитектуры3. Назначение инструментов, разработанных компанией «Инфосистемы Джет»3.1. Фреймворк антихрупкой ИТ-архитектуры3.2. Индекс антихрупкости4. Как проходит оценка4.1. Заполнение профиля компании4.2. Построение бенчмарка4.3. Прохождение опроса4.4. Оценка результатов5. ВыводыВведениеРезонансные атаки на крупнейшие российские компании, которые мы регулярно освещаем, вскрыли системную проблему: реальная операционная готовность к инцидентам остаётся на низком уровне, даже если система защиты формально выстроена. Как показало недавнее исследование компании «Инфосистемы Джет», пережить кибератаку не готовы 64 % из 50 российских компаний. Хуже всего ситуация обстоит в госсекторе и ритейле — при этом именно эти отрасли входят в число наиболее атакуемых.Защита, которая создавалась, чтобы остановить злоумышленника, теперь может лишь его замедлить — и одной способности «не пустить» стало недостаточно. Закупленные СЗИ создают иллюзию надёжности: организация выглядит защищённой, но в момент реальной атаки оказывается уязвимой.В условиях массовых взломов и эволюции атакующих стратегий на первое место выходит принцип управляемого ухудшения ситуации. Взлом с большой вероятностью произойдёт, но мы должны уметь работать под атакой, управлять кризисом и быстро восстановиться. Также необходимо выстроить зрелые процессы реагирования на угрозы, восстановления после инцидентов и обеспечения непрерывности бизнеса даже в условиях атаки. В ответ на этот вызов ИТ-компания «Инфосистемы Джет», работающая на российском рынке с 1991 года, предложила использовать концепцию антихрупкой ИТ-архитектуры.Её суть заключается в том, что ИТ-инфраструктура должна не просто выдерживать сбои, атаки и неблагоприятные обстоятельства, а по-настоящему быть к ним готовой, эффективно их преодолевать и даже извлекать из них пользу, становясь надёжнее и укрепляя свои позиции среди конкурентов.Что такое антихрупкость ИТ-архитектурыКонцепция антихрупкости впервые была предложена учёным Нассимом Талебом, статистиком, бывшим трейдером и риск-менеджером, который прославился изучением влияния случайных и непредсказуемых событий на мировую экономику и биржевую торговлю. В книге «Чёрный лебедь. Под знаком непредсказуемости» (The Black Swan), вышедшей в 2007 году, он ввёл сам термин «чёрный лебедь» для описания редких и маловероятных событий, имеющих огромные последствия, и пришёл к выводу, что вместо попыток их предсказания логичнее создавать системы, способные не просто пережить хаос, но и становиться после него сильнее. Именно это понимание легло в основу идеи антихрупкости, которая уже была детально раскрыта Талебом в книге 2012 года «Антихрупкость. Как извлечь выгоду из хаоса» (Antifragile: Things That Gain From Disorder).Вдохновившись концепцией антихрупкости, аналитики компании «Инфосистемы Джет» решили развивать эти идеи и продвигать их в России. Антихрупкая ИТ-архитектура — не гонка за новыми инструментами. Она строится вокруг способности пережить полный жизненный цикл атаки: подготовиться к ней, замедлить злоумышленника, обнаружить вторжение, сократить ущерб, восстановить бизнес и перестроиться после инцидента. Для практической реализации концепции антихрупкости «Инфосистемы Джет» разработали первый Фреймворк антихрупкой архитектуры и Индекс антихрупкости, позволяющие выявить слабые места и сформировать дорожную карту усиления защиты.Назначение инструментов, разработанных компанией «Инфосистемы Джет»Как же перейти от понимания концепции антихрупкости к её реализации? В этом помогут разработанные вендором инструменты, которые мы рассмотрим ниже.Фреймворк антихрупкой ИТ-архитектурыФреймворк антихрупкой ИТ-архитектуры представляет собой открытый и практичный инструмент, который объединил опыт инженеров, аудиторов, консультантов и экспертов-практиков по защите сети и построению ИТ-инфраструктуры. Он разработан командой «Инфосистемы Джет» во главе с руководителем отдела развития консалтинга по ИБ Александром Морковчиным.Сценарии использования фреймворка охватывают три ключевые рыночные потребности. Первая — оценка текущего уровня киберустойчивости с помощью единой измеримой «линейки» для сопоставления с конкурентами и отраслевыми лидерами. Вторая — планирование развития на основе каталога проверенных практик и выбор вектора роста. Третья — трансформация: пошаговый переход от фактического состояния к целевому уровню киберустойчивости. Фреймворк имеет иерархическую логику: он строится по каскадной модели «в крупную клетку», т. е. на высоком уровне абстракции, без погружения в мелкие детали. Всего существует пять уровней детализации, где каждый следующий уровень конкретизирует предыдущий. Это позволяет последовательно двигаться от общего видения (стратегии) по уровням детализации к конкретным действиям (практике), сохраняя гибкость и системность.Фреймворк доступен на официальном сайте и не требует установки дополнительных расширений. Рисунок 1. Каскадная модель фреймворка антихрупкой ИТ-архитектуры Разберём каскад по уровням:Уровень 0. ДистанцииДистанции описывают фазы жизненного цикла относительно кибервторжения.Уровень 1. Цели («Чего хотим достичь»)Здесь выделяется семь стратегий. Это верхнеуровневые направления для достижения антихрупкости: например, «подготовка и прогнозирование», «адаптация и перестройка». Их цель — сформировать киберустойчивый каркас, дополнив классическую ИБ тем, чего часто не хватает в реальной атаке: связью с ИТ-архитектурой, непрерывностью, восстановлением, кризисным управлением и постоянным улучшением. Таблица 1. Семь стратегий антихрупкостиСтратегияВопрос, на который она отвечаетСистемное развитие и контрольРазвивается ли ИБ оправданно с точки зрения бизнеса?Подготовка и прогнозированиеПонимаем ли мы, как нас будут атаковать и какое звено сломается первым?Вовлечение и нападениеЗнаем ли мы, кто и как готовится нас атаковать — и можем ли перехватить инициативу?Защита, замедление, сдерживаниеЧто не даст атакующему быстро развить успех после проникновения?Обнаружение и реагированиеПоймём ли мы, что враг уже внутри, до того как он ударит?ВосстановлениеЕсть ли у бизнеса «План Б» на случай потери инфраструктуры?Адаптация и перестройкаСтанет ли компания сильнее после инцидента? Уровень 2. Правила реализации («Как себя ведём»)Здесь выделяется 10 принципов. Принципы связывают стратегии с действиями: это установки, задающие поведение. Например, принцип «нулевого доверия» или «безопасности по умолчанию». Уровень 3. Области применения («Где развиваем способности») Здесь выделяются 33 домена — тематические области, группирующие практики по функциональной принадлежности. Каждый домен описывает определённую способность организации. Уровень 4. Конкретные действия («Что делаем»)Здесь выделяется 390+ практик. Практики — конкретные меры и действия, которые организация должна реализовать для достижения целей киберустойчивости. Рисунок 2. Распределение стратегий антихрупкости по четырём дистанциям Вышеописанная схема является интерактивной: кликнув на домен, можно ознакомиться с относящимися к нему практиками. Рисунок 3. Информация о входящих в домен «Обнаружение и реагирование» практиках Также можно использовать строку поиска для выделения интересующих вас практик. Рисунок 4. Результат поискового запроса Фреймворк можно выгрузить в виде файла формата XLS, в котором также представлен инструмент самооценки. Рисунок 5. Фрагмент фреймворка в формате XLS Индекс антихрупкостиИндекс антихрупкости — показатель, позволяющий оценить в процентном соотношении, насколько компания готова к «чёрным лебедям», т. е. труднопредсказуемым событиям. Индекс построен на базе фреймворка и отвечает на вопрос: способна ли компания пережить кибератаку, продолжать работу в её условиях и восстановиться после неё. Итог оценки — индекс антихрупкости от 0 до 100 %, разбор по направлениям защиты и сравнение с другими участниками индустрии. Отраслевой уровень обновляется автоматически по мере накопления ответов респондентов.Индекс не заменяет регуляторные оценки, а дополняет их в областях, которые проверяют реальную киберустойчивость: восстановление и непрерывность бизнеса, кризис-менеджмент, threat hunting, безопасная разработка, безопасность ИИ, отказоустойчивость, культура киберучений и другие. Разберём, как пользоваться инструментом оценки.Как проходит оценкаС сервисом можно ознакомиться на официальном сайте. Вы отвечаете на сто коротких вопросов о том, какие практики киберустойчивости есть в компании. Оценка полностью анонимна: контактные данные и название компании не запрашиваются. У каждой оценки есть только уникальный идентификатор — он понадобится, если вы захотите задать вопрос по полученным результатам. Рисунок 6. Расчёт Индекса антихрупкости (приветственное окно) Заполнение профиля компанииДля получения оценок, релевантных профилю вашей организации, необходимо указать параметры из выпадающего списка: Сфера деятельности компании.Общее количество сотрудников.Число ИБ-сотрудников.Число ИТ-сотрудников.Оценку формирует руководитель ИБ или тот, кто отвечает за информационную безопасность в компании. Часть вопросов затрагивает смежные зоны — резервное копирование, непрерывность бизнеса, безопасную разработку, взаимодействие с юристами и PR. Если по ним нет уверенности, лучше уточнить у коллег: точность ответов напрямую определяет пользу результата. Рисунок 7. Пример заполненного профиля организации Заполнив все поля, можно переходить к следующему шагу. Для этого нажмите кнопку «Посмотреть показатели по отрасли».Построение бенчмаркаВ следующем разделе нам становится доступен бенчмарк, отражающий индекс антихрупкости и оценку в разрезе стратегий антихрупкой ИТ-архитектуры в среднем по отрасли. В качестве примера мы выбрали сферу деятельности «финансовый сектор». Рисунок 8. Экспресс-оценка показателей киберустойчивости по отрасли Ниже приводится оценка по стратегиям в табличном виде. Рисунок 9. Индекс антихрупкости в разрезе стратегий и практик по отрасли Прохождение опросаДля расчёта своего индекса антихрупкости пользователю предлагается пройти опрос по 100 практикам, каждая из которых имеет пять вариантов ответа:«Да» (выполняется системно).«Частично» (с ограниченным охватом).«Нет» (не выполняется или выполняется ad hoc, т. е. разово или под конкретную задачу).«Неприменимо» (не используется в организациях данного типа). Этот ответ следует выбрать, если, например, в организации нет такого процесса или системы. При выборе этого варианта метрика исключается из расчёта.«Не знаю» (затрудняюсь оценить). Метрика исключается из расчёта. Рисунок 10. Опрос в рамках стратегий и практик Результат отображается сразу после ответа на последний вопрос. Для расчёта индекса необходимо выбрать «Показать результаты». В том случае, если не все практики были оценены, появится окно с предупреждением и расчёт будет проведён с ограничениями. Рисунок 11. Предупреждение пользователя Оценка результатовНа вкладке «Результаты» отображается текущий уровень киберустойчивости организации, а также сопоставление этого уровня с показателями по отрасли в виде шкалы и радарной диаграммы («диаграммы-паука»). Рисунок 12. Экспресс-оценка киберустойчивости в виде шкал Рисунок 13. Экспресс-оценка киберустойчивости в разрезе стратегий При сравнении учитываются только критерии, по которым даны ответы. Ознакомиться с ними можно ниже в табличном виде. Рисунок 14. Оценка антихрупкости в разрезе доменов — групп практик Информацию по экспресс-оценке киберустойчивости организации можно скачать в виде готового отчёта. Он доступен в формате PDF и представляет собой готовый буклет для ознакомления в электронном виде или печати на бумаге. Рисунок 15. Выгрузка готового отчёта Рисунок 16. Фрагмент отчёта экспресс-оценки киберустойчивости организации ВыводыАнтихрупкость сегодня — ключевая стратегия выживания и роста компаний в условиях постоянных рисков: кибератак, ухода вендоров, сбоев инфраструктуры, регуляторных изменений и т. п. Она не заменяет классическую ИБ — она дополняет её способностью пережить успешную атаку.В современном ИТ‑ландшафте недостаточно просто держаться на плаву, нужно заранее готовиться к тому, чего нельзя предсказать. Именно поэтому антихрупкость становится центральным элементом зрелой ИТ‑стратегии и обязательным ориентиром при проектировании архитектуры, управлении инцидентами и планировании цифровой трансформации.Компания «Инфосистемы Джет» переводит концепцию антихрупкости на язык конкретных инженерных и управленческих решений. Она даёт бизнесу рабочие инструменты — собственный Фреймворк антихрупкой ИТ‑архитектуры, помогающий выстроить понятный путь от стратегии к конкретным действиям, и Индекс антихрупкости, который помогает увидеть, насколько компания реально готова к сбоям, атакам и внезапным переменам.Компания планирует и далее развивать Фреймворк: адаптировать его к специфике различных отраслей, разработать вариативные сценарии применения в зависимости от контекста.Достоинства:Открытая методология, доступная любому пользователю без оплаты и регистрации.Каскадная, понятная архитектура с чёткой логикой: семь стратегий достижения антихрупкости, 10 принципов, 33 домена и 390+ практик.Наличие веб-сервиса для оценки антихрупкости ИТ-архитектуры, в котором прохождение полного опроса по 100 критериям оценки занимает в среднем 20 минут.Возможность ознакомиться с показателями антихрупкости в среднем по отрасли.Представление результатов оценки в графическом и табличном формате.Формирование готового отчёта по итогам экспресс-оценки киберустойчивости с возможностью его выгрузки на компьютер.Недостатки:Ценность фреймворка сложно понять, если предварительно не ознакомиться с теорией антихрупкой ИТ-архитектуры.Для точной оценки индекса антихрупкости рекомендуется располагать полной информацией о деятельности компании и не пропускать ни одного критерия оценки. По уровню детализации Фреймворк антихрупкой ИТ-архитектуры относится к стратегическому и методическому уровню. Детальные технические регламенты, архитектурные стандарты, требования к настройке конкретных систем должны разрабатываться на следующем уровне детализации.Читать далее
    • demkd
      возможность есть, гляну, размер переменных окружения действительно 32767 максимум, но конкретно path больше 4095 это уже может стать проблемой.
    • Ego Dekker
      ESET Online Scanner 4.0.1  (Windows 10/11, 64-разрядная)
                                                                                  ●
              Руководство пользователя ESET Online Scanner 4  (PDF-файл)
×