AV-Comparatives: Retrospective Test (февраль 2009) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
p2u

AV-Comparatives: Retrospective Test (февраль 2009)

Recommended Posts

p2u

По правилам этого сайта нельзя давать прямую ссылку на результаты. Поэтому: Web Site Main.

В разделе Comparatives/Reviews - Main Tests найдёте 21 On-demand comparative February 2009 Report (PDF).

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... :wacko:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Интересно, что у него за коллекция чистых файлов,

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление :)

Зато порадовала McAfee с Artemis, хотя, технология не нова, если не ошибаюсь, - "коллективный разум" Панды?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... wacko.gif
С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление smile.gif

Расхождение по Sophos вполне объяснимы. Как обычно все дело в методологии. Мы брали читые файлы, загруженные в сеть (на download.com) в период проведения проактивного теста. Вендоры не могли заточить свои продукты под эти фалсы, у них не было шансов. Можно сказать, что это "проактивные фалсы".

В тесте Клименти антивирусы прогонялись по какой-то коллекции подготовленной под тест до его старта, а тут уже как повезет уже ... кто подсуетился, тот и меньше фалсит ;) Это раз.

Клиенти тестит Sophos c отключенным детектом подозрительных файлов. Для интереса они включили этот детект и получили 68 фалсов вместо 5. Там это написано на стр. 12, так что расхождений нет и Андреас не ошибся.

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Это вы, возможно, неправильно поняли. Там говорится, что все продукты кроме Sophos тестировались с максимальными настройками (вторая строчка под 'comments'):

Comments

As almost all products run nowadays in real life with highest protection settings by default or switch automatically to highest settings in case of a detected infection, we tested all products with highest settings (except Sophos).

(подчёркивание их)

и потом перечисляется какие продукты по умолчанию какие настройки применяют, и какие именно вендоры уже в прошлом году просили тестировать именно с максимальными настройками. Например: по умолчанию Касперский работает с Low Heuristics, но в тесте тестировали продукт с High Heuristics по просьбе же ЛК. Только Sophos настаивала на то, чтобы тестировали их продукт с настройками по умолчанию, что тестеры и сделали.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Интерпретация результатов убийственная. Касперский пропустил почти в 10 (!!!) раз больше, чем Авира. При этом показал 14 фолсов, а Авира - 24. И после этого ему дают advansed+, а Авире - фиг с маслом. Тут не просто логики нет - совести ни на грош.

После этого Клементиевские дипломы для меня не существуют.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

none or few: 0-3

few: 4-15

many: 16-100

very many: 101-500

crazy many: over 500

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них. Не зря же Sophos настаивала на тестирование их продукта с настройками по умолчанию...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них.

Paul

Пауль, да я все понимаю. Ну, что можно сказать? Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Skeptic

Коллекция в 1 млн+ файлов позволяет считать не в штуках, а в процентах.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Потому что менее фолсивый. Порог фолсов - это очень верный ход.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Ну да. Но мне обидно за Клементи, я уважаю его тесты. И вдруг такие ляпы - видны невооруженным глазом. Мне и раньше казалось, что в интерпретациях своих он сознательно задвигает немецкие антивири (что в 2006, когда он по итогам года предпочел НОД ГДАТЕ, хотя она явно лучше результаты показала, что в последних тестах, когда Авира страдает). Очевидно, чтобы его не обвинили в землячестве... Может быть, и глупо, конечно, но такие мысли возникают.

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Это риск когда вендор сам просит тестировать его продукт с максимальными настройками - сам он себе злобный буратино. Расширенные настройки, да, но у Авиры эвристика должна быть на среднем уровне (так по умолчанию). Думаю, что детект будет ненамного хуже. А теперь получается, что наказали за жадность...

P.S.: Вообще-то надо было тестировать ВСЕ продукты с настройками по умолчанию - так средний клиент их дома использует. А так получается опять пустая показуха; технически продукты на что-то способны, но средний клиент использовать этот потенциал всё равно не будет. Нереальные результаты в нереальных условиях - так всегда на таких тестах...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вставлю свои 5 копеек:

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор. И не только потому что там старье - а как раз потому, что там действительно полно мусора. Единственная цель для которой они могут использоваться - пиар. Учитывая результаты всех антивирусов от 90%, хотя реально эта цифра совсем далека от таких значений и никоим образом не позволяет сделать вывод о эффективности антивируса.

В принципе, даже от ретроспективных тестов толку мало...в частности проводимых с той методологией, которая используется Клементи. В итоге, учитывая, что на данный момент у Клементи кроме on-demand и retrospective других тестов нет, видна его попытка что-то изменить - появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование и тест на лечение активного заражения. Но мне что-то подсказывает, что будет разработана такая методология, что и в этих тестах большинство продуктов покажет хорошие и отличные результаты.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
все продукты кроме Sophos тестировались с максимальными настройками

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор.

Полностью согласен. Такие тесты сейчас реально ничего не показывают. Кроме того, используемая в них коллекция всегда вызывала кучу вопросов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
У многих написано ровно следующее:
.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Ответ можно легко угадать если цитировать и при этом не опускать глагол 'runs' - в present simple (то есть ВСЕГДА, как правило): уже по умолчанию работает с максимальными настройками). ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Нет не странно! Я привел Вам это утверждение не для того, чтобы показать какой Каспер хороший! Я хотел показать, что ни Вы ни я не знаем состав этой коллекции!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Я хотел показать, что ни Вы ни я не знаем состав этой коллекции

Да. Когда тест невоспроизводим, он всегда вызывает сомнение.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование

Динамика там стартует в апреле, длиться будет полгода и по цене, которая мне не по карману. :(

Мое мнение такое - тесты такого рода ни о чем.

И моё тоже. Мусорное пиар-тестирование на палёных зловредах, которыми давно никто не пользуется из непонятно каких источников (коллекция закрыта).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Вендоры ДОЛЖНЫ знать, потому что:

1) по правилам, всё, что их продукты НЕ обнаружили отсылается им если другие вендоры эти файлы детектили как зловреды.

2) То, что не детектится никем признаётся мусором и НЕ учитывается в результатах.

3) Кроме того, файлы, которые признаются самими вендорами как непригодные тоже не учитываются в результатах.

4) Результаты тесты корректируются на основании 1-3.

Этот процесс происходит ДО ТОГО, как результаты публикуются. Это всё описывается в том же документе по методологии.

P.S.: Надо предполагать, что среди тех файлов, которые продукты успешно обнаружили - тоже полно 'мусора' и 'устаревших сэмплов'? :rolleyes:

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

да, в свое время Андреас показал некий небольшой набор, который не обнаруживал некоторый продукт. Проверка показала, что некоторые из них - "трупы" (нерабочие), а еще несколько просто ложняк, попавший из карантина других вендоров. Не скажу, что из всего пропущенного все было вот таким, были и реальные пропуски, но цифра весьма изменилась

Но при этом вся коллекция осталась закрытой. У Маркса еще хуже - он ввобще ничего не дает. Приходится верить\не верить на слово

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Но Вы тоже не видели, но у верены в обратном!?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Не реально большой прирост семплов, наблюдалось у него периодически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      ESET Cyber Security 10.0.2100  (macOS 13/14/15/26/27)
                                                                                  ●
              Руководство пользователя ESET Cyber Security 10  (PDF-файл)
                                                           
      Полезные ссылки:
      Технологии ESET
      Удаление антивирусов других компаний
      Как удалить ESET Cyber Security?
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 19.2.10.
    • PR55.RP55
      1) Ситуация когда нет доступа к virustotal.com ( и другим ресурсам ) Что предлагаю: а) На примере Firefox 155 - Happy Eyeballs v3: подключение сразу несколькими путями *Браузер больше не выбирает маршрут до сайта заранее, а пробует несколько вариантов подключения параллельно и работает через тот, который отозвался первым. Выигрыш заметнее всего в сетях, где IPv4 или IPv6 работает медленно либо нестабильно: раньше браузер мог упереться в неотвечающий адрес и ждать таймаута, теперь соединение уходит по резервному пути без паузы. б) Если сайт полностью не доступен - то, при потоковой проверке файлов не заставлять пользователя "бесконечно" ждать... 2) Драйвер фаервола - при проверке. По хорошему программа сама должна знать какие файлы её, какие нет и всякий раз не лезть к ним и не пытаться получить доступ к собственному файлу ?  
    • AM_Bot
      «Инфосистемы Джет» активно развивает концепцию антихрупкости. Эта компания разработала инструменты для её практического применения — первый Фреймворк антихрупкой ИТ-архитектуры и Индекс антихрупкости для построения киберустойчивого бизнеса.      1. Введение2. Что такое антихрупкость ИТ-архитектуры3. Назначение инструментов, разработанных компанией «Инфосистемы Джет»3.1. Фреймворк антихрупкой ИТ-архитектуры3.2. Индекс антихрупкости4. Как проходит оценка4.1. Заполнение профиля компании4.2. Построение бенчмарка4.3. Прохождение опроса4.4. Оценка результатов5. ВыводыВведениеРезонансные атаки на крупнейшие российские компании, которые мы регулярно освещаем, вскрыли системную проблему: реальная операционная готовность к инцидентам остаётся на низком уровне, даже если система защиты формально выстроена. Как показало недавнее исследование компании «Инфосистемы Джет», пережить кибератаку не готовы 64 % из 50 российских компаний. Хуже всего ситуация обстоит в госсекторе и ритейле — при этом именно эти отрасли входят в число наиболее атакуемых.Защита, которая создавалась, чтобы остановить злоумышленника, теперь может лишь его замедлить — и одной способности «не пустить» стало недостаточно. Закупленные СЗИ создают иллюзию надёжности: организация выглядит защищённой, но в момент реальной атаки оказывается уязвимой.В условиях массовых взломов и эволюции атакующих стратегий на первое место выходит принцип управляемого ухудшения ситуации. Взлом с большой вероятностью произойдёт, но мы должны уметь работать под атакой, управлять кризисом и быстро восстановиться. Также необходимо выстроить зрелые процессы реагирования на угрозы, восстановления после инцидентов и обеспечения непрерывности бизнеса даже в условиях атаки. В ответ на этот вызов ИТ-компания «Инфосистемы Джет», работающая на российском рынке с 1991 года, предложила использовать концепцию антихрупкой ИТ-архитектуры.Её суть заключается в том, что ИТ-инфраструктура должна не просто выдерживать сбои, атаки и неблагоприятные обстоятельства, а по-настоящему быть к ним готовой, эффективно их преодолевать и даже извлекать из них пользу, становясь надёжнее и укрепляя свои позиции среди конкурентов.Что такое антихрупкость ИТ-архитектурыКонцепция антихрупкости впервые была предложена учёным Нассимом Талебом, статистиком, бывшим трейдером и риск-менеджером, который прославился изучением влияния случайных и непредсказуемых событий на мировую экономику и биржевую торговлю. В книге «Чёрный лебедь. Под знаком непредсказуемости» (The Black Swan), вышедшей в 2007 году, он ввёл сам термин «чёрный лебедь» для описания редких и маловероятных событий, имеющих огромные последствия, и пришёл к выводу, что вместо попыток их предсказания логичнее создавать системы, способные не просто пережить хаос, но и становиться после него сильнее. Именно это понимание легло в основу идеи антихрупкости, которая уже была детально раскрыта Талебом в книге 2012 года «Антихрупкость. Как извлечь выгоду из хаоса» (Antifragile: Things That Gain From Disorder).Вдохновившись концепцией антихрупкости, аналитики компании «Инфосистемы Джет» решили развивать эти идеи и продвигать их в России. Антихрупкая ИТ-архитектура — не гонка за новыми инструментами. Она строится вокруг способности пережить полный жизненный цикл атаки: подготовиться к ней, замедлить злоумышленника, обнаружить вторжение, сократить ущерб, восстановить бизнес и перестроиться после инцидента. Для практической реализации концепции антихрупкости «Инфосистемы Джет» разработали первый Фреймворк антихрупкой архитектуры и Индекс антихрупкости, позволяющие выявить слабые места и сформировать дорожную карту усиления защиты.Назначение инструментов, разработанных компанией «Инфосистемы Джет»Как же перейти от понимания концепции антихрупкости к её реализации? В этом помогут разработанные вендором инструменты, которые мы рассмотрим ниже.Фреймворк антихрупкой ИТ-архитектурыФреймворк антихрупкой ИТ-архитектуры представляет собой открытый и практичный инструмент, который объединил опыт инженеров, аудиторов, консультантов и экспертов-практиков по защите сети и построению ИТ-инфраструктуры. Он разработан командой «Инфосистемы Джет» во главе с руководителем отдела развития консалтинга по ИБ Александром Морковчиным.Сценарии использования фреймворка охватывают три ключевые рыночные потребности. Первая — оценка текущего уровня киберустойчивости с помощью единой измеримой «линейки» для сопоставления с конкурентами и отраслевыми лидерами. Вторая — планирование развития на основе каталога проверенных практик и выбор вектора роста. Третья — трансформация: пошаговый переход от фактического состояния к целевому уровню киберустойчивости. Фреймворк имеет иерархическую логику: он строится по каскадной модели «в крупную клетку», т. е. на высоком уровне абстракции, без погружения в мелкие детали. Всего существует пять уровней детализации, где каждый следующий уровень конкретизирует предыдущий. Это позволяет последовательно двигаться от общего видения (стратегии) по уровням детализации к конкретным действиям (практике), сохраняя гибкость и системность.Фреймворк доступен на официальном сайте и не требует установки дополнительных расширений. Рисунок 1. Каскадная модель фреймворка антихрупкой ИТ-архитектуры Разберём каскад по уровням:Уровень 0. ДистанцииДистанции описывают фазы жизненного цикла относительно кибервторжения.Уровень 1. Цели («Чего хотим достичь»)Здесь выделяется семь стратегий. Это верхнеуровневые направления для достижения антихрупкости: например, «подготовка и прогнозирование», «адаптация и перестройка». Их цель — сформировать киберустойчивый каркас, дополнив классическую ИБ тем, чего часто не хватает в реальной атаке: связью с ИТ-архитектурой, непрерывностью, восстановлением, кризисным управлением и постоянным улучшением. Таблица 1. Семь стратегий антихрупкостиСтратегияВопрос, на который она отвечаетСистемное развитие и контрольРазвивается ли ИБ оправданно с точки зрения бизнеса?Подготовка и прогнозированиеПонимаем ли мы, как нас будут атаковать и какое звено сломается первым?Вовлечение и нападениеЗнаем ли мы, кто и как готовится нас атаковать — и можем ли перехватить инициативу?Защита, замедление, сдерживаниеЧто не даст атакующему быстро развить успех после проникновения?Обнаружение и реагированиеПоймём ли мы, что враг уже внутри, до того как он ударит?ВосстановлениеЕсть ли у бизнеса «План Б» на случай потери инфраструктуры?Адаптация и перестройкаСтанет ли компания сильнее после инцидента? Уровень 2. Правила реализации («Как себя ведём»)Здесь выделяется 10 принципов. Принципы связывают стратегии с действиями: это установки, задающие поведение. Например, принцип «нулевого доверия» или «безопасности по умолчанию». Уровень 3. Области применения («Где развиваем способности») Здесь выделяются 33 домена — тематические области, группирующие практики по функциональной принадлежности. Каждый домен описывает определённую способность организации. Уровень 4. Конкретные действия («Что делаем»)Здесь выделяется 390+ практик. Практики — конкретные меры и действия, которые организация должна реализовать для достижения целей киберустойчивости. Рисунок 2. Распределение стратегий антихрупкости по четырём дистанциям Вышеописанная схема является интерактивной: кликнув на домен, можно ознакомиться с относящимися к нему практиками. Рисунок 3. Информация о входящих в домен «Обнаружение и реагирование» практиках Также можно использовать строку поиска для выделения интересующих вас практик. Рисунок 4. Результат поискового запроса Фреймворк можно выгрузить в виде файла формата XLS, в котором также представлен инструмент самооценки. Рисунок 5. Фрагмент фреймворка в формате XLS Индекс антихрупкостиИндекс антихрупкости — показатель, позволяющий оценить в процентном соотношении, насколько компания готова к «чёрным лебедям», т. е. труднопредсказуемым событиям. Индекс построен на базе фреймворка и отвечает на вопрос: способна ли компания пережить кибератаку, продолжать работу в её условиях и восстановиться после неё. Итог оценки — индекс антихрупкости от 0 до 100 %, разбор по направлениям защиты и сравнение с другими участниками индустрии. Отраслевой уровень обновляется автоматически по мере накопления ответов респондентов.Индекс не заменяет регуляторные оценки, а дополняет их в областях, которые проверяют реальную киберустойчивость: восстановление и непрерывность бизнеса, кризис-менеджмент, threat hunting, безопасная разработка, безопасность ИИ, отказоустойчивость, культура киберучений и другие. Разберём, как пользоваться инструментом оценки.Как проходит оценкаС сервисом можно ознакомиться на официальном сайте. Вы отвечаете на сто коротких вопросов о том, какие практики киберустойчивости есть в компании. Оценка полностью анонимна: контактные данные и название компании не запрашиваются. У каждой оценки есть только уникальный идентификатор — он понадобится, если вы захотите задать вопрос по полученным результатам. Рисунок 6. Расчёт Индекса антихрупкости (приветственное окно) Заполнение профиля компанииДля получения оценок, релевантных профилю вашей организации, необходимо указать параметры из выпадающего списка: Сфера деятельности компании.Общее количество сотрудников.Число ИБ-сотрудников.Число ИТ-сотрудников.Оценку формирует руководитель ИБ или тот, кто отвечает за информационную безопасность в компании. Часть вопросов затрагивает смежные зоны — резервное копирование, непрерывность бизнеса, безопасную разработку, взаимодействие с юристами и PR. Если по ним нет уверенности, лучше уточнить у коллег: точность ответов напрямую определяет пользу результата. Рисунок 7. Пример заполненного профиля организации Заполнив все поля, можно переходить к следующему шагу. Для этого нажмите кнопку «Посмотреть показатели по отрасли».Построение бенчмаркаВ следующем разделе нам становится доступен бенчмарк, отражающий индекс антихрупкости и оценку в разрезе стратегий антихрупкой ИТ-архитектуры в среднем по отрасли. В качестве примера мы выбрали сферу деятельности «финансовый сектор». Рисунок 8. Экспресс-оценка показателей киберустойчивости по отрасли Ниже приводится оценка по стратегиям в табличном виде. Рисунок 9. Индекс антихрупкости в разрезе стратегий и практик по отрасли Прохождение опросаДля расчёта своего индекса антихрупкости пользователю предлагается пройти опрос по 100 практикам, каждая из которых имеет пять вариантов ответа:«Да» (выполняется системно).«Частично» (с ограниченным охватом).«Нет» (не выполняется или выполняется ad hoc, т. е. разово или под конкретную задачу).«Неприменимо» (не используется в организациях данного типа). Этот ответ следует выбрать, если, например, в организации нет такого процесса или системы. При выборе этого варианта метрика исключается из расчёта.«Не знаю» (затрудняюсь оценить). Метрика исключается из расчёта. Рисунок 10. Опрос в рамках стратегий и практик Результат отображается сразу после ответа на последний вопрос. Для расчёта индекса необходимо выбрать «Показать результаты». В том случае, если не все практики были оценены, появится окно с предупреждением и расчёт будет проведён с ограничениями. Рисунок 11. Предупреждение пользователя Оценка результатовНа вкладке «Результаты» отображается текущий уровень киберустойчивости организации, а также сопоставление этого уровня с показателями по отрасли в виде шкалы и радарной диаграммы («диаграммы-паука»). Рисунок 12. Экспресс-оценка киберустойчивости в виде шкал Рисунок 13. Экспресс-оценка киберустойчивости в разрезе стратегий При сравнении учитываются только критерии, по которым даны ответы. Ознакомиться с ними можно ниже в табличном виде. Рисунок 14. Оценка антихрупкости в разрезе доменов — групп практик Информацию по экспресс-оценке киберустойчивости организации можно скачать в виде готового отчёта. Он доступен в формате PDF и представляет собой готовый буклет для ознакомления в электронном виде или печати на бумаге. Рисунок 15. Выгрузка готового отчёта Рисунок 16. Фрагмент отчёта экспресс-оценки киберустойчивости организации ВыводыАнтихрупкость сегодня — ключевая стратегия выживания и роста компаний в условиях постоянных рисков: кибератак, ухода вендоров, сбоев инфраструктуры, регуляторных изменений и т. п. Она не заменяет классическую ИБ — она дополняет её способностью пережить успешную атаку.В современном ИТ‑ландшафте недостаточно просто держаться на плаву, нужно заранее готовиться к тому, чего нельзя предсказать. Именно поэтому антихрупкость становится центральным элементом зрелой ИТ‑стратегии и обязательным ориентиром при проектировании архитектуры, управлении инцидентами и планировании цифровой трансформации.Компания «Инфосистемы Джет» переводит концепцию антихрупкости на язык конкретных инженерных и управленческих решений. Она даёт бизнесу рабочие инструменты — собственный Фреймворк антихрупкой ИТ‑архитектуры, помогающий выстроить понятный путь от стратегии к конкретным действиям, и Индекс антихрупкости, который помогает увидеть, насколько компания реально готова к сбоям, атакам и внезапным переменам.Компания планирует и далее развивать Фреймворк: адаптировать его к специфике различных отраслей, разработать вариативные сценарии применения в зависимости от контекста.Достоинства:Открытая методология, доступная любому пользователю без оплаты и регистрации.Каскадная, понятная архитектура с чёткой логикой: семь стратегий достижения антихрупкости, 10 принципов, 33 домена и 390+ практик.Наличие веб-сервиса для оценки антихрупкости ИТ-архитектуры, в котором прохождение полного опроса по 100 критериям оценки занимает в среднем 20 минут.Возможность ознакомиться с показателями антихрупкости в среднем по отрасли.Представление результатов оценки в графическом и табличном формате.Формирование готового отчёта по итогам экспресс-оценки киберустойчивости с возможностью его выгрузки на компьютер.Недостатки:Ценность фреймворка сложно понять, если предварительно не ознакомиться с теорией антихрупкой ИТ-архитектуры.Для точной оценки индекса антихрупкости рекомендуется располагать полной информацией о деятельности компании и не пропускать ни одного критерия оценки. По уровню детализации Фреймворк антихрупкой ИТ-архитектуры относится к стратегическому и методическому уровню. Детальные технические регламенты, архитектурные стандарты, требования к настройке конкретных систем должны разрабатываться на следующем уровне детализации.Читать далее
    • demkd
      возможность есть, гляну, размер переменных окружения действительно 32767 максимум, но конкретно path больше 4095 это уже может стать проблемой.
×