Что такое хороший тест антивируса? - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
OlegAndr

Что такое хороший тест антивируса?

Recommended Posts

OlegAndr

Ну давайте попробуем, коллеги подмогнут, я уверен.

Итак что такое хороший тест антивируса???

1. Он должен быть репрезентативным.

2. Он должен быть правильно проведен

3. Он должен быть проверяемым.

Что значит репрезентативным?

Вот например Лаборатория Касперского получает 125 000 уникальных семплов малвары в день. Что на этом фоне тест на основе 300 вирусов, на основе 1000 вирусов? Их можно все пропустить и все равно это будет укладываться в погрешность.

Я правда мат. статистику никогда не любил, но очевидно всякому что проверять надо на ГОРАЗДО большем числе файлов, чтобы иметь возможность делать выводы на основе этого.

Тесты коллекций которые проводятся лидерами сравнительного тестирования в мире - Av-Test.org, Av-Comparatives.org, VirusBuletein занимают ДНИ и количество семплов измеряется миллионами.

Небольшое количество семплов может быть оправдано только в случае если:

1. Измеряется способность ловить самый свежак - то есть семплы проверяются сразу при появлении их во каналах распространения - спам финишг рассылка и прочее. Тогда количество семплов будет измеряться десятками за день теста. Но это уже ограничение физическое - тестер не сможет обрабатывать больше без потери качества исследования. Также такие результаты всегда надо смотреть на более большом отрезке -месяц и больше.

2. Измеряется способность лечить сложные угрозы. - так как реально сложных угроз мало, то и количество исследуемых файлов может быть невелико, но тут уже результаты могут быть поставлены под сомнение.

Некоторые начинают учитывать распространенность семпла при подсчете результата. Например есть семплы которые стыдно не ловить - они например пол интернета заразили, а есть какое-то поделие васи которое он принес в школу и заразил петю, обидно конечно но не так опасно. Тут начинается целая история как эти данные собирать и учитывать.

Что значит правильно проведен?

Это значит что методология (страшное слово) должна не вызывать вопросов.

Например все файлы по которым проводится проверка должны быть действительно вредоносными.

Тест должен проводиться в условиях приближенных к реальным - на реальном железе (это важно для корректной работы всех систем антивиурса), с реальным доступом в интернет (это важно для работы облачных технологий), на реальных системах, актуальными версиями АВ-продуктов.

Файлы не только проверять на обнаружение но еще и запускать - т.к. многие технологии позволяют отследить вредоносную активность при запуске но не ругаться на файл пока он лежит на винте просто так.

Что значит должен быть проверяемым?

Это значит что коллекция по которой проводился тест, или, как минимум пропуски, должны быть доступны антивирусным лабораториям для проверки. Тут нет никаких предубеждений - все абсолютно тестовые лаборатории случается записывают в пропуски неработоспособные вирусы, либо не вредоносные файлы.

Например считать вредной чистую утилиту, которая кем-то где-то была интегрирована с вирусом, и с тех пор обнаруживается некоторыми несознательными АВ-лабораториями. Это случается постоянно, поэтому ВСЕ нормальные лаборатории прежде чем публиковать результаты предоставляют промахи для того чтобы АВ-вендоры могли подтвердить или опровергнуть вредоносность.

Самопальные Тестеры-энтузиасты которые говорят "я тут нашел свежей малвары и никто ее не ловит" сразу получают вопросы типа

1. Действительно ли это малвара и насколько она репрезентативна.

2. насколько она свежая (в принципе это неважно, чем старее тем больше шансов что она в базах, но были случаи когда проверялась дос-малвара, которая вообще не запускается на тех системах для которых предназначены современные антивирусы)

3. какой продукт ты тестировал

4. как ты тестировал

5. покажи, что именно не ловится и см пункт 1.

  • Upvote 11

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Тесты коллекций которые проводятся лидерами сравнительного тестирования в мире - Av-Test.org, Av-Comparatives.org, VirusBuletein занимают ДНИ и количество семплов измеряется миллионами.

Небольшое количество семплов может быть оправдано только в случае если:

Я бы заметил, что тесты на детект мертвых тушек файловыми сканерами себя принципиально исчерпали. При этой уже не имеет никакой роли сколько там самплов. Все равно мы имеем:

1. Братскую могилу тушек, которых уже нет в дикой природе здесь и сейчас. Они были когда-то там и их детект сейчас не говорит о качестве защиты.

2. Не учитывается работа множества технологий защиты, отличных от файлового сканирования. Тут и веб-фильтрация, и блокирование эксплойтов, HIPS и т.д.

3. Кто верифицирует самплы в коллекциях? Что это реально вредоносы. Эта проблема была актуальна даже 7-8 лет назад, когда цифры были совсем другие. Слышал много баек на тему мусора в коллкциях Av-Test.org, Av-Comparatives.org.

4. Происхождение больших коллекций. Не надо питать иллюзий, что кто-то из независимых тест-лабов способен собрать соизмеримое с вендорами кол-во самплов. Происхождение коллекций у проводящих такие тесты лабораторий - тайна за семью печатями. ;)

Поэтому принципиально считаю тесты на коллециях из N каких-то там файлов полным ацтоем незаслуживающим никакого внимания.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military

OlegAndr,спасибо за интересную тему.

3. Кто верифицирует самплы в коллекциях? Что это реально вредоносы. Эта проблема была актуальна даже 7-8 лет назад, когда цифры были совсем другие.

Ежедневные коллекции с известных сайтов (virussign, malwares.safegroup ) частично решают эту проблему, например тем, что там отсутствуют дос вирусы?

Допустим мне интересно узнать детект файлового монитора у ряда АВ, то для отбора вирусов из коллекций сайтов приведенных выше, подойдет первоначальное сканирование определенным АВ, где файлы признанные 100% вредоносными, я отберу для дальнейшего сравнительного теста?

В итоге тест будет проведен на определенном кол-ве 100% вредоносных файлах, так будет правильнее?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
Ежедневные коллекции с известных сайтов

Большое количество трэша/чистых файлов/кейгенов/адвар и прочего grayware

отсутствуют дос вирусы

Я бы так не говорил :D

Угрозы с префиксами win9x и макросы в этих помойках я так понимаю очень актуальны :)

где файлы признанные 100% вредоносными

Plz, дай гарантию, что это:

1) не фолс антивируса

2) файл не битый

3) актуальный вредонос

Поэтому все эти сканирования 10/100/1000/2000 неизвестных ошметков будут

полным ацтоем незаслуживающим никакого внимания

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Вообще тесты on-demand тушкопомоек себя действительно исчерпали.

В настоящее время самый правильный тест - это самая свежая малвара, а лучше даже живая вредоносная ссылка, которая, внимание military, проверяется на вредоносность на тестовой машине, а потом по этой ссылке ходят с машины защищенной антивирусом и смотрят результат.

То что называется RealWorld / Dynamic

Но тут опять же важна репрезентативность, а она будет страдать по причине малого числа семплов, как я говорил, смотреть только в перспективе когда наберется порядочно данных и то результаты будут плавать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
Plz, дай гарантию

Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

OlegAndr, согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

OlegAndr, согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Ты не можешь ориентироваться на чужие вердикты, все равно есть риск ошибки. Правильнее руками проверить действия вредоноса на реальной (!) машине.

Ищут кто как, и это уже некоторое ноу-хау.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
Dmitriy K, понимаю, гарантии быть не может. Если подобрать для этого дела антивирус с минимальными ложными срабатываниями? тот же MSE.

...

Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Практической пользы нет, выборка - мизерная, какой смысл этим заниматься?

В этих и прочих "мегапаках" половина или больше - допотопный треш.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Plz, дай гарантию, что это:

1) не фолс антивируса

2) файл не битый

3) актуальный вредонос

Вот и по то же. Помойка непонятно кем и из чего составленная.

В настоящее время самый правильный тест - это самая свежая малвара, а лучше даже живая вредоносная ссылка, которая, внимание military, проверяется на вредоносность на тестовой машине, а потом по этой ссылке ходят с машины защищенной антивирусом и смотрят результат.

То что называется RealWorld / Dynamic

Но тут опять же важна репрезентативность, а она будет страдать по причине малого числа семплов, как я говорил, смотреть только в перспективе когда наберется порядочно данных и то результаты будут плавать.

Согласен. Для динамики надо брать многочисленную выборку, а это значит тестлаб попадает на кучу денег на построение фреймворка (железо, софт, своя разработка).

Но даже здесь еще никто не решил вопрос геотаргетинга вредоносных партнерок на базе TDS. Результаты одного и того же теста могут быть разными в разных странах. Ссылки разные, вредоносы разные.

согласен, что любой тест на сигнатурное обнаружение, будет однобоким, но стоит задача его провести. Где найти этой самой малвары по свежее или как ее "вытащить" из мегапаков?

Какой смысл в этом? Кем ставится такая задача?

Собирайте, анализируйте руками сами. Все прогоны сканерами - это полный бред.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
Помойка непонятно кем и из чего составленная.

Но ведь условия для всех одинаковые. 1000 файлов из которых пусть 100 или даже 200 файлов окажутся "чистыми " , и тогда их оставят все , а разницу покажет детект на оставшейся 100% малвари.

Какой смысл в этом? Кем ставится такая задача?

Мною :rolleyes:

Проактивные технологии, хипсы-шмипсы, это очень интересно, но не во всех АВ они работают как хотелось бы. Например dr.web , один из мощных АВ, один из лидеров на российском рынке, но если вредоносного файла нет в базе сигнатур, то на запуск реакции антивируса не будет. Поэтому считаю, что первым (где-то и последним )) эшелоном защиты антивируса (рассматриваю только антивирус, а не весь комплекс защиты) является сигнатурный детект.

Прошу прощения за нубские вопросы, но мне действительно хочется возможностями простого юзверя проводить приемлемые тесты, в данном случае на сигнатурный детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Но ведь условия для всех одинаковые. 1000 файлов из которых пусть 100 или даже 200 файлов окажутся "чистыми " , и тогда их оставят все , а разницу покажет детект на оставшейся 100% малвари.

Вы не понимаете главного, что в погоне за дешевыми регалиями в подобных тестах антивирусные вендоры детектят кучу всякого мусора, битых или вовсе чистых файлов. Стоит одному-двум задетектить чистый файл, как большинство также передерают детект. Поищите, на нашем форму полно таких тем было.

В итоге что вам покажет результат 98 из 100? Что антивирус хорошо детектит? А может то, что у него куча фалсов и бесполезных детектов "чтобы было"?

Совсем не случайно, что в таких тестах на файловых помойках чаще рулят вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки) и нет даже своего вирлаба толком никакого.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aleksandra
3. Он должен быть проверяемым.

Он должен быть прозрачным, тогда и будет проверяемым.

Что значит должен быть проверяемым?

Это значит что коллекция по которой проводился тест, или, как минимум пропуски, должны быть доступны антивирусным лабораториям для проверки.

Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
military
А может то, что у него куча фалсов и бесполезных детектов "чтобы было"?

Вполне возможно. значит файлы должны быть заведомо только малварью.

Не совсем понятна Ваша цитата:

вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки) и нет даже своего вирлаба толком никакого

Технически наверное их можно назвать вторым эшелоном, из-за отсутствия вирлаба. Все таки хочется быть уверенным, что с новым обновлением не наступят проблемы, как это было недавно с Эмсисофтом (Икарусом), хоть и очень быстро исправили.

Оценка данная Вами как "второй эшелон" основана на каких критериях? наверное не только отсутствием вирлаба?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

А что это даст? Вендоры и так могут получить хеши и даже самплы по запросу.

Технически наверное их можно назвать вторым эшелоном, из-за отсутствия вирлаба. Все таки хочется быть уверенным, что с новым обновлением не наступят проблемы, как это было недавно с Эмсисофтом (Икарусом), хоть и очень быстро исправили.

Оценка данная Вами как "второй эшелон" основана на каких критериях? наверное не только отсутствием вирлаба?

Под вторым эшелоном я имею в виду небольших вендоров, которые имеют скромные доли рынка в мировом масштабе, скромное кол-во инсталляций + скромные технологические возможности, включая свой вирлаб.

На рынке полно антивирусов, которые по сути представляют собой красочную упаковку с множеством этикеток чужих технологий. Например, тех же мультидвижковых продуктов полно сейчас. Велью от них в современных условиях - о-малое. Классические сигнатурные методы защиты быстро отмирают, можно хоть 10 движков поставить в ряд - только увеличится кол-во фалсов, а реальной защиты от новых угроз не добавится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aleksandra
А что это даст? Вендоры и так могут получить хеши и даже самплы по запросу.

Это даст прозрачность тесту, ну а на счет вендоров и так понятно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
Он должен быть прозрачным, тогда и будет проверяемым.

Сумма хешей малвари которая использовалась при тестировании должна быть в паблике.

Вообще-то не всем они нужны, и в публичный отчет их как правило не включают.... Но почему бы нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
что в таких тестах на файловых помойках чаще рулят вендоры второго и третьего эшелона, у которых несколько движков (перемножаются фалсы и ошибки)

Ну как бы многодвижковые решения, можно наблюдать в первых рядах и в тестах проф тестовых лабораторий, они тоже пользуются файловыми помойками?) И вы совсем не допускаете возможности, что два антивирусных движка с минимальными фолсами и отличным детектом (а такие есть на западе) не дадут отличный продукт, который сможет конкурировать с решениями "первого эшелона") перегруженных новомодными технологиями, которые порой дают гораздо больше фолсы, чем недоработки вирлабов)

  • Like 1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ну как бы многодвижковые решения, можно наблюдать в первых рядах и в тестах проф тестовых лабораторий, они тоже пользуются файловыми помойками?) И вы совсем не допускаете возможности, что два антивирусных движка с минимальными фолсами и отличным детектом (а такие есть на западе) не дадут отличный продукт, который сможет конкурировать с решениями "первого эшелона") перегруженных новомодными технологиями, которые порой дают гораздо больше фолсы, чем недоработки вирлабов)

Я уже писал выше, что происхождение коллекций в так называемых вами проф. тестовых лабораториях (типа AV-Test.org или AV-Comparatives.org) никому не известно. Об этом можно только догадываться. Мусора там много, не однократно об этом слышал от вендоров, которые когда-то получали оттуда якобы пропуски. Поймите, когда разница в первой десятке 2-3%, то это как раз соответствует примерному уровню погрешности из-за ошибок в коллекции. Поэтому победа мультидвижкового продукта ровно ни о чем не говорит, ведь складываются еще и фолсы, а не только детект. А фолсы почти никто не проверяет нормально.

Более того, в погоне за детектом на этих вот тестовых коллекциях многие антивирусные компании стали детектить кучу мусора по принципу "лучше задетектить, чем объяснить почему НЕ детектим". Отсюда тупо идет гонка детектов ради самой гонки, к защите это не имеет никакого отношения. Это театр порочного круга: одни собирают непонятные коллекции, другие хотят быть крутыми на этой непонятной коллекции. А в подобной гонке особо рьяно участвуют как раз вендоры третьего эшелона. Им надо любой ценой показать свою всевдокрутизну. Для это начинаются массовые детекты всех помоек, любых упакованных объектов, любых подозрительных объектов. Некоторые даже "вредосноные" куки детектят :) Плюс передирают детекты у лидеров, так как своего вирлаба у них нет.

Про перегруженность новыми технологиями это вы классно сказали. Чего там париться, лучше сигнатур могут быть только сигнатуры. Все остальные технологии - маркетинговое фуфло и их в тестах просто вредно учитывать :) И не беда, что на дворе уже не начало 90-х, а кол-во новых самплов в сутки измеряется десятками тысяч.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Кто ворвался в мой тред и сломал его?

Вообще вы смотрите RAP который по замороженным базам, хотя Vb100 давно проводит более актуальные тесты с обновлениями и облаками.

Полез смотреть результаты последнего теста VB:

Response tests Day -7 Day -6 Day -5 Day -4 Day -3 Day -2 Day -1 Average

Kaspersky 87.53% 84.17% 91.67% 84.42% 87.40% 82.66% 89.58% 86.78%

G Data 86.76% 90.54% 92.77% 85.04% 86.18% 86.37% 80.95% 86.94%

TrustPort 74.04% 91.94% 84.04% 88.92% 80.40% 88.02% 87.50% 84.98%

100 раз правы те кто говорят что только сигнатурные тесты уже мало значат, и будут еще меньше значить

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Коллеги, by all means, давайте включать в тесты все продукты, которые хотят, правда еще лучше чтобы и те, которые не хотят, а то тут в соседней ветке недоумевают почему Dr Web отстаёт по тестам.

Другое дело, что чтобы протестить весь набор надо много сил и времени.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

military, если возвращаться к тебе топика, но рассматривать его узко с точки зрения проверки качества защиты (т.е. детекта), то имеет смысл ориентировать только на динамические тесты (whole product tests или их еще называют RealWorld или Dynamic). Там проверяется суммартная эффективность всех технологий антивирусов. Мы делали такой тест довольно давно http://www.anti-malware.ru/antivirus_test_...-day_protection

Можно посмотреть более свежие тесты по такой методике от AV-Test.org или AV-Conparatives.org. Вот пример http://www.anti-malware.ru/forum/index.php?showtopic=20852

Как видите, там в топе совсем другие ребята, а не те, которые юзают пачками чужие движки не первой свежести.

ЗЫ GData поняв, что без своего вирлаба никак -- набрала людей. И это не единственный пример

Кстати ДА! И как говори мне их немцы, накачивают свое облако активно.

Хотя чему я удивляюсь - это ж АНТИМАЛВАР!!!

Признаться, Вас сюда в адвокаты антивирусным поделкам третьего эшелона никто и не звал. Трастпорт в руки и в пешое эротическое путешествие домой, шагом марш! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

efim

Влез в тему по критериям тестов с темой о том что многодвижковые АВ лучше, похамил немного, вызвал обратную реакцию и удалился.

Сергей Ильин

Коллеги, а давайте напишем большими буквами на видном месте, при регистрации особенно, что на ресурсе много, РЕАЛЬНО МНОГО людей которые являются признанными экспертами в реальном мире, а не только в уютненьком интернетике, которые занимаются проблематикой МНОГО ЛЕТ, и которые органически не приемлют безаплелляционные наезды, хотя и готовы дискутировать на спорные темы, пусть часто слишком бурно. -)

Этого понимания кстати я так понимаю многим не хватает, как и мне когда я начал сюда ходить....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Коллеги, а давайте напишем большими буквами на видном месте, при регистрации особенно, что на ресурсе много, РЕАЛЬНО МНОГО людей которые являются признанными экспертами в реальном мире, а не только в уютненьком интернетике, которые занимаются проблематикой МНОГО ЛЕТ, и которые органически не приемлют безаплелляционные наезды, хотя и готовы дискутировать на спорные темы, пусть часто слишком бурно. -)

Согласен, хорошее предложение! Можно добавить в правила форума даже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Тема разделена.

Прелести мультидвижковости тут: http://www.anti-malware.ru/forum/index.php?showtopic=23540

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
lolowin32

Добрый день, Сергей Ильин, прочитал Ваш пост, и оказался в непонятном недоумении от Ваших мыслей по поводу теста на основе сигнатурного анализа, Вы считаете что это бесполезно сканировать "Братскую могилу тушек", спешу заметить что при сканировании этой "братской могилы" многие антивирусы находят НЕ ВСЕ вредоносные программы из архива (заведомо знаю что все вредоносы), также понимаю что сканирование только по сигнатурным базам это не панацея, нужно создавать/совершенствовать различные сервисы (облачные технологии, пополнять базу фишинговых ссылок, совершенствовать эвристику), но так как Вы говорите что это бесполезно, в этом я с Вами полностью не согласен, я считаю что сканы основанные на сигнатурах, имеют право жить. Пополняя антивирусную базу мы увеличиваем процент обнаружения вредоносов (), а уж различные модули(firewall, web protection, mail protection) помогают предотвратить проникновение вредоносных программ в систему, ну а если по стечению обстоятельств вредонос попал, то сигнатурный анализ никто пока еще не отменял

Я смотрел много тестов на ютубе про скан основанный на сигнатурах, но еще пока никто не сделал адекватный тест, с показом всех настроек(да мало ли как настроен антивирус,может на пропуск всего, а может на максимум, никто ж этого не видит)

Так что я думаю что тут еще большой плацдарм для обсуждения

Обращаюсь к публике, кто заинтересован в этом вопросе, кидаем ссыли на адекватно построенные тесты, буду рад обсудить, выслушать аргументированные за и против,

Отредактировал lolowin32

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 19.2.10.
    • PR55.RP55
      1) Ситуация когда нет доступа к virustotal.com ( и другим ресурсам ) Что предлагаю: а) На примере Firefox 155 - Happy Eyeballs v3: подключение сразу несколькими путями *Браузер больше не выбирает маршрут до сайта заранее, а пробует несколько вариантов подключения параллельно и работает через тот, который отозвался первым. Выигрыш заметнее всего в сетях, где IPv4 или IPv6 работает медленно либо нестабильно: раньше браузер мог упереться в неотвечающий адрес и ждать таймаута, теперь соединение уходит по резервному пути без паузы. б) Если сайт полностью не доступен - то, при потоковой проверке файлов не заставлять пользователя "бесконечно" ждать... 2) Драйвер фаервола - при проверке. По хорошему программа сама должна знать какие файлы её, какие нет и всякий раз не лезть к ним и не пытаться получить доступ к собственному файлу ?  
    • AM_Bot
      «Инфосистемы Джет» активно развивает концепцию антихрупкости. Эта компания разработала инструменты для её практического применения — первый Фреймворк антихрупкой ИТ-архитектуры и Индекс антихрупкости для построения киберустойчивого бизнеса.      1. Введение2. Что такое антихрупкость ИТ-архитектуры3. Назначение инструментов, разработанных компанией «Инфосистемы Джет»3.1. Фреймворк антихрупкой ИТ-архитектуры3.2. Индекс антихрупкости4. Как проходит оценка4.1. Заполнение профиля компании4.2. Построение бенчмарка4.3. Прохождение опроса4.4. Оценка результатов5. ВыводыВведениеРезонансные атаки на крупнейшие российские компании, которые мы регулярно освещаем, вскрыли системную проблему: реальная операционная готовность к инцидентам остаётся на низком уровне, даже если система защиты формально выстроена. Как показало недавнее исследование компании «Инфосистемы Джет», пережить кибератаку не готовы 64 % из 50 российских компаний. Хуже всего ситуация обстоит в госсекторе и ритейле — при этом именно эти отрасли входят в число наиболее атакуемых.Защита, которая создавалась, чтобы остановить злоумышленника, теперь может лишь его замедлить — и одной способности «не пустить» стало недостаточно. Закупленные СЗИ создают иллюзию надёжности: организация выглядит защищённой, но в момент реальной атаки оказывается уязвимой.В условиях массовых взломов и эволюции атакующих стратегий на первое место выходит принцип управляемого ухудшения ситуации. Взлом с большой вероятностью произойдёт, но мы должны уметь работать под атакой, управлять кризисом и быстро восстановиться. Также необходимо выстроить зрелые процессы реагирования на угрозы, восстановления после инцидентов и обеспечения непрерывности бизнеса даже в условиях атаки. В ответ на этот вызов ИТ-компания «Инфосистемы Джет», работающая на российском рынке с 1991 года, предложила использовать концепцию антихрупкой ИТ-архитектуры.Её суть заключается в том, что ИТ-инфраструктура должна не просто выдерживать сбои, атаки и неблагоприятные обстоятельства, а по-настоящему быть к ним готовой, эффективно их преодолевать и даже извлекать из них пользу, становясь надёжнее и укрепляя свои позиции среди конкурентов.Что такое антихрупкость ИТ-архитектурыКонцепция антихрупкости впервые была предложена учёным Нассимом Талебом, статистиком, бывшим трейдером и риск-менеджером, который прославился изучением влияния случайных и непредсказуемых событий на мировую экономику и биржевую торговлю. В книге «Чёрный лебедь. Под знаком непредсказуемости» (The Black Swan), вышедшей в 2007 году, он ввёл сам термин «чёрный лебедь» для описания редких и маловероятных событий, имеющих огромные последствия, и пришёл к выводу, что вместо попыток их предсказания логичнее создавать системы, способные не просто пережить хаос, но и становиться после него сильнее. Именно это понимание легло в основу идеи антихрупкости, которая уже была детально раскрыта Талебом в книге 2012 года «Антихрупкость. Как извлечь выгоду из хаоса» (Antifragile: Things That Gain From Disorder).Вдохновившись концепцией антихрупкости, аналитики компании «Инфосистемы Джет» решили развивать эти идеи и продвигать их в России. Антихрупкая ИТ-архитектура — не гонка за новыми инструментами. Она строится вокруг способности пережить полный жизненный цикл атаки: подготовиться к ней, замедлить злоумышленника, обнаружить вторжение, сократить ущерб, восстановить бизнес и перестроиться после инцидента. Для практической реализации концепции антихрупкости «Инфосистемы Джет» разработали первый Фреймворк антихрупкой архитектуры и Индекс антихрупкости, позволяющие выявить слабые места и сформировать дорожную карту усиления защиты.Назначение инструментов, разработанных компанией «Инфосистемы Джет»Как же перейти от понимания концепции антихрупкости к её реализации? В этом помогут разработанные вендором инструменты, которые мы рассмотрим ниже.Фреймворк антихрупкой ИТ-архитектурыФреймворк антихрупкой ИТ-архитектуры представляет собой открытый и практичный инструмент, который объединил опыт инженеров, аудиторов, консультантов и экспертов-практиков по защите сети и построению ИТ-инфраструктуры. Он разработан командой «Инфосистемы Джет» во главе с руководителем отдела развития консалтинга по ИБ Александром Морковчиным.Сценарии использования фреймворка охватывают три ключевые рыночные потребности. Первая — оценка текущего уровня киберустойчивости с помощью единой измеримой «линейки» для сопоставления с конкурентами и отраслевыми лидерами. Вторая — планирование развития на основе каталога проверенных практик и выбор вектора роста. Третья — трансформация: пошаговый переход от фактического состояния к целевому уровню киберустойчивости. Фреймворк имеет иерархическую логику: он строится по каскадной модели «в крупную клетку», т. е. на высоком уровне абстракции, без погружения в мелкие детали. Всего существует пять уровней детализации, где каждый следующий уровень конкретизирует предыдущий. Это позволяет последовательно двигаться от общего видения (стратегии) по уровням детализации к конкретным действиям (практике), сохраняя гибкость и системность.Фреймворк доступен на официальном сайте и не требует установки дополнительных расширений. Рисунок 1. Каскадная модель фреймворка антихрупкой ИТ-архитектуры Разберём каскад по уровням:Уровень 0. ДистанцииДистанции описывают фазы жизненного цикла относительно кибервторжения.Уровень 1. Цели («Чего хотим достичь»)Здесь выделяется семь стратегий. Это верхнеуровневые направления для достижения антихрупкости: например, «подготовка и прогнозирование», «адаптация и перестройка». Их цель — сформировать киберустойчивый каркас, дополнив классическую ИБ тем, чего часто не хватает в реальной атаке: связью с ИТ-архитектурой, непрерывностью, восстановлением, кризисным управлением и постоянным улучшением. Таблица 1. Семь стратегий антихрупкостиСтратегияВопрос, на который она отвечаетСистемное развитие и контрольРазвивается ли ИБ оправданно с точки зрения бизнеса?Подготовка и прогнозированиеПонимаем ли мы, как нас будут атаковать и какое звено сломается первым?Вовлечение и нападениеЗнаем ли мы, кто и как готовится нас атаковать — и можем ли перехватить инициативу?Защита, замедление, сдерживаниеЧто не даст атакующему быстро развить успех после проникновения?Обнаружение и реагированиеПоймём ли мы, что враг уже внутри, до того как он ударит?ВосстановлениеЕсть ли у бизнеса «План Б» на случай потери инфраструктуры?Адаптация и перестройкаСтанет ли компания сильнее после инцидента? Уровень 2. Правила реализации («Как себя ведём»)Здесь выделяется 10 принципов. Принципы связывают стратегии с действиями: это установки, задающие поведение. Например, принцип «нулевого доверия» или «безопасности по умолчанию». Уровень 3. Области применения («Где развиваем способности») Здесь выделяются 33 домена — тематические области, группирующие практики по функциональной принадлежности. Каждый домен описывает определённую способность организации. Уровень 4. Конкретные действия («Что делаем»)Здесь выделяется 390+ практик. Практики — конкретные меры и действия, которые организация должна реализовать для достижения целей киберустойчивости. Рисунок 2. Распределение стратегий антихрупкости по четырём дистанциям Вышеописанная схема является интерактивной: кликнув на домен, можно ознакомиться с относящимися к нему практиками. Рисунок 3. Информация о входящих в домен «Обнаружение и реагирование» практиках Также можно использовать строку поиска для выделения интересующих вас практик. Рисунок 4. Результат поискового запроса Фреймворк можно выгрузить в виде файла формата XLS, в котором также представлен инструмент самооценки. Рисунок 5. Фрагмент фреймворка в формате XLS Индекс антихрупкостиИндекс антихрупкости — показатель, позволяющий оценить в процентном соотношении, насколько компания готова к «чёрным лебедям», т. е. труднопредсказуемым событиям. Индекс построен на базе фреймворка и отвечает на вопрос: способна ли компания пережить кибератаку, продолжать работу в её условиях и восстановиться после неё. Итог оценки — индекс антихрупкости от 0 до 100 %, разбор по направлениям защиты и сравнение с другими участниками индустрии. Отраслевой уровень обновляется автоматически по мере накопления ответов респондентов.Индекс не заменяет регуляторные оценки, а дополняет их в областях, которые проверяют реальную киберустойчивость: восстановление и непрерывность бизнеса, кризис-менеджмент, threat hunting, безопасная разработка, безопасность ИИ, отказоустойчивость, культура киберучений и другие. Разберём, как пользоваться инструментом оценки.Как проходит оценкаС сервисом можно ознакомиться на официальном сайте. Вы отвечаете на сто коротких вопросов о том, какие практики киберустойчивости есть в компании. Оценка полностью анонимна: контактные данные и название компании не запрашиваются. У каждой оценки есть только уникальный идентификатор — он понадобится, если вы захотите задать вопрос по полученным результатам. Рисунок 6. Расчёт Индекса антихрупкости (приветственное окно) Заполнение профиля компанииДля получения оценок, релевантных профилю вашей организации, необходимо указать параметры из выпадающего списка: Сфера деятельности компании.Общее количество сотрудников.Число ИБ-сотрудников.Число ИТ-сотрудников.Оценку формирует руководитель ИБ или тот, кто отвечает за информационную безопасность в компании. Часть вопросов затрагивает смежные зоны — резервное копирование, непрерывность бизнеса, безопасную разработку, взаимодействие с юристами и PR. Если по ним нет уверенности, лучше уточнить у коллег: точность ответов напрямую определяет пользу результата. Рисунок 7. Пример заполненного профиля организации Заполнив все поля, можно переходить к следующему шагу. Для этого нажмите кнопку «Посмотреть показатели по отрасли».Построение бенчмаркаВ следующем разделе нам становится доступен бенчмарк, отражающий индекс антихрупкости и оценку в разрезе стратегий антихрупкой ИТ-архитектуры в среднем по отрасли. В качестве примера мы выбрали сферу деятельности «финансовый сектор». Рисунок 8. Экспресс-оценка показателей киберустойчивости по отрасли Ниже приводится оценка по стратегиям в табличном виде. Рисунок 9. Индекс антихрупкости в разрезе стратегий и практик по отрасли Прохождение опросаДля расчёта своего индекса антихрупкости пользователю предлагается пройти опрос по 100 практикам, каждая из которых имеет пять вариантов ответа:«Да» (выполняется системно).«Частично» (с ограниченным охватом).«Нет» (не выполняется или выполняется ad hoc, т. е. разово или под конкретную задачу).«Неприменимо» (не используется в организациях данного типа). Этот ответ следует выбрать, если, например, в организации нет такого процесса или системы. При выборе этого варианта метрика исключается из расчёта.«Не знаю» (затрудняюсь оценить). Метрика исключается из расчёта. Рисунок 10. Опрос в рамках стратегий и практик Результат отображается сразу после ответа на последний вопрос. Для расчёта индекса необходимо выбрать «Показать результаты». В том случае, если не все практики были оценены, появится окно с предупреждением и расчёт будет проведён с ограничениями. Рисунок 11. Предупреждение пользователя Оценка результатовНа вкладке «Результаты» отображается текущий уровень киберустойчивости организации, а также сопоставление этого уровня с показателями по отрасли в виде шкалы и радарной диаграммы («диаграммы-паука»). Рисунок 12. Экспресс-оценка киберустойчивости в виде шкал Рисунок 13. Экспресс-оценка киберустойчивости в разрезе стратегий При сравнении учитываются только критерии, по которым даны ответы. Ознакомиться с ними можно ниже в табличном виде. Рисунок 14. Оценка антихрупкости в разрезе доменов — групп практик Информацию по экспресс-оценке киберустойчивости организации можно скачать в виде готового отчёта. Он доступен в формате PDF и представляет собой готовый буклет для ознакомления в электронном виде или печати на бумаге. Рисунок 15. Выгрузка готового отчёта Рисунок 16. Фрагмент отчёта экспресс-оценки киберустойчивости организации ВыводыАнтихрупкость сегодня — ключевая стратегия выживания и роста компаний в условиях постоянных рисков: кибератак, ухода вендоров, сбоев инфраструктуры, регуляторных изменений и т. п. Она не заменяет классическую ИБ — она дополняет её способностью пережить успешную атаку.В современном ИТ‑ландшафте недостаточно просто держаться на плаву, нужно заранее готовиться к тому, чего нельзя предсказать. Именно поэтому антихрупкость становится центральным элементом зрелой ИТ‑стратегии и обязательным ориентиром при проектировании архитектуры, управлении инцидентами и планировании цифровой трансформации.Компания «Инфосистемы Джет» переводит концепцию антихрупкости на язык конкретных инженерных и управленческих решений. Она даёт бизнесу рабочие инструменты — собственный Фреймворк антихрупкой ИТ‑архитектуры, помогающий выстроить понятный путь от стратегии к конкретным действиям, и Индекс антихрупкости, который помогает увидеть, насколько компания реально готова к сбоям, атакам и внезапным переменам.Компания планирует и далее развивать Фреймворк: адаптировать его к специфике различных отраслей, разработать вариативные сценарии применения в зависимости от контекста.Достоинства:Открытая методология, доступная любому пользователю без оплаты и регистрации.Каскадная, понятная архитектура с чёткой логикой: семь стратегий достижения антихрупкости, 10 принципов, 33 домена и 390+ практик.Наличие веб-сервиса для оценки антихрупкости ИТ-архитектуры, в котором прохождение полного опроса по 100 критериям оценки занимает в среднем 20 минут.Возможность ознакомиться с показателями антихрупкости в среднем по отрасли.Представление результатов оценки в графическом и табличном формате.Формирование готового отчёта по итогам экспресс-оценки киберустойчивости с возможностью его выгрузки на компьютер.Недостатки:Ценность фреймворка сложно понять, если предварительно не ознакомиться с теорией антихрупкой ИТ-архитектуры.Для точной оценки индекса антихрупкости рекомендуется располагать полной информацией о деятельности компании и не пропускать ни одного критерия оценки. По уровню детализации Фреймворк антихрупкой ИТ-архитектуры относится к стратегическому и методическому уровню. Детальные технические регламенты, архитектурные стандарты, требования к настройке конкретных систем должны разрабатываться на следующем уровне детализации.Читать далее
    • demkd
      возможность есть, гляну, размер переменных окружения действительно 32767 максимум, но конкретно path больше 4095 это уже может стать проблемой.
    • Ego Dekker
      ESET Online Scanner 4.0.1  (Windows 10/11, 64-разрядная)
                                                                                  ●
              Руководство пользователя ESET Online Scanner 4  (PDF-файл)
×