Перейти к содержанию
Deja_Vu

Можно ли доверять сравнительным тестам?

Recommended Posts

Deja_Vu
Как мне кажется, пользователи в массе своей - далеко не дураки. Особенно те, кто читают информацию о тестах.

Я тоже сейчас думаю, что с антивирусами все в принципе понятно. И все тесты разжёваны.

Но вспоминаю себя, пару лет назад. Когда был программистом и решил купить себе антивирус. Банальный выбор между KIS и KAV поставил меня в тупик.

Вот таких вот как я, два года назад - абсолютное большинство из IT мира.

Если честно, тема очень неоднозначная.

Любой антивирусный тест, в принципе, синтетический. И они, на данный момент(имхо) нужны лишь для пиара и для небольшого круга людей, которые интересуются данной тематикой(тут можно много бла-бла-бла про извлечении из тестов информации о тенденциях развитиях продуктов и т.д.).

Соответственно, т.к. любой тест является пиаром для группы вендоров, чьи продукты в лидерах, а DrWeb не пиарится(как я понимаю) на тестах, то тут он попадает в заведомо не выгодное положение. Потому что, каждый антивирус пиарится на чьих либо тестах. А везде продукты сравниваются с другими продуктами.

И в связи с методикой портала, Dr.Web, как правило, может победить лишь в тесте не лечение.

(дальше стараюсь раскрыть мою сложную мысль примером :) )

И вот ситуация, Василий решил выбрать антивирус. Смотрит - множество тестов и т.д. Но Dr.Web'a нигде нет, кроме как на АМ. А тут он выставлен в не выгодном свете. Считайте антипиар.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
При этом широкой публике результаты тестирований будут всегда интересны. Они позволяют не включать мозг.

Это не совсем так. Тесты позволяют оправдать "невключение" мозга, являющегося постоянным.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

вставлю свое ИМХО. Антивирус как по мне представляет собой сложную систему, поэтому для оценки его, как сложной системы, нужен не один тест, а несколько или много, которые будут показывать поведение продукта в некоторой части факторного пространства. Потому тесты по вменяемой методике нужны, как и нужны оценки влияния той или иной точки факторного пространства на общую оценку продукта.

Естетственно, что никакие испытания или тесты не заменят "боевого" режима использования, но в руках грамотного специалиста любой вменяемый тест покажет некую часть функционала. скажем, тест на скорострельность для специалистов антивирусных компаний имеет крайне малое значение, а для эндюзера - имеет. Поэтому тут предлагаю быть более толерантными. Есть тесты для специалистов, есть просто тесты "для себя" - когда непонятно, что за методика применялась, и тесты для эндюзера.

Что касается продуктов, отказавшихся от тестов - тут интересно посмотреть PR материалы и все равно так или иначе употребляются их характеристики в превосходной степени (в тестах не участвуют, тем не менее употребляют такие выражения... Чем они подкреплены?). Обычно их ставит в тупик вопрос - на какие тесты идет ссылка? Где мы можем это увидеть?

Тем не менее, любое решение надо уважать - не хотят участвовать - это их право

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Что касается продуктов, отказавшихся от тестов - тут интересно посмотреть PR материалы и все равно так или иначе употребляются их характеристики в превосходной степени (в тестах не участвуют, тем не менее употребляют такие выражения... Чем они подкреплены?). Обычно их ставит в тупик вопрос - на какие тесты идет ссылка? Где мы можем это увидеть?

На самом деле, если пиарится "и только Dr.Web лечит от самых новых руткитов" или "и только Dr.Web может вылечить от Polipos к 12 часам 15 минутам прошлого вторника" (к примеру), то доказать это не так сложно. И после этого со спокойным сердцем можно вполне применять превосходные степени прилагательных. Не всегда нужен какой-то навороченный тест для того, чтобы заявить о некоторых характеристиках антивируса. А вот под некоторые заявления нужна довольно сложная методика, чтобы "достать" эти преимущества и показать публике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

ИМХО - "лучший в мире" - перебор :P Пиар по поводу банкоматного трояна - с опозданием на три месяца после его обнаружения - тоже как то не очень... И на телевидении выглядело еще более неубедительно....

И писалось выше безотносительно "Доктора", есть и другие отказники, не правда ли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
И писалось выше безотносительно "Доктора", есть и другие отказники, не правда ли?

Да, есть. Им сложнее :)

Пиар по поводу банкоматного трояна - с опозданием на три месяца после его обнаружения - тоже как то не очень... И на телевидении выглядело еще более неубедительно....

Сам факт того, что это дошло до телевидения, говорит об обратном :) Это пиар, он живёт совсем по другим законам.

Я очень удивился, кстати, когда моя новость по финансовым пирамидам в Интернете тоже дошла до телевидения. Просто заметил на тот момент участившиеся случаи, решили сделать новость, чтобы предостеречь пользователей, а получился пиар на ТВ. И ведь там про вирусы ни строчки не было. Но я бы не сказал, что это тоже было неубедительным и был весьма рад, что непостижимым образом мы снова вышли на уровень ТВ.

Недавно комментил решение ставить "чёрные ящики" во все новые автомобили, которые будут выпускаться в "Евросоюзе", в которых будет сохраняться информация о нескольких десятках параметров движения автомобиля. Комментил с точки зрения ИБ. Тоже чёрт-те его знает, причём тут антивирусы, но попросили коммент, было интересно ответить.

Чего только не приходится комментить. Но любое упоминание в СМИ - это напоминание о нашем существовании потенциальным пользователям. Это всегда хорошо для компании.

Хотя с технической точки зрения часто такой бред в СМИ происходит :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

ИМХО, важна суть. Это была информация? Вряд ли... Предупреждение пользователям и рекомендации? Как связанному с этой отраслью напрямую говорю - очень неубедительно и на предупреждение непохоже! Предупреждать надо было о простейших действиях кардхолдера, которое практически защищала от кардеров! Вернемся к новости - сэмпл получен через VMS? Обученный банкомат выслал образец? Смешно.... При этом известно. что западные вендоры добавили детект намного раньше.

Хотя согласен, PR живет по иным законам... Но перегибы и вранье не умиляют! По принципу -единожды солгав.....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Но перегибы и вранье не умиляют!

Перегибы и враньё - разные вещи. Под перегибами Вы, видимо, понимаете расстановку акцентов. Да, в СМИ часто расстановка акцентов идёт не совсем адекватным образом. Но тут уж ничего не поделать.

В чём заключалось враньё-то? Разве не мог кто-либо отправить сэмпл на [email protected] ? Только банкомат мог это сделать? :)

Предупреждать надо было о простейших действиях кардхолдера, которое практически защищала от кардеров!

Возможно, и надо было, но на тот момент этой информации могло не быть.

ИМХО, важна суть. Это была информация? Вряд ли... Предупреждение пользователям и рекомендации? Как связанному с этой отраслью напрямую говорю - очень неубедительно и на предупреждение непохоже!

Чем эта новость была полезной зрителям? Зрители, по крайней мере, узнали, что такие схемы возможны. И нет гарантий, что подобные схемы будут невозможны в будущем. Зрители узнали, что в банкоматах используется Windows XP со всеми вытекающими проблемами. Многие пользователи эту систему используют дома и знают, что MS постоянно выпускает под неё патчи, связанные с закрытием дыр. Из любой новости можно извлечь что-то полезное.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Возможно, и надо было, но на тот момент этой информации могло не быть.

В том - то и дело. что была. Как и была доступна информация о трояне - примерно с января. Причем от производителя :rolleyes: Засим флуд прекращаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

alexgr, ок-ок, значит, всё же расставление акцентов виновато :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Ещё такой вот этюд.

Тестовые лаборатории, показывая на инновационные тестирования, говорят, что антивирусы без HIPS'а и других супер-пупер-современных технологий - дерьмо! Эвристические технологии - вчерашний день!

А я прихожу на одну из работ каждый день и в течение дня наблюдаю, как без шума, без пыли мой старенький серверок, с позволения сказать (450МГц, 256МБ), под управлением ASPLinux 12 и Dr.Web Enterprise Suite складывает потихоньку статистику в течение дня со 150 компьютеров о вставляемых флешках, о посещаемых интернет-ресурсах, о ломящихся с незащищённых компьютеров сетевых червях. И так уже не первый год. И всё стоит, и не ломается, и работает. Не сказать, что заражений не было. Но их было так мало, единицы за 4 года... И ни одной глобальной эпидемии с начала использования Dr.Web ES. Даже и не знаю, захотел бы я тратить ресурсы этих морально устаревших компьютеров на HIPS-технологии ради такой мелочи.

30%, говорите? Не-а, никогда не поверю.

Валера, блин, ты вроде умный человек, а несешь чушь с умным видом. Твой личный опыт никого не интересует, это твой субъективный опыт, твои 150 компьютеров - это ничто по-сравнению со всей вселенной. Так вот, все зависит от пользователя. Что он посещает, как он посещает, на что нажимает и так далее. Количество факторов для заражения огромно, невероятно огромно, например, заточка под обход конкретных антивирусов (я видел ТЗ на разработку вирья, дрвеп там нет). Я тебя уверяю, что ходить по "порно" и кликать с удовольствием можно и с дрвеп и 30% (а то и еще меньше). Поверь мне, это так. И что самое интересное, то 0day мало кто вообще поймает. Так что ты можешь верить, а можешь не верить, мне пофигу, НО я тебя уверяю, что сигнатуры, эвристика, FLY-CODE (госпади, зачем так убого называть эмулятор и данные из него...) и унылые Origins тебя не спасут. Просто вы отстали и это факт.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

sww, спасибо за мнение. Для противовеса сойдёт.

То, что Вы назвали чушью, я назвал этюдом. Это не доказательство чего-либо. Это жизнь. Впечатление от работы продукта без HIPS и без сканирования 200МБ файлов за 3 секунды ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
sww, спасибо за мнение. Для противовеса сойдёт.

То, что Вы назвали чушью, я назвал этюдом. Это не доказательство чего-либо. Это жизнь.

Я часто вижу от тебя этюды, но к объективной ситуации они вообще никак не относятся, а особенно к жизни.

Впечатление от работы продукта без HIPS и без сканирования 200МБ файлов за 3 секунды ;)

А у меня сам знаешь что больше :P

Опять же, не понимаю причем тут это? Неужели ты думаешь, что ХИПСы придумали только для того, чтобы "пирожки" продавались круче? Только без этюдов плз - лишняя софистика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
На самом деле, если пиарится "и только Dr.Web лечит от самых новых руткитов" или "и только Dr.Web может вылечить от Polipos к 12 часам 15 минутам прошлого вторника" (к примеру), то доказать это не так сложно. И после этого со спокойным сердцем можно вполне применять превосходные степени прилагательных. Не всегда нужен какой-то навороченный тест для того, чтобы заявить о некоторых характеристиках антивируса. А вот под некоторые заявления нужна довольно сложная методика, чтобы "достать" эти преимущества и показать публике.

Софистика, Валера.

Впрочем, мы с тобой эту тему здесь затрагивали (концовка поста и дале по тексту). В дополнение могу тебе сказать, что то, что я тебе пытался донести до твоего сознания, подтвердилось на практике в нескольких организациях -- не можете предоставить документального подтверждения своего главного тезиса, значит, не о чем говорить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Миш, ты правда считаешь, что результаты тестирования на Anti-Malware являются документальным подтверждением чего-либо?

Да ну. Администрация портала сама признаёт, что до идеальных тестов ещё далеко.

Но почему-то считается, что лучше такие, чем никакие.

Да, я могу принять существование такого мнения, что для кого-то такие тесты лучше, чем ничего, хотя не и не разделяю эту точку зрения.

Но эти тестирования также и не документальное подтверждение.

Исследования лаборатории не стандартизованы, не сертифицированы, не подтверждены независимой аудиторской проверкой (да и практически невозможно сейчас такую квалифицированный аудиторский контроль и создать). Тесты также вызывают множество вопросов, как по методике проведения, так и по представлению результатов широкой публике.

То же самое можно сказать про квалификацию людей, которые проводят тестирования. Руководят тестированием вроде бы люди адекватные, но их квалификация также ничем не подтверждена, кроме нашей веры в их квалификацию. (Здесь я не про администрацию веду речь, а про более квалифицированных, опять же, по моему мнению, людей, которые фактически руководят тестированием). Непосредственное тестирование проводят люди, которые, скажем, тоже не вызывают доверия лично у меня, у меня нет сведений, подтверждающих, что эти люди способны провести тестирование, избежав ошибок и ляпов.

Для себя, для СМИ - да, тесты представляют некоторый интерес.

В качестве документального подтверждения чего-либо - нет.

И заявления Ильи о том, что эти тестирования сначала вызывают бурю недовольства, а затем становятся классикой, кажутся... слишком самоуверенными.

Вера в собственные силы - это хорошо. Но этого недостаточно для получения результатов, которые можно использовать в процессах, требующих документального подтверждения.

А т.к. эти результаты не могут являться документальным подтверждением качеств продуктов, они имеют такую же ровно силу, как и заявления вендоров, сделанные на собственном опыте и мировосприятии.

Поэтому все вендоры (как вот ESET недавно) стремятся получить различные сертификаты от госслужб. Вот их можно показывать крупным заказчикам. Это - документальное подтверждение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Сергей Ильин, речь идёт не о качестве тестов в данном случае, а об их юридической силе, о возможности применять их результаты для документального доказательства чего-либо. И моё сообщение было ответом на другое сообщение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

полагаю, что не так. И это просто до очевидности. Какой вендор скажет - да, тут мы отстаем, тут недокрутили, тут просто не успели? Как то слышать такое не приходилось.....

Приходилось слышать - х64 будет скоро, прям на неделе.... (Год прошел, релиза нет :D . Здесь не акценты, а откровенная ложь!). Приходилось комментировать аргумент - мы лучшие в лечении. В ответ вопрос - чем можете подтвердить? Ответ, как вы понимаете, был уклончивый до полного молчания. Голословное утверждение выглядит как попытка обмана, а повторяя персонаж известного фильма - "маленькая ложь рождает большое недоверие"...

Отказ от участия в тестах как раз и ставит вопрос подтверждения. Люди, которые так или иначе вынуждены слушать маркетинговый бред, обычно подготовлены и предварительно оценили некоторые продукты и те минимальные требования, которым они должны удовлетворять. А им двигают - цитирую "вендорскую похвальбу" (с) не я. И их "мировосприятие" оценено - "очень денег хочется" (с) не я.

Это мое восприятие от общения с администраторами, которые так или иначе причастны к закупкам АВ продуктов в Украине.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Поэтому все вендоры (как вот ESET недавно) стремятся получить различные сертификаты от госслужб. Вот их можно показывать крупным заказчикам. Это - документальное подтверждение.

Валерий, документальное подтверждение чего? :)

Того, что ПО соответствует ТУ и не содержит НДВ? Это, безусловно, важные вещи, но, пардон, при чем тут тестирование на качество?

Или появились новые сертификаты, подтверждающие качество работы с точки зрения ловли вирусов?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Какой вендор скажет - да, тут мы отстаем, тут недокрутили, тут просто не успели? Как то слышать такое не приходилось.....

Если бы видели, сколько раз в день в техподдержке пишут примерно так: "К сожалению, у нас нет сейчас продукта, полноценно поддерживающего 64-битную платформу Windows...". Можете сами соответствующий вопрос задать, получите подобный ответ.

Приходилось слышать - х64 будет скоро, прям на неделе....

Официальных заявлений по этому поводу не было. То, что пишется на форумах, не стоит брать в рассчёт. И в техподдержке не говорили, что через неделю будет в релизе 64 бита.

Приходилось комментировать аргумент - мы лучшие в лечении. В ответ вопрос - чем можете подтвердить?

Тут можно приводить факты по актуальным руткитам, с которыми одни продукты справляются, а другие - нет. Зависит от того, кто хочет подтвердить и что конкретно.

Подтверждает ли тест АМ на активное заражение, что Dr.Web противодействует всем существующим руткитам? Нет, тоже не подтверждает.

Этот результат говорит о том, что при данной методологии для отобранных образцов, которые авторы тестирования считают достаточно репрезентативными, были получены такие-то результаты.

Кто это сказал? Независимая лаборатория, квалификация и результаты которой ничем не подтверждены.

Если подобный эксперимент проведёт тестовая лаборатория вендора, то юридически этот результат при прочих равных (публикация методики, возможность воспроизвести тестирование и пр.) будет иметь большую доказательную силу.

Люди, которые так или иначе вынуждены слушать маркетинговый бред, обычно подготовлены и предварительно оценили некоторые продукты и те минимальные требования

Так зачем им тогда результаты тестов АМ, если они могут и сами оценить "некоторые продукты"?

Такие люди не будут пользоваться информацией, которая не имеет юридической силы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Если подобный эксперимент проведёт тестовая лаборатория вендора, то юридически этот результат при прочих равных (публикация методики, возможность воспроизвести тестирование и пр.) будет иметь большую доказательную силу.

Это не так.

Именно потому, что это будет делать лаборатория конкретного вендора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, документальное подтверждение чего? smile.gif

Того, чего могут подтвердить документально, того и оформляют, и показывают.

Да, сертификатов, подтверждающих юридически качество продуктов на данный момент нет. К сожалению для корпоративных и госзаказчиков.

Это не так. Именно потому, что это будет делать лаборатория конкретного вендора.

Это так, потому что квалификация этих людей как тестеров антивирусных продуктов официально подтверждена. И тест можно воспроизвести по предоставленной методике всем желающим аудиторским конторам, которые пожелают проверить эту информацию, например, по запросу заказчика. Этой аудиторской конторе будет хоть что оспаривать - конкретный документ, имеющий юридическую силу. Оспаривать же тесты АМ можно только с позиции выявления в результатах тестирований сведений, которые не соответствуют действительности и порочат деловую репутацию компании. Но это практически нереально, потому что "мы провели собственное тестирование по нашей методологии и назвали это тестирование так, нам так захотелось, и наши результаты мы не позиционируем как результаты, за которые мы можем/хотим юридически отвечать". Т.е. тестирование на АМ проводится на правах независимого журналистского расследования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
квалификация этих людей как тестеров антивирусных продуктов официально подтверждена

Ого, это чем же? Трудовой книжкой? Не надо сюда приписывать контроль качества (QA) это совсем разные темы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Ого, это чем же? Трудовой книжкой?

Ну да, хотя бы книжкой. Выпиской из трудовой биографии об опыте работы по теме.

Это лучше, чем ничего.

Если спортсмен установил мировой рекорд на домашней тренировке, он не будет признан. Даже если оборудование, которое использовалось для замера, удовлетворяет международным стандартам. Примерно такие мысли меня посещают.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Официальных заявлений по этому поводу не было. То, что пишется на форумах, не стоит брать в рассчёт. И в техподдержке не говорили, что через неделю будет в релизе 64 бита.

Это не форум, а заявление одного из топ-менеджеров компании. Поэтому ответ не в тему. Заявление топ - менеджмента многие обоснованно считают официальным заявлением.

Это так, потому что квалификация этих людей как тестеров антивирусных продуктов официально подтверждена. И тест можно воспроизвести по предоставленной методике всем желающим аудиторским конторам, которые пожелают проверить эту информацию, например, по запросу заказчика. Этой аудиторской конторе будет хоть что оспаривать - конкретный документ, имеющий юридическую силу.

Как то вы очень небрежно об аудиторах.... Так чем подтверждается квалификация - сертификатами каких компаний, центров, органов? У меня вот есть несколько международных - поверьте, я, даже имея их, не бросался бы на амбразуру. Второе - любой аудитор оценит методику и проведет тест, сравнит результаты - и, просто представим себе (хотя таких примеров море) результаты не подтвердились? Гнать в шею тестеров? Нет, они работают на конкретного начальника, которому надо кроме объективных данных всегда показать, где они сильнее :D Кроме того, я сомневаюсь, что компания выложить из кармана несколько тысяч евро для подтверждения результатов внутренних тестов. Как пример - материалы сравнения ES и ePO. С какого бодуна орхестратор попал в антивирусы? Я б дальше и не читал - как аудитор, кстати :D

Это типа сравним лимузин и пикап. Вроде как ездят, а то, что назначение у них разное - это ж можно опустить для красоты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Так чем подтверждается квалификация - сертификатами каких компаний, центров, органов?

Вот независимые лаборатории сейчас и процветают потому что этих институтов нет, пользуются моментом. Обвинять их в этом сложно, молодцы.

Вернее, эти институты начинают создаваться, но, к сожалению, очень медленно идёт процесс. Не всем далеко вендорам выгодно проведение объективных тестирований, имеющих юридическую силу. Многим хочется выбирать из нескольких лабораторий ту, тестирования которой им кажется "правильными".

Подумайте, AMTSO ведь создали не от хорошей жизни. Что-то же движет этими людьми? Чему противодействует эта организация? Не многочисленным ли независимым лабораториям? Не прямой ли это ответ на Вашу аргументацию?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • AM_Bot
      Компания «АВ Софт» является российским производителем средств обеспечения информационной безопасности, которые вендор разрабатывает с 2010 г. Портфель продуктов включает в себя систему защиты от целевых атак ATHENA, программный комплекс для имитации корпоративной инфраструктуры LOKI, антивирусный мультисканер OCTOPUS, корпоративный мессенджер BOND и другие продукты, уже зарекомендовавшие себя у российских заказчиков.    ВведениеПозиционирование вендора на рынкеСектор рынкаATHENALOKIOCTOPUSBONDCRIMLABNFIКатегории заказчиковНовые продуктыЗарубежные проектыГибкость и адаптация решенийПартнёрская сетьСертификацияПодведение итоговВыводыВведениеБренд «АВ Софт» придумал Антон Чухнов, основатель компании, имея скромное желание изменить индустрию информационной безопасности в России. Сердце потребителей планировалось пронзить стрелой чего-то нового и оригинального.В 2010 году системы на базе технологии «песочницы» обладали слабой гравитацией на рынке, многим идея казалась неперспективной и странной. Антон пришел от неё в восторг и объединил в первом прототипе системы ATHENA возможность анализировать поведение программного обеспечения с антивирусным мультисканером. Единство технологий принесло первый коммерческий успех, который стал отправной точкой для набора команды и развития продукта.В 2016–2019 гг. палитра предложений компании существенно увеличилась. В ней появились классы решений по маскировке операционных систем, защите мобильных устройств и мониторингу компрометации сетевых устройств. Каждое разработанное решение имеет свой стиль и концептуальное преподнесение. Система ATHENA стала флагманским продуктом и гибко адаптировалась под различные инфраструктурные пожелания заказчиков. Компания стала участником ассоциации АРПП «Отечественный софт», резидентом инновационного центра «Сколково», выиграла несколько конкурсов по инновациям в сфере ИТ и безопасности.В 2020 г. компания «АВ Софт» стала лауреатом гранта российского фонда РФРИТ по разработке системы ложных распределённых целей на базе технологии «deception». Новое решение позволит имитировать ИТ-инфраструктуру организации и заманивать злоумышленников в «ловушки», оберегая реальные устройства от кибератак. Система ATHENA была выбрана для участия в отечественном мультисканере (аналоге VirusTotal), который уже активно проходит тестирование. Также компании удалось развить партнёрскую сеть и реализовать ряд научно-технологических проектов.В команде есть всё необходимое для развития и роста: концентрация идей, потенциал для создания новых продуктов и самый важный бриллиант для любого вендора — доверие заказчиков.Позиционирование вендора на рынкеОбъективная оценка вендора на рынке играет важную роль для потребителей продуктов и услуг в области информационной безопасности. Управление рисками при выборе поставщика решений для защиты ИТ-инфраструктуры требует высоких профессиональных компетенций. Базовая оценка контрагента, выполняемая финансовым отделом, может упустить важные аспекты этой весьма наукоёмкой сферы.Можно выделить следующие направления анализа организаций, специализирующихся на разработке программного обеспечения и оказании услуг в области информационной безопасности:сектор рынка,категории заказчиков,создание новых продуктов,зарубежные проекты,гибкость и адаптация решений,партнёрская сеть,сертификация.Оценка всегда предполагает градацию её уровней, поэтому была разработана шкала присвоения веса по каждому параметру оценки. Таблица 1. Параметры оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию Сектор рынкаЗдесь важно учесть возможность не только начитаться маркетинговых материалов на сайте, но и получить пробную версию или возможность организации «пилота», который не потерпит крушение, что достоверно подтвердит наличие самих продуктов.У компании «АВ Софт» есть следующие направления решений:антивирусный мультисканер,песочница (sandbox),ловушки (deception),контроль сетевого взаимодействия устройств,криминалистический анализ,безопасная коммуникация.Разнообразие направлений продуктов в компании даёт представление о системном охвате рынка, развитии смежных компетенций у специалистов и потенциальной возможности построения сложных конструкций в ИТ-инфраструктуре.Пробные версии показывают возможности продуктов компании, о которых будет рассказано далее.ATHENAФлагманский продукт по защите от целенаправленных атак AVSOFT ATHENA SANDBOX с помощью методов поведенческого анализа и искусственного интеллекта способен проверять всю входящую в компанию информацию на наличие опасного и вредоносного содержимого.Внутри системы ATHENA присутствует множество инструментов проверки, которые можно разделить на два больших блока анализа: статический и динамический. Рисунок 1. Интерфейс системы ATHENA При прохождении файлом или веб-ссылкой статического вида анализа выполняется проверка контента на наличие известных сигнатур множеством локальных антивирусных ядер, синтаксическими анализаторами (парсерами) и искусственным интеллектом, а также осуществляется сбор информации по исследуемому объекту во внешних репутационных базах данных.При динамической проверке осуществляется анализ поведения файла в имитационной среде — «песочнице» (она может быть как виртуальной, так и физической), которая соответствует реальному рабочему месту пользователя или серверу компании. В ней происходят запуск файла, провоцирование его на вредоносные действия, сбор событий о его поведении и вынесение вердикта на основе результатов аналитического блока и поведенческих сигнатур, которые разработаны командой аналитиков «АВ Софт».Стоит отметить, что в системе ATHENA присутствует широкая линейка поддерживаемых в песочницах операционных систем, включающая отечественные ОС:Microsoft Windows;Linux:Astra Linux,RedOS,Alt Linux,Red Hat Enterprise Linux,Debian,Ubuntu,openSUSE,CentOS;Android.После завершения всех видов анализа система ATHENA отображает подробный отчёт. Рисунок 2. Отчёт по проверке в системе ATHENA Рисунок 3. Отчёт по проверке сетевого трафика в системе ATHENA Важно обращать внимание на современность и удобство интерфейсов систем, которые вы берёте попробовать. Сейчас уже вполне устойчиво сформировались общепризнанные требования и правила по эргономике, грамотному использованию цветовых палитр, а также интерактивным возможностям современного программного обеспечения. Если вы осознаёте, что интерфейс часто вводит вас в заблуждение или недоумение, т. е. вы не понимаете, куда нужно двигаться и что делать, и вместо службы доставки вкусного ужина пытаетесь дозвониться до службы поддержки вендора, то что-то идёт не так. Любое нарушение графическими интерфейсами устоявшихся сценариев поведения пользователей тормозит бизнес-процессы компании.LOKIПрограммный комплекс AVSOFT LOKI DECEPTION имитирует корпоративную инфраструктуру на базе технологии «deception» и позволяет виртуально моделировать на различном уровне любое устройство в организации, включая оборудование IoT и IIoT (контроллеры АСУ ТП). Рисунок 4. Интерфейс системы LOKI Имитация устройств осуществляется с помощью ловушек (honeypot) и песочниц (sandbox). На рабочих местах сотрудников и серверах разворачиваются приманки, которые ведут в ловушки и песочницы, уводя вектор атаки от реальных устройств.Использовать систему LOKI несложно, достаточно сделать 4 шага:Просканировать подсети для определения состава активных устройств.Система сама предложит ловушки к ним, можно будет просто согласиться с её выбором.Развернуть ловушки в выбранной подсети одной кнопкой.Скачать приманки на рабочие места и установить их. Рисунок 5. Панель статистики системы LOKI Сейчас линейка имитируемых устройств в системе LOKI уже включает в себя большой список типов и моделей, который активно пополняется: рабочие станции, серверы, маршрутизаторы, межсетевые экраны, IP-телефоны, IP-камеры, принтеры и сканеры, PoS-терминалы, ЧПУ-станки. Рисунок 6. Карта сети ловушек и реальных устройств в системе LOKI При работе с программным продуктом не стоит забывать о простоте его использования, чтобы любой шаг был естественен и логично следовал из предыдущего. В системе LOKI есть эта особенность, хотя изначально концепция идеи может сформировать представление о чём-то громоздком и сложном. Конечно, комплексы, автоматизирующие процессы в информационной безопасности, имеют большие функциональные возможности, но продукт должен стараться исключать людей из процесса, выполняя по максимуму всё самостоятельно, т. к. человеческий фактор — это всегда риск.OCTOPUSСистема AVSOFT OCTOPUS MULTISCANNER — это антивирусный мультисканер, который может быстро обрабатывать большие объёмы трафика и подходит в том числе для небольших компаний за счёт невысокой стоимости.Внутри системы — больше 20-ти локальных антивирусных ядер, при желании можно добавить и больше. Помимо этого есть модули статического анализа файлов, модели на базе машинного обучения, интеграция с внешними репутационными сервисами.Можно отправить на проверку самые разнообразные типы файлов: исполняемые, офисные, скрипты, мобильные приложения, архивы, включая многотомные и закрытые паролем, и др. Рисунок 7. Страница проверки файлов в системе OCTOPUS При оценке любой современной системы важно учитывать скорость обработки данных; если вендор предлагает решить её только за счёт «железа», то это — порочная практика, т. к. она всегда ставит перед заказчиком вопрос о дополнительных затратах. Важно уточнять у вендора, как происходит обработка очередей и больших объёмов задач, чтобы подстраховать себя от незапланированных финансовых потоков во внешний мир.BONDAVSOFT BOND MESSENGER — мессенджер для безопасного корпоративного общения. Он позволяет управлять всей коммуникацией в компании через собственный сервер. После развёртывания мессенджера в инфраструктуре никто кроме уполномоченных администраторов из персонала заказчика не имеет доступа к серверу, включая самих разработчиков программы. Рисунок 8. Интерфейс мессенджера BOND Получение быстрого доступа к продукту, как в случае с мессенджером, который можно просто скачать и поставить, даёт возможность сразу оценить его характеристики и принять решение. Если приходится пройти сражение с драконом или спасти принцессу, чтобы получить «пилот» или пробный доступ, то стоит задуматься, стоит ли ввязываться в этот бой, поскольку так же сложно могут быть выстроены и другие процессы, связанные с поддержкой или инсталляцией в инфраструктуру.CRIMLABКриминалистическая лаборатория AVSOFT CRIMLAB ANALYTICS предоставляет инструменты для детального анализа файлов и разнообразной агрегации собранных данных: сравнение исследований, создание коллекций, формирование базы знаний и др. Решение актуально для центров мониторинга информационной безопасности (SOC) и компаний, которые хотят развить компетенции своих специалистов в данной области. Рисунок 9. Схема работы CRIMLAB Решение позволяет проводить детальный анализ содержимого любого типа файлов, изучать его поведение в виртуальных и физических песочницах, тонко индивидуализировать параметры среды исследования и добавлять инструменты исследований, а также осуществлять ретроспективный анализ. Рисунок 10. Подробный отчёт по файлу Возможность тонкой индивидуализации внутренних функций и настроек системы всегда говорит о её гибкости и адаптивности, это уже стало базовым качеством многих современных программных продуктов. Не стоит забывать, что осуществление индивидуализации не должно быть сложным или запутанным, т. к. это повышает риск ошибок, система должна запрещать пользователю выполнять заведомо некорректные настройки.NFIНебольшой программно-аппаратный комплекс AVSOFT NFI контролирует взаимодействие сетевых устройств с внешней сетью (интернетом). NFI представляет собой устройство, которое берёт в кольцо сетевые пакеты, работая на 3-м уровне модели OSI. Инспектор способен оперативно выявить и заблокировать компрометацию любого сетевого устройства и оповестить об этом службу безопасности. Рисунок 11. Схема работы AVSOFT NFI NFI имеет графический интерфейс, в котором можно задавать правила фильтрации и управлять устройством. Рисунок 12. Интерфейс программно-аппаратного устройства NFI Итак, компанией охвачены востребованные направления на рынке информационной безопасности и этих направлений больше 5-ти, что даёт основание присвоить ей 3 балла по принятой методике оценки.Категории заказчиковДля вендора большую роль играет получение опыта с разными категориями заказчиков. Все осознают, что государственные и коммерческие организации — это два больших разных «королевства» со своими требованиями и правилами. Непрерывная реконструкция и анализ многогранных кейсов с клиентами может помочь пересмотреть процесс реализации новых проектов. Заказы от коммерческих компаний преимущественно ориентированы на скорость и оптимизацию затрат, от государственных структур — на соблюдение требований регуляторов, а качество, конечно, интересует всех.Компания «АВ Софт» работает как с государственными, так и с коммерческими заказчиками. Веер направлений деятельности клиентов включает в себя промышленность, транспорт, оказание услуг по безопасности и задачи связанные с обороной. Не присутствуют пока зарубежные заказчики, что позволяет поставить по методике оценки 2 балла.Новые продуктыОриентация на создание новых продуктов — обязательный талисман для всех, кто планирует расти. Сфера кибератак развивается со скоростью гепарда, поэтому вендорам важно не упускать шанса моделировать инструменты охоты, которых ни у кого нет или которым есть куда стремиться по уровню качества. Конкуренты всегда помогают в развитии, никогда не сидят спокойно и ждут возможности забрать себе кусочек того, что кто-то потерял, потому что отстал в развитии. Если компания постоянно генерирует новые идеи и не жалеет ресурсов на развитие новых продуктов, то это выделяет её с точки зрения планирования долгосрочной стратегии.Команда «АВ Софт» почти каждый год выпускает новый продукт, и основная концепция компании как таковая базируется на непрерывном выпуске новых продуктов. По методике можно присвоить ей 3 балла.Зарубежные проектыКогда вендор вращается только в своей домашней зоне, это не даёт ему возможности развиться до уровня международных конкурентов, и тем самым он обрекает себя на стагнацию, которая наступит рано или поздно. Очень важно стремиться расширять круг заказов за границами комфортного «стеклянного шара», адаптируя свои решения под требования заказчиков из других стран.Опыта зарубежных проектов компания «АВ Софт» пока не имела шанса получить, поэтому по методике ей ставим 0 баллов.Гибкость и адаптация решенийСпособность продуктов гибко трансформироваться не всегда удобна вендорам, потому что это влечёт за собой дополнительные ресурсы на поддержку и сопровождение. Но желания заказчиков никто не отменял, и пока они не удовлетворены — это всегда отличный повод для действия. Клиентоориентированный подход уже пронизывает все сферы рынка и требует покориться ему в том числе и от поставщиков решений по информационной безопасности.Индивидуализация продуктов компании «АВ Софт» возможна и является одним из обязательных условий работы с заказчиками, взятых на себя командой. Высокая адаптивность продуктов — это всегда отчасти и риск, но при должной оптимизации этого процесса он даёт гораздо больше, чем ограничения клиентов. Формируется совершенно иной уровень доверия, появляется возможность реализовать действительно полезные проекты. По методике мы можем поставить в данной категории 3 балла.Партнёрская сетьРазвитая партнёрская сеть свидетельствует о доверии и устойчивой позиции вендора на рынке. Если среди партнёров есть крупные интеграторы и дистрибьюторы, то это показывает, что компания получила признание у сильных игроков.У компании «АВ Софт» — больше 15-ти партнёров, что даёт основание выставить ей по методике ещё 3 балла.СертификацияПолучение сертификации — ювелирная работа, которая требует в первую очередь стабильности продуктов и чёткого их соответствия заявленным требованиям. При наличии лицензий можно сделать вывод о том, что присутствует баланс между разработкой новых функций и их устойчивым состоянием.Часть продуктов компании «АВ Софт» имеет сертификацию, остальные находятся в процессе её получения, поэтому в нашей финальной метрике мы можем выставить 2 балла.Подведение итоговВ итоговой таблице компания «АВ Софт» получает 16 баллов, что вполне неплохо, но значит, что есть куда стремиться. Цветом выделены баллы, которые компания получила в результате прохождения оценки в рамках настоящего материала. Таблица 2. Методика оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию ВыводыОценка вендора может быть адаптирована под потребности конкретной организации и особенности защиты её ИТ-инфраструктуры. Рекомендуется также выстраивать управление рисками в части поставки решений по информационной безопасности и методику оценки качества продуктов и услуг вендора. Читать далее
    • mirkosmetik
      Спасибо, полезно.  
    • andery777
    • Guffy
    • andery777
      Только для 10? Как думаете с 7 совместима?
×