Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Иван

Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

change.PNG

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

забавно, что Frisk F-prot, который в лице Бончева один из главных "опускальщиков" тестов Клементи, самплы-то активненько долбит, которые в тестах напропускал, причем задолбил глядите скока (смотри насколько сократилось число невзятых самплов межуд августом и ноябрем) - и зачем же он долбит, если они битые?

missed.PNG

post-10-1206793625_thumb.png

post-10-1206793647_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

Вообще-то это немало. И при неудачной методологии результаты могут оказаться значительно различными без учёта процентного содержания битых сэмплов.

Вот если вернуться к схеме награждения ( http://antimalware.ru/index.phtml?part=tes...ymorphic_awards ) теста на детект полиморфов ( http://antimalware.ru/index.phtml?part=tes...est=polymorphic ) нашего портала, то 0,4% битых сэмплов означало бы, что 3 балла нужно было давать за результат где-то от 99,5% до 100% детекта, а не за точно 100%-ый результат. Чего, конечно, сделано не было. Предлагаю Сергею Ильину и соответствующим экспертам АМ обратить на этот факт внимание при проведении аналогичных тестов.

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

dr_dizel, а как Вы считаете? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

а как он это учитывать может, он ведь просто на детект смотрит,

но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Конечно, график может показывать, насколько интенсивно вендоры используют полученную после теста информацию.

F-Prot, Avast, Fortinet явно сразу добавили большинство из недетектируемого, McAfee тоже добавил основную часть недетектируемого в этом тесте, но спустя месяц (оперативность страдает), а вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Опять же, эти выводы верны в случае, если мы коллекцию Клементи считаем идеально репрезентативной на момент проведения теста.

Но т.к. это не так, то возникают более интересные выводы. Например, если вендоры используют "заточку" детекта для побед в конечном наборе подобных тестов (а коллекции обычно в таких тестах не обновляются на 100% от одного теста к другому), то результаты этих тестов не могут отражать реальных способностей этих антивирусов обнаруживать вирусы, находящихся в "живой природе" в настоящий момент.

И здесь появляется дилемма. Нужно ли пропущенные сэмплы отсылать вендорам? По-хорошему стоит, если наша цель как независимых исследователей - борьба с вирусами в глобальных масштабах (а не только ранжирование антивирусов по некоторым показателям), т.е., так сказать, благородная миссия. Но для большей точности результатов будущих тестов (которые проводятся на большой выборке сэмплов, и если эта выборка от теста к тесту не обновляется на 100%) такие сэмплы вроде как отсылать не следует, ибо иначе в результатах появляются некоторые искусственно внесённые гармоники. Но во втором случае мы теряем в прозрачности/открытости результатов, невозможности их проверить. Отсылать проблемные сэмплы частично? Здесь свои проблемы - начнутся другие подозрения, типа таких, что показывается правда, но не вся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" tongue.gif

Нет, просто сделал выводы на основе графика, но вряд ли можно такой вывод назвать 100%-но соответствующим действительности.

Так, небольшой анализ того, что можно вытянуть из таких графиков кроме того, что сказал Клементи. КАВ, судя по этому графику и не нуждался в особом улучшении детекта, но это не означает, конечно, что в реальности у КАВ идеальный детект. В результатах данного теста - да, близко.

Можно сделать и другое предположение. Например, присланная коллекция недетектируемого была подвергнута первоначальному анализу аналитиками Dr.Web, в результати было обнаружено множество битых файлов. На этом анализ коллекции был завершён как бесперспективный. Как было на самом деле - не знаю. Равно как не знаю, соответствут ли действительности то, что у Клементи не более 0,4% битых сэмплов в коллекции.

А вообще, 0,4% - это 4000 (!) битых сэмплов на миллион. И даже как-то не поворачивается язык говорить "всего лишь".

Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Да Валерий, много. Но во-первых, если вы потрудитесь прочитать написанное в отчете, то увидите, что Клементи скорректировал результаты теста с учетом битости этих самплов - итог коррекции таков, расстановка продуктов и присвоенные им по результатам теста статусы не изменились. А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
dr_dizel, а как Вы считаете? :)

Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием.

:P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Все неприятности идут от "автодятлов". :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием."

А как без тестов можно сравнить АВ? Проводить голосование среди пользователей?

Что бы не тестировать "вчерашний день" нужно разнести дату тестирования и последнего обновления АВ скажем на месяц. Если по результатам 3-х таких тестов АВ будет брать >80%, то с таким АВ можно спать спокойно, а "червь долго будет искать у вас дыру" :rolleyes:

А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent
А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Подразумевается количество битых сэмплов в коллекции, которая считалась целиком зараженной, для теста на общий детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Считаю любые тесты злом, а обсуждение их пустым занятием.

Ну вот, можете же высказывать своё мнение. А то всё дуетесь и дуетесь :)

Все неприятности идут от "автодятлов". laugh.gif

Вполне возможно. Тоже серьёзная проблема, набирающая обороты. Особенно после таких фактов, как удаление возможности не отсылать сэмплы при проверке на virustotal.com .

А как без тестов можно сравнить АВ?

Ставить каждый из продуктов на триальный срок и выработать собственное мнение. Точно так же, как каждый человек самостоятельно решает, каким образом защищать свою жизнь и жилище, сколько на это будет тратиться денег, содержать ли телохранителей или ограничиться оружием, лежащим в сейфе. Рано или поздно так и будет, наверное. Возможно, этому поспособствует обучение детей тому, что называется сейчас "высокие технологии", с пелёнок в рамках обязательного образования.

Лучше совсем без тестов, чем тесты, результаты которых никак не коррелируются и ничего не показывают, и точность которых далека от идеала. Потянешь за одну переменную - результаты рассыпаются, потянешь за другую - вообще бессмыслица получается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Ставить каждый из продуктов на триальный срок и выработать собственное мнение."

Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

а что Валерий закончится?

в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают."

Значит тесты всё же не дерьмо :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

Человек работает над собой (причём заметно только в последнее время), но результаты тестов до окончания работы над собой публикуют везде, где можно. Без ремарок о том, что результаты могут не соответствовать действительности, могут содержать погрешности, могут быть основаны на ошибочной методологии и прочая, и прочая.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

По мне, так оба хороши.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Не знаю я таких юридических тонкостей. Если ничего не препятствует, то почему бы не потестировать?

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами". Кроме того, активного пиара компании "Доктор Веб" на тестах АМ не было. Один раз опубликовали ссылку в новости (которой давно уже нет на сайте). А дальше я пользователям давал ссылки на результаты тестов АМ по своей инициативе и не видел, чтобы кто-то ещё из сотрудников это начинание поддержал, увы.

Значит тесты всё же не дерьмо rolleyes.gif

Я не говорил, что они дерьмо. Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами".

здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Ок, ок. Если так, то так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию."

Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Модели тестирования основные уже существуют. И я постоянно делаю предложения по увеличению их точности. Но, к сожалению, я не на всё могу повлиять. Например, не могу повлиять на выбор источников поступления сэмплов в коллекцию, на которой проводится тестирование и так далее. Я могу лишь уточнять интерпретацию полученных результатов, могу предлагать вычислить погрешность полученных результатов и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

Иван, вот для полного счастья он опубликовал статистику по так называемым "фолсам", которые на проверку оказались вредоносами... СНГошные вендоры это доказывали не раз

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • mirkosmetik
      Спасибо, полезно.  
    • andery777
    • Guffy
    • andery777
      Только для 10? Как думаете с 7 совместима?
    • AM_Bot
      Продукт, известный сейчас как Ideco UTM, произошёл из Ideco ICS (Internet Control Server), первый выпуск которого состоялся в 2005 г. За 15 лет продукт поменял название, расширил список функциональных возможностей и стал называться Ideco UTM. В конце 2020 года состоялся релиз новой, 9-й версии; слоганом презентации стало «Дальше только космос». Рассмотрим, какие изменения произошли по сравнению с предыдущей, 8-й версией.    ВведениеНовые возможности Ideco UTM 9Системные требования Ideco UTM 9 для разного количества пользователейПреимущества Ideco UTM 9 перед конкурентамиКонцепция постоянных обновлений Ideco UTM 9Принцип «всегда на связи»ВыводыВведениеIdeco UTM представляет собой шлюз безопасности типа Unified Threat Management (система единообразной обработки угроз) российского разработчика «Айдеко». Предыдущая, 8-я, версия этого шлюза рассматривалась на нашем сайте весьма подробно. Новая редакция продукта обладает широкими функциональными возможностями за счёт использования таких модулей и механизмов, как защита от несанкционированного доступа и внешних угроз (межсетевой экран, WAF, контроль приложений и другие), контроль доступа, контентная фильтрация, антивирусная проверка трафика, антиспам (на основе технологий «Лаборатории Касперского»), возможности работы в качестве VPN-, DNS-, DHCP- и даже почтового сервера.Исходя из перечисленных функций можно сказать, что Ideco UTM уже вышел за рамки привычного класса устройств для сетевой безопасности и представляет собой экосистему, работающую не только для организации и защиты сети, но также для частичного построения серверной инфраструктуры.За прошедшие 15 лет это решение стали использовать такие компании и ведомства, как Федеральная таможенная служба, холдинг «Вертолёты России», ArcelorMittal. В целом более 14 000 организаций используют в своих сетях решение Ideco UTM.Ещё одним преимуществом рассматриваемого решения является его наличие в Едином реестре российских программ для электронных вычислительных машин и баз данных. Это позволяет использовать Ideco UTM 9 для целей обеспечения государственных и муниципальных нужд в соответствии с постановлением Правительства Российской Федерации № 1236 от 16 ноября 2015 г., а также в рамках программы импортозамещения, что важно в свете планируемого перевода субъектов КИИ на российские продукты.Новые возможности Ideco UTM 9Ideco UTM 9 основана на новейшем ядре Linux 5.11. В этой версии обновлены многие системные пакеты, увеличена производительность, включена поддержка новых платформ.Переработан веб-интерфейс администратора. Теперь он ещё удобнее с точки зрения структуры и работает быстрее, чем раньше. Рисунок 1. Интерфейс администратора Ideco UTM 9 Добавлена ролевая модель администраторов. Теперь благодаря ей доступ разделён на две категории: полный доступ и только чтение, что позволяет предоставлять его обучающимся или неопытным пользователям. Рисунок 2. Добавление учётной записи администратора Реализован раздельный доступ в консоль по SSH под логинами администраторов. Это позволяет настроить сети, из которых возможен доступ по SSH. Раньше была возможность подключаться только к веб-интерфейсу шлюза. Рисунок 3. Управление доступом по SSH В обновлённой версии шлюза безопасности добавлена установка пароля администратора при развёртывании сервера. Данная возможность исключает использование стандартных паролей и делает необходимой их ручную смену после установки продукта. Это позволяет избавиться от типичной проблемы использования нестойких и подверженных взлому паролей в привилегированных учётных записях.В межсетевой экран добавлены счётчики срабатывания правил, что позволяет эффективнее управлять правилами, удаляя или дорабатывая правила файрвола не имеющие срабатываний. Рисунок 4. Управление правилами файрвола В Ideco UTM 9 появился почтовый узел («релей») с возможностью работы в качестве полноценного почтового сервера с модулем антиспама от «Лаборатории Касперского». Рисунок 5. Основные настройки почтового релея Почтовый релей может подписывать исходящие письма DKIM-ключом, который используется почтовыми сервисами для идентификации и классификации электронной почты. Рисунок 6. Включение функции DKIM В продукте обновлён модуль системы предотвращения вторжений. Теперь он более эффективен в выявлении и предотвращении атак.Добавлена возможность отправки оповещений о событиях на сервере с помощью телеграм-бота. Рисунок 7. Настройка телеграм-бота Системные требования Ideco UTM 9 для разного количества пользователейIdeco UTM — это программное решение, что весьма выгодно с точки зрения отсутствия необходимости покупать продукт вместе с аппаратной частью. Достаточно выделить соответствующие ресурсы из уже имеющихся. Несмотря на новые функции, появившиеся в версии 9, требования к аппаратному обеспечению не изменились по сравнению с 8-й версией. Таблица 1. Минимальные системные требования, предъявляемые Ideco UTM 9Минимальные системные требованияПримечаниеПлатформаОбязательна поддержка UEFI Гипервизор2-е поколение виртуальных машин HyperV (с отключённым SecurityBoot) ПроцессорIntel Pentium G / i3 / i5 / Xeon E3 / Xeon E5 с поддержкой инструкций SSE 4.2Требования могут варьироваться в зависимости от сетевой нагрузки и используемых сервисов, таких как контентная фильтрация, антивирусы и система предотвращения вторжений. Для работы системы требуется минимум два, лучше четыре ядра процессора.Объём оперативной памяти8 ГБ (16 ГБ при количестве пользователей более 75)Дисковая подсистемаЖёсткий диск (магнитный или SSD) объёмом 64 ГБ или больше с интерфейсом SATA, SAS либо совместимый аппаратный RAID. В случае использования почтового сервера — второй жёсткий диск.Не поддерживаются программные RAID-контроллеры (интегрированные в чипсет или материнскую плату). При использовании аппаратных RAID-контроллеров настоятельно рекомендуется использовать плату с установленным аккумулятором, иначе высока вероятность краха RAID-массива. Не поддерживаются диски объёмом выше 2 ТБ.Сетевые адаптерыДва сетевых адаптераРекомендуются сетевые адаптеры, основанные на чипсетах 3Com, Broadcom, Intel или Realtek со скоростью 100/1000 Mбит/с.ДополнительноМонитор, клавиатураДля установки и работы Ideco UTM не требуются предустановленная ОС и дополнительное программное обеспечение. Ideco UTM устанавливается на выделенный сервер с загрузочного компакт-диска или USB-накопителя, при этом автоматически создаётся файловая система и устанавливаются все необходимые компоненты. Ниже в таблице представлены несколько типов конфигураций, которые зависят от количества пользователей. Таблица 2. Минимальные характеристики сервера для Ideco UTM 9 в зависимости от количества пользователей в сетиКоличество пользователей2550–200200–50010002000Модель процессораIntel Pentium Gold G5400 или совместимыйIntel i3 8100 или совместимыйIntel i5, i7, Xeon E3 от 3 ГГц или совместимыйIntel Xeon E3, E5 или совместимыйIntel Xeon E5 или совместимый 8-ядерныйОбъём оперативной памяти4 ГБ (рекомендуется 8 ГБ)8 ГБ16 ГБ16 ГБ32 ГБДисковая подсистема64 ГБ64 ГБHDD 500 ГБ либо SSD 256 ГБ2x1000 ГБ, аппаратный RAID либо SSD 1 ТБ2x1000 ГБ, аппаратный RAID либо SSD 1 ТБСетевые адаптерыДва сетевых адаптера Преимущества Ideco UTM 9 перед конкурентамиIdeco UTM имеет немало особенностей и отличий. Как было сказано выше, это — программное решение, поддерживаемое всеми гипервизорами, без привязки к конкретным аппаратным платформам. Благодаря этому можно разворачивать продукт как на собственных мощностях, так и в облаке.Настройка шлюза упрощена за счёт большей автоматизации процесса. Рисунок 8. Настройка контроля приложений Время внедрения системы в организации минимизировано благодаря интеграции с Active Directory, SIEM, DLP-системами, а также предпродажной (presale) поддержке от производителя решения. Рисунок 9. Настройка интеграции с Active Directory Рисунок 10. Настройка отправки отчётов в SIEM Рисунок 11. Настройка интеграции Ideco UTM с сервисами ICAP (DLP, антивирусы и т. д.) В Ideco UTM есть все модули глубокого анализа трафика, как в классических UTM- / NGFW-решениях, что позволяет предотвращать многие атаки на корпоративные ресурсы компании-покупателя.Одна из концепций «Айдеко» — использование опенсорс-продуктов в совокупности со своими разработками. Компания не скрывает факта использования программ с открытым исходным кодом: ядра Linux, Suricata, Nginx, Squid и других. «Айдеко» дорабатывает их и делится этими доработками с сообществом. Собственные разработки «Айдеко» касаются создания правил для определения и предотвращения атак.Отметим усовершенствованную систему справки — рядом с каждым пунктом меню веб-интерфейса продукта есть иконка, нажав на которую администратор перейдёт к соответствующему пункту документации. Рисунок 12. Иконка вызова документации Рисунок 13. Переход в документацию Быстрые релизы и постоянное развитие продукта — принцип «agile» в действии. Также отдельного упоминания заслуживают мгновенные ответы техподдержки по различным каналам коммуникации.Давайте рассмотрим последние два принципа чуть подробнее.Концепция постоянных обновлений Ideco UTM 9Компания «Айдеко» уделяет огромное внимание управлению изменениями своего продукта. С момента выхода 9-й версии в конце 2020 года выпущено уже 8 релизов. Средний интервал между ними составляет около 2 недель.Обновления касаются не только исправления выявленных ошибок, но и улучшения используемых модулей (например, в редакции от 19 марта обновлён модуль системы предотвращения вторжений Suricata до версии 6.0.2), а также ввода новой функциональности (в релизе от 5 февраля добавлены новые возможности, касающиеся учёта и отчётов по веб-трафику).Таким образом, компания заботится о том, чтобы решение было удобно для организаций и действительно работало так, как это нужно пользователям.Принцип «всегда на связи»Забота о клиентах проявляется не только в том, что компания регулярно обновляет свой продукт, но и в том, что она обеспечивает его поддержку и собирает обратную связь для выявления потребностей используя абсолютно разные каналы связи. Это — классическая почта и портал технической поддержки, многоканальный телефон, телеграм-бот и канал в Telegram, чат в веб-интерфейсе самого продукта. Также в чат и в телеграм-бот оперативно приходит информация о наличии новой версии Ideco UTM.ВыводыIdeco UTM 9 — это постоянно развивающееся отечественное решение, включившее в себя не только функциональную часть как таковую, но и современный подход к разработке и сопровождению продукта. С одной стороны, это IPS, межсетевой экран, почтовый релей и т. д., а с другой стороны — постоянная обратная связь с производителем решения, регулярные релизы и обновления.С каждой версией производитель всё больше заботится об администраторах с базовыми знаниями сетевых технологий, упрощая процесс настройки шлюза безопасности, структурируя веб-интерфейс и принудительно заставляя уходить от «пустых» паролей и паролей «по умолчанию», что важно для бюджетных организаций и компаний с маленьким штатом ИТ-сотрудников. Читать далее
×