Перейти к содержанию
Сергей Ильин

Мини-тест: Иной взгляд на проактивность

Recommended Posts

Сергей Ильин

Очень много сейчас говорится про проактивность, умение антивирусов противостоять еще неизвестным видам угроз. При этом каждый вендор тянет одеяло на себя, умело манипулируя этим понятием, вкладывая в его суть удобное для себя.

Сотрясающая воздух информация:

1. Ежедневные/ежечасные обновления необходимы.

2. Качественный эвристик - альтератива частому обновления баз.

3. Скорость реакции на новые угрозы - вот, что действительно важно.

Эти утверждения, кажется, уже твердо засели в мозг всем. Естественно, я не мог пройти мимо этих вопросов, не взглянув на них с исследовательской точки зрения.

В результате я провел небольшой тест. Заморозил базы антивирусов на неделю. Собрал из различный источников ITW коллекцию вредоносных программ, прочем только тех, которые поступили именно в эту неделю. В ней с учетом отброса повторов оказалось 1120 уникальных семплов.

Сразу хочу пояснить, что в эти 1120 попали, естественно как совсем новый самплы, так и те, который появились чуть раньше. Но все они ITW, ходили в природе именно в эту неделю и были реально опасны для пользователей.

В конце недели я прогнал по этой коллекции все антивирусы с замороженными базами. Моделировалась ситуация при которой апдейты выходят не часто или пользователь по какой-то причине их забыл/не смог/не захотел обновить.

Результаты оказались несколько неожиданными для меня (см. рисунок ниже).

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

Какие напрашиваются выводы? У меня лично самые банальные:

1. Без ежедневных апдейтов никуда

2. Важность и возможности эвристиков явно преувеличена.

Постараюсь в ближашее время к этому графику сделать надстройку от работы HIPS'ов.

detection_rate.gif

post-4-1193343414.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

так вроде бы общий детект он смотрел, так что все учитывалось как я понял

Сергей Ильин

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Да, .origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

AntiVir PersonalEdition Premium 7

AVG Anti-Virus 7.5

Больше всего удивил провал "самых проактивных" - Eset и Panda Security.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Дык Панда вроде только кейгены и кряки своей проактивкой ловит (личные наблюдения проверок на вирустотале :) ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr Limpopo
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Их проактивка не есть ли термин департамента маркетинга этих компаний, и не более того?

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Чисто эвристических детектов типа Heur.* было 110.

Для сравнения у Eset детектов типа "probably a variant of .." и "probably unknown NewHeur_PE virus" было 367, но общий детект, к сожалению, хорошая эвристика не спасла.

Добавлено спустя 1 минуту 47 секунд:

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Согласен. Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Итого:

KAV: Чисто эвристических детектов типа Heur.* было 110.

DrWeb: origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Тест очень показательный, потому как в моей конторе у админов распространено такое мнение, что достаточно обновлять антивирус хотя бы раз в неделю. В настройках на рабочих компьютерах стоит - обновляться раз в сутки. С чем я категорически не согласен, очень неплохо было бы обновлять базы хотя бы два раза в день.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно

Интересно, конечно, делать надо.

Но вот 88% недельных как-то не совпадают с моими личными ощущениями. Процентов 70-75,не больше, меня бы успокоили.:)

Да и 69% аваста и 73% avg как-то многовато.

А как собирались файлы, какие настройки сканеров были?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

"Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно...."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов. :roll:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Для того, чтобы было понятней, может быть у каждого антивируса должно быть две колонки с результатом? Одна - это детект со свежей базой, вторая - с базой недельной давности. Так будет сразу понятно, чем опознал антивирус - сигнатурами или эвристиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Так будет сразу понятно, чем был опознан антивирус - сигнатурами или эвристиком.

Хорошая идея, в следующий раз так и сделаем. Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
"А мужики-то не знают..."

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

и кстати - причем тут Outpost ? Тестируются антивирусы, а про VirusBuster Сергей уже сказал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit
Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.
А как собирались файлы, какие настройки сканеров были?

Как я понял, данный тест проводился не для того, чтобы сравнить, кто круче в проактивке, а чтобы на примере нескольких популярных АВ посмотреть (и показать), так ли сильны имеющиеся в наст. время методы проактивной защиты. Что Сергей и сделал. (+100) :)

А соревнование АВ по проактивке - тема отдельного теста. Там, конечно будут важны все подробности и представление большего числа участников.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Виталий Я.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов.

По части выводов насчёт OSS - я согласен с Ильиным, это ещё очень сырой продукт, антивирус в нём действительно очень слабый. Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

лично мое ощущение - что вся первая российская пятерка _домашних_пиратских_ антивирусов представлена. Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

Symantec я не выкидывал, также как и McAfee c Trend Micro. Куда без грандов то? Скоро выложу данные и по ним.

Откровенно говоря, Agnitum до Symantec далековато, не в обиду им будет сказано. Разные так сказать весовые категории.

Добавлено спустя 10 минут 7 секунд:

А как собирались файлы, какие настройки сканеров были?

Файлы собрались, как я писал из различных источников совсем, с обменников типа нашего, с некоторых корп. шлюзов.

Так как сканирование шло по требованию, то настройки закручивались на максимум. Эвристика включалась само собой.

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

DWState, я ведь первоначально сделал развивку по некоторым вендорам, но в соседней ветке меня убедили, что это не совсем корректо все и ни о чем не говорит. Поэтому я привожу тут только суммарный детект. Если очень хочется, то потом могу привести разбиву по типам вердиктов в качестве "deep draft analysis".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Да симантека добавить и будет вполне полная картина

Сергей Ильин, да включите вы блин этот OSS в следующий раз, ну не чистое он антивирусное решение, ну ничего - будет в качестве так сказать бонуса, чтоб вопросы снять.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

Четно говоря, были такие мотивы :) Но раз люди просят, придется видимо выложить результаты ...

Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Ок, поставлю на вируталку, в след. раз будут данные и по ним. Но я почемуто не думаю, что это в интересах Виталия Я. и Agnitum :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • AprilNox
      Has anybody used CBD before? I am very keen to get some CBD Honey Sticks for coughing. Can someone recommend a good brand? I'm presently contemplating JustCBD and Goldleaf Spektrum. Many thanks
    • Ego Dekker
      Антивирусы для macOS были обновлены до версии 6.10.700.
    • ForetFR
      CLIMB Hearsay from Earth - https://mebonus.ru
      Google №Wet

      Palestinians scoot as Israel bombards haunts from style, swell and sod!!!

      Google Hearsay

      People in Gaza fled their homes carrying crying children and valued possessions as Israeli forces pounded the vicinage from aura, adrift and land on Friday.
      The escalating controversy triggered furious protests in the occupied West Bank, where seven Palestinians were killed by way of Israeli army fire, and moreover fury between Arabs and Jews in Israel.
      Hamas praised the clashes between stone-throwing youths and Israeli soldiers in the West Bank grevorgАЛИdVhower , m‚tier on Palestinians to “set the ground ablaze under the feet of the rule”.
      Google RUMOUR - Wet
      In a meritorious escalation in the worst bout of fighting between Israel and Hamas looking for seven years, oppressive artillery fire was aimed at what the Israeli military said was a hefty network of fighter tunnels. Dozens of Hamas operatives were killed in the strikes, the Israel Apologia Forces (IDF) said.
      Palestinian protesters burn tyres and throw stones at Israeli forces in the West Bank community of Nablus

      There was gallimaufry overnight after the IDF corrected an earlier communiqu‚ saying that base troops were “currently attacking in the Gaza Strip”. A blemished proclamation clarified that there was no excuse sediment aggression, but artillery and tank vivacity from the border. “Clarification: there are currently no IDF establish troops reversed the Gaza Strip. IDF current and area forces are carrying out strikes on targets in the Gaza Strip,” it said.
      What is the current Israel-Gaza turning-point far and where is it heading?
      Deliver assign to more - GOOD COPY - in cak

      Analysts suggested it was a purposeful ploy intended to onwards elder Hamas figures to split for into a network of hidden tunnels known as “the metro”. Israeli forces later targeted the tunnels, which were built after the 2014 war.
      An IDF asseveration said 160 aircraft had “struck over 150 subterranean targets in the northern Gaza Shed one's clothes” overnight. Israel’s forces destroyed “many kilometres” of the tunnels during the assail, it claimed.
      A multi-storey building casing a bank affiliated with Hamas was destroyed, and weapons opus and naval sites were also smash, it said.

      Palestinians living in areas closed to the Gaza-Israel frieze fled their homes in pickup trucks, on donkeys and on foot. Some went to UN-run schools in Gaza Urban district, carrying small children, household essentials and food.
      Hedaia Maarouf, who left-wing her serene with her extended kinfolk of 19 people, including 13 children, said: “We were terrified instead of our children, who were screaming and shaking.”
      A Palestinian kindred flees their home in Beit Lahya in the northern Gaza Strip?
      In northern Gaza, Rafat Tanani, his having a bun in the oven strife and four children were killed after an Israeli warplane reduced a building to rubble, residents said.
      Bill - Matt Gaetz associate pleads contrite to sexual congress trafficking crimes – US manipulation animate Bouts

      The death chime in Gaza rose to over and above 120, with a dressy increase in the number of people injured in the overnight onslaught, according to the Gaza health ministry. At least 31 children bear been killed.
      Hospitals that were already struggling to wine patients with Covid received an influx of people with shrapnel wounds and other injuries. Some needed amputations. “All I can do is beseech,” said one hospital director.
      The UN said more than 200 homes and 24 schools in Gaza had been destroyed or severely damaged in Israeli bearing raids in the lifestyle five days. It also said residents’ access to inexperienced spa water could be limited because of power cuts and harm to pipe networks.
      Increased power blackouts are expected as nuclear fuel supplies off low. Most families already exclusively have power in regard to four or five hours a daylight, and hospitals are stiff to rely on generators.

      Hamas and other militant groups continued to fusillade rockets into Israel, where example sirens sounded in towns and communities. The Israeli military said it had intercepted at least five drones carrying explosives launched from Gaza since Thursday.
      Read more Scandal - HEARSAY - in Wet

      Statistic Tidings Front-page news
      http://mebonus.ru - Front-page news of Googles
    • кустомер
      Всем здравствуйте. СРАЗУ оговорка:
      Кнопка "Создать новую тему" только на главной странице форума.
      В выпадающем её меню НЕактивны абсолютно все разделы кроме этого.
      Тему разместить хотелось-бы в другом разделе.
      Ответ на тот вопрос ― наверное поэтому.
      Собственно по делу -
      У кого из считающих себя "мастером_своего_дела" могло-бы появиться желание
      подумать и высказать своё предположение метода проникновения файла сценария
      с печеньями (cookies) после того, как весь IP-диапазон адреса хранения файла
      был заблокирован в настройках Outpost, отлично справляющегося по сей день
      с блокировкой ЛЮБЫХ других (кроме этого) IP-диапазонов? Адрес(имя) файла:
      https://mc.yandex.ru/metrika/watch.js Outpost навскидку можно сравнить с другими продуктами защиты - там.

      Вопросы типа "а-зачем-вам-это-надо" будут
      расценены как флуд, отвлекающий от темы. (уважаэмым модераторам)
      Тема относится к способу проникновения этой заразы, а не к конкретному продукту защиты.
    • demkd
      на него уже давно не реагируют они сейчас самый опасный report_crash что дампы отправляет  
×