Почему тесты Comodo дают разные результаты у разных пользователей? - Общий форум по информационной безопасности - Форумы Anti-Malware.ru Перейти к содержанию
Burbulator

Почему тесты Comodo дают разные результаты у разных пользователей?

Recommended Posts

Burbulator

Добрый день,

Хотелось бы разобраться в следующей проблеме:

итак, вчера на официальном форуме касперского развернулось небольшое обсуждение/сравнение KIS и NIS http://forum.kaspersky.com/index.php?showtopic=131857 . Постепенно участники перешли к тестам сравнению данных продуктов (KIS 2010 vs NIS 2009) с использованием Comodo Leak Test. В одном месте меня смутило, что у разных участников в отношении NIS 2009 показывались несколько разные результаты (тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088096 и тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088078 ). Поэтому сегодня была предпринята попытка повторить самому данные эксперименты. В vmware была установлена XP SP3 со всеми обновлениями, доступными на момент теста. Далее, система проверялась с KIS2010 и NIS2009, обе программы обновлялись до последних баз, патчей. Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

А теперь я хочу понять:

1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке, поэтому результаты у разных экспериментаторов разные? (но почему тогда их используют для сравнения продуктов?)

2. Я делаю что-то не так? (но почему и у других разнятся результаты?)

3. "Верить никому нельзя"? :)

Чувствую подвох, а где он – понять не могу :)

comodo_kis.JPG

comodo_nis.JPG

post-4068-1252668349_thumb.jpg

post-4068-1252668360_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov

Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

спасибо, ознакомлюсь

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Да и на форуме касперского тестировали 2009, а мне хотелось повторить результаты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке

Тесты Комодо, конечно, по большому счету - ерунда, но никакой "генерации результатов в случайном порядке" там нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov
быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Norton Internet Security 2010 30-Day Trialware

Norton AntiVirus 2010 30-Day Trialware

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium
Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

Можно я отвечу? :)

Дело в том, что на форуме ЛК я приводил скрины тестов функционала продукта с МАКСИМАЛЬНЫМИ НАСТРОЙКАМИ. То есть, настраивал продукт KIS на интерактивный режим, с настройками под себя, затем настроил NIS таким же образом, с максимальными настройками и с вроде как ручным режимом принятия решения. И в результате NIS набрал 110 баллов вместо 40, провалив критичные тесты с драйверами, а KIS 320 баллов вместо 30, не провалив критичные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Motley

Ummitium, я прошу прощения, если эта просьба некорректна, но можно взглянуть на эти настройки КИС в виде cfg- файла? Можно в личку :) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium

Файл конфигурации я вам дать не могу, потому что вместе с ним прийдут настройки правил для моих программ...

Вот ссылка на скрин настройки прав Слабых ограничений в настройке Контроля программ (Главное окно КИС - Контроль программ - Настройка правил, выделите Слабые ограничения и нажмите "Изменить"), выставьте там везде запрос действия. Также включите Интерактивный (ручной) режим принятия решения (Главное окно КИС - Защита, далее снимите галочку с Выбирать действие автоматически), потому что в автоматическом режиме все запросы действия автоматически разрешаются.

И запускайте тесты и тесте :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Небольшое уточнение, "выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463 (B) проваливает два теста c итогом 320 из 340 (там просто нет тех опций). А автоматическом режиме результат 190 из 340. Без антивируса вообще, результат тоже 190 в Microsoft Windows Vista Home Premium Edition, 64-bit Service Pack 2 (build 6002). :D

А то что "тестыфигня" у тех кто их проваливает это уже аксиома. =) И даже уточнить с технической стороны это заявление не у кого, опять маркетологи насуют полный род рекламных pdf-ок. =D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
"выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463

как вы думаете, какие решения будут принимать обычные пользователи при получении сообщения: Программа IEXPLORER.EXE без цифровой подписи пытается получить доступ к хранилищу паролей и 4 варианта действия: Разрешить, запретить, добавить в доверенные, запретить навсегда ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Да мне глубоко безразлично на них, я берегу только свой зад и KIS мне его прикрывает. Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Просто знаете, когда говорят что ГУИ сделали для "простых пользователей", а на самом деле "простые пользователи" чрезвычайно редко с ним работают, то это уже бред.:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
trox

Интересный тест. Я пользуюсь старым файрволлом Comodo еще 2008 года выпуска. Решил его протестировать.

В общем, результаты следующие:

1) Firewall Security - custom policy, Defence -отключен - 80 из 340 . Что не удивительно, большинство уязвимостей включают установку драйверов.

2)Firewall Security - custom policy, Defence - пробовал 2 режима Safe Mode/Paranoid - 300 из 340.

Достаточно неплохо. Но гложет немного, что тесты писались самим Comodo=) Но у matousec комодо также неплохо выглядит, поэтому считаю тест достаточно честным =)

з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777
з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Ей-богу, у "других вендоров" одна забота - как "раскусить" тесты Comodo, в которых минимум 2 до сих пор являются тестами, реагирующими на возврат предопределенного значения параметра, которое отдает этот продукт? Знайте - все, кто на них обратил внимание, уже проходят с неплохим результатом. Хоть и не со 100%-ным.

А от Eset ждать тестов фаервола... :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ИИ — полезная штука, но, к сожалению, бесплатные версии, как тот же Google Gemini Flash, тупенькие на уровне 12b моделей, делают колоссальное число ошибок по мелочам. Яблочко от яблони... Мало того, "новое" у них обычно старое с отставанием на год, и это в лучшем случае. Я сейчас как раз занимаюсь новой, уже 3-й версией своего "Клавиатурного помощника". В нём будет поддержка локального ИИ, горячих ИИ-клавиш, голосовых команд, голосового ввода и вспомогательной LLM для переводов, правки текста и т.п. Именно локального ИИ без необходимости обращения в сеть и сопутствующих утечек данных И это не для старого железа — нужно как минимум много памяти и современный процессор, в идеале хотя бы RTX 5060 Ti 16 ГБ в качестве ускорителя. А результат, ну, такой себе. ИИ слишком склонен ошибаться, и доверять ему что-то серьёзное пока не стоит, даже код пишет, который как-то работает, но в нём масса мелких и незаметных ошибок и уязвимостей. 
      Текст исправлен с помощью Google Gemma 4 E4B. 
    • PR55.RP55
      Вы сказали: "Найди все новые ключи которые появились 2026 г. и ранее не использовались... Можешь ?"
      *Да, я могу помочь* составить список новых ключей реестра и путей
      автозагрузки, которые вредоносное ПО использует в текущих кампаниях
      (включая модификации 2026 года), маскируясь под легальные системные
      компоненты. ( скопирую частично) :   * *|HKLM\SOFTWARE\Classes\Protocols\Filter|* и *|\Handler|* — новые
          модификации Adware перехватывают протоколы edge:// или msproedg://
          для подмены поисковой выдачи.   * *|HKCU\Software\Microsoft\Windows\CurrentVersion\Lxss|* —
          использование подсистемы WSL для скрытого автозапуска
          Linux-ориентированных рекламных модулей, незаметных для стандартных
          триггеров автозагрузки Windows. Современные зловреды (особенно Adware и майнеры) научились прописываться
      в тихий автозапуск без создания классических ключей |Run| или
      |Services|. Они используют встроенный механизм Windows 10/11 —
      *псевдонимы выполнения приложений*.   * *Суть*: В реестре создается связь в ветке
          |HKCU\Software\Microsoft\Windows\CurrentVersion\App Paths| или через
          механизм |AppXPackage|. Зловред подменяет вызов легальной команды
          (например, при наборе пользователем |notepad| или |calc| в строке
          «Выполнить») и запускает свое тело.
        * *Что добавить в памятку*: Обращать внимание на появление кастомных
          записей в блоке «Псевдонимы приложений» и проверять, куда
          перенаправляются стандартные системные вызовы. 2. Подмена через каталоги |Lxss| (WSL — Windows Subsystem for Linux)
      Это одна из самых опасных современных тенденций, так как многие
      антивирусы до сих пор слабо сканируют Linux-среду внутри Windows.   * *Суть*: Майнеры и стилеры прописывают свой запуск внутри
          дистрибутива WSL (ключ реестра
          |HKCU\Software\Microsoft\Windows\CurrentVersion\Lxss|). При старте
          Windows запускается скрытая фоновая сессия WSL, которая активирует
          ELF-бинарник (Linux-вирус). В логах автозапуска Windows это выглядит
          как легальный старт службы |wsl.exe|, но с хитрыми аргументами.
        * *Что добавить в памятку*: Формула «А+В+С»: если |wsl.exe|
          запускается автоматически с флагами |-d| (конкретный дистрибутив)
          или скрытыми bash-скриптами — это 100% повод для изоляции и проверки
          содержимого виртуального диска VHDX. 3. Продвинутый Timestomping с подделкой под апдейты ОС
      Раньше вирусописатели просто копировали даты у соседних файлов
      (|kernel32.dll| и т.д.). Теперь они действуют умнее:   * *Суть*: Дата создания файла выставляется ровно на день/час крупного
          официального обновления Windows (например, подстраиваются под график
          Patch Tuesday от Microsoft). Аналитик смотрит на лог uVS, видит дату
          (например, |14.10.2025|) и думает: «А, ну это тогда накопительный
          апдейт прилетел, файл чистый».
        * *Что добавить в памятку*: Правило проверки контрольных сумм. Не
          верить датам, даже если они идеально совпадают со временем
          системного обновления. Если у файла из папки |System32| с
          «правильной» датой обновления отсутствует валидная ЭЦП (или статус
          |Цифр. подпись: НЕТ|) — это критический триггер. 4. Атаки типа Living off the Land (LotL) через новые системные утилиты
      Вместо использования заезженных |powershell.exe| или |cmd.exe|, которые
      сейчас жестко блокируются любым EDR/антивирусом, малварь перешла на
      легальные, но редкие утилиты Windows (LOLBins).   * *Суть*: Для скачивания и запуска вредоносного кода используются
          системные компоненты:
            o |curl.exe| (теперь встроен в Windows) — для скрытой загрузки
              полезной нагрузки.
            o |tar.exe| — для распаковки зашифрованных архивов со стилерами
              прямо «на лету».
            o |winget.exe| (Windows Package Manager) — для скачивания
              вредоносных утилит из легальных репозиториев.
        * *Что добавить в памятку*: В uVS нужно тщательно анализировать
          параметры запуска командной строки в Планировщике задач (|TASKS|),
          если там фигурируют |curl|, |tar| или |bitsadmin|, качающие что-то с
          внешних IP-адресов. 6. Скрытые модификации через COM-объекты (COM Hijacking без изменения
      файлов)
      Вместо перезаписи файлов в |System32| или создания явных ключей |Run|,
      малварь перехватывает легальные системные интерфейсы через реестр.   * *Суть*: Зловред прописывает путь к своей вредоносной DLL в ветку
          *|HKCU\Software\Classes\CLSID\{GUID}\InprocServer32|*. При этом
          берется GUID легального и часто используемого компонента Windows
          (например, Проводника, контекстного меню или планировщика). Как
          только система или пользователь совершает обычное действие
          (открывает папку, кликает правой кнопкой мыши), Windows
          автоматически подгружает вредоносную DLL.
        * *Что добавить в памятку*: В uVS такие объекты часто попадают в
          категорию «Подозрительные CLSID» или скрытые расширения оболочки.
          Если в ветке |HKCU| (пользовательский уровень) переопределяется
          системный GUID, который по умолчанию должен жить только в |HKLM|
          (уровень системы) — это явный признак перехвата. 7. Спуфинг цифровой подписи через уязвимости каталогов (Catalog Signing
      Spoofing)
      Малварь научилась обходить базовую проверку подписей, из-за чего в логах
      некоторых утилит файл может ошибочно помечаться как «Подписан Microsoft».   * *Суть*: Используются уязвимости в механизме проверки файлов через
          каталоги безопасности Windows (|.cat| файлы). Вредоносный бинарник
          модифицируется таким образом, что его хэш совпадает с хэшем
          легального файла в базе данных каталогов (используются коллизии или
          специфические уязвимости парсинга).
        * *Что добавить в памятку*: Правило двойной проверки. Если файл
          находится в нетипичном месте (например,
          |C:\Users\...\Temp\svchost.exe|), но uVS или ОС рапортует, что у
          него «Валидная подпись Microsoft» — необходимо принудительно
          отправлять хэш файла на VirusTotal через встроенную функцию uVS или
          проверять подпись сторонними утилитами (например, |Sigcheck| от
          Sysinternals) с проверкой отзывов сертификатов. 8. Эксплуатация механизма «Служб доставки обновлений» браузеров
      (Edge/Chrome Maintenance)
      Рекламное ПО (Adware) и кликеры ушли от создания собственных явных служб
      и теперь паразитируют на легальных планировщиках браузеров.   * *Суть*: Вредоносный скрипт не создает новую задачу в Планировщике.
          Вместо этого он модифицирует параметры /уже существующей/ легальной
          задачи, например, |MicrosoftEdgeUpdateTaskMachineCore|. В
          оригинальную команду дописывается скрытый аргумент
          (аргумент-паразит), который раз в сутки скачивает или запускает
          рекламный модуль. Аналитик видит знакомое имя задачи Edge, видит
          легальный путь к апдейтеру и пропускает её.
        * *Что добавить в памятку*: При анализе задач Планировщика (|TASKS|) в
          uVS нужно смотреть не только на имя файла, но и *полностью
          разворачивать строку аргументов*. Любые добавленные URL-адреса,
          вызовы |cmd /c|, или сторонние пути в параметрах легальных служб
          обновления — это стопроцентный признак компрометации. 10. Фейковые системные переменные в путях автозапуска
      Обман визуального восприятия аналитика через манипуляцию переменными среды.   * *Суть*: В реестре или планировщике путь к файлу прописывается как
          |%SystemRoot%\System32\drivers\malware.sys|. Но перед этим на уровне
          пользователя (|HKCU\Environment|) создается кастомная переменная
          |%SystemRoot%|, которая указывает вовсе не на |C:\Windows|, а на
          |C:\Users\Public\Documents|. В итоге аналитик глазами видит
          «безопасный» системный путь, а система при загрузке идет в скрытую
          пользовательскую папку.
        * *Что добавить в памятку*: Всегда проверять блок «Переменные
          окружения» в начале лога uVS. Любые попытки переопределить
          стандартные переменные вроде |%SystemRoot%|, |%WinDir%| или
          |%ProgramFiles%| на уровне текущего пользователя — это критическая
          угроза.
    • PR55.RP55
      Сейчас дал ИИ задание напиши скрипт и... Вот:  ( взял Инфо. из одного из старых образов) Скрипт лечения для uVS Чтобы полностью удалить эту службу, связанные с ней файлы и очистить ссылки в реестре, выполните следующий скрипт: text ; uVS v4.15.1 [Script] ; Target OS: Windows ; Удаление вредоносной службы и основного файла апдейтера delref %Network%\C:\PROGRAM FILES (X86)\YONTOO\Y2DESKTOP.UPDATER.EXE ; Удаление исполняемого файла в AppData, вызываемого через параметры службы delref %AppData%\YONTOO\YONTOODESKTOP.EXE ; Принудительное удаление самой службы из реестра delsrv Yontoo Desktop Updater ; Очистка остаточных путей и каталогов Yontoo deldir C:\Program Files (x86)\Yontoo deldir C:\Users\cappu44ino\AppData\Roaming\Yontoo ; Перезагрузка для применения изменений restart --------- Я сильно не увлекался - так для примера.  
    • PR55.RP55
      santy Модели ИИ ( я делал запрос к google ) - есть возможность задать вопрос ( дать задание ) по заранее выбранным настройкам: настройки: yaml [SYSTEM_OVERRIDE] ---------- Код он сам себе напишет :)  Главное задать нужные вопросы и потом попросить\ сохранить настройки в виде кода ) Единственно - не все ИХ модели нормально работают. Результаты тоже нужно проверять... Например:  получить Резюме... По записи - ( как в моём примере в Новые функции ) С заранее заданными параметрами - что нам нужно.  Это и для обучения и для экономии времени и когда оператор устал, для написания отчёта - по работе на семинар, при обсуждении на форуме, анализ новых угроз или появился новый ключ автозапуска; там где есть сомнение - что это... Построить цепочку - чтобы увидеть механику процесса\заражения. Увидеть аномалии - как то, что браузер "подписан" но это ЭЦП не головного офиса - а ЭЦП - пусть и "легитимное" - но смежников.  Аномалии пути; размера; схожесть имени и т.д. Никакие настройки uVS этого не дадут.  Можно увидеть никогда ранее неиспользуемый ключ запуска ( или его нестандартное применение ).  Если железо современное - то возможно? - локальные модели ИИ. Можно попробовать например дать задание: Найди все новые ключи которые появились 2026 г. и ранее не использовались...  
    • santy
      Как гипотетические варианты действий: ---------------------- - получить детальную расшифровку выбранного антивирусного детекта по результату проверки файла на VT из экрана ИНФО. Здесь я бы обратил внимание на три основных детекта: у Kaspersky, DrWeb, ESET, возможно + Microsoft. - получить расшифровку по цифровой подписи файла, насколько известна, и надежна. -  может стоит продумать свою классификацию детектов, и потом уже на основании данной классификации находить другие примеры/способы запуска и т.п.
×