Перейти к содержанию
wadora

Oпубликованы результаты тестов антивирусов on demand от kadets

Recommended Posts

wadora

Вот наткнулся на тест антивирусов on demand. Источник _kadets_info/showthread.php?t=79873

В качестве базы использованы файлы из архивов из темы. Тесты антивирусов за период с 22 февраля по 1 апреля 2011 года.

База содержит 1402 семпла.

Есть о чём подумать?!.... Только хотелось бы конструктивного обсуждения, а не отстаивания денег вендоров с углублением анализа теории влияния наклона лопаты на интеллект прохожего.

Тест_антивирусов_on_demand.jpg

post-5947-1304794501_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

ад-аваре, а-шампу и прочие - впереди планеты всей? :blink:

-----

P.S. правила форума разрешают публикацию ссылок на варез-порталы? :huh:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Doctor_Petrov
Только хотелось бы конструктивного обсуждения

зря вы здесь об этом спросили :) тут же сплошные вирусные эксперты и многоуважаемые гуру ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
safety_gate

да там в базу всякая щалупонь идет, адвары и прочее.И чистые файлы идут, которые многие детектят как вирусы.Вот вы например то что осталось просле проверки касперским, отправьте им в вирлаб.Я уверен что 90% будут чистые файлы.

вы эти сэмплы по годам разнесите, там от 2011 года и 300 не наберется, в основном мусор и старье

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wadora
зря вы здесь об этом спросили тут же сплошные вирусные эксперты и многоуважаемые гуру

А так хочется верить в доброе и светлое... :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wadora

Вижу, что к замечанию Doctor_Petrov надо прислушаться.

Мне казалось, что на данный сайт заходят не только специалисты, но и простые пользователи, которые хотят разобраться в некоторых аспектах компьютерной кухни. Если это сайт только для спецов, тогда запретите регистрацию, а не давайте снисходительные ответы в форме нравоучений взрослого ребёнку. Лучше растолкуйте почему данное тестирование является делитанством по пунктам:

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что………………

2.Данный метод примитевен, потому, что……………….

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
safety_gate

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что вирусы отсылались в вирлабы разных компаний, и у кого то преимущества есть (у доктора)

2.Данный метод примитевен, потому, что подборка вирусов слишком мала и в них встерчаются и адвары и чистые и наверняка вирусы 2000 года

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

если там есть чистые файлы ( а они там 100% есть) , то получается такая штука.Кто больше набил с чистыми - тот и победил в тесте.Это разве правильно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
shats

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

хотелось бы точнее узнать про набор программ, желательно бы еще самому посмотреть, если у кого есть ссылка на архив + пароль то попрошу в личку

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
safety_gate
Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

я понимаю неприятно, я вас понимаю.Но когда на вашем сайте ваш модератор обсирает тесты на ам, то это нормально?

как касперский выигрывает какой либо тест на ам, то ваш модератор говорит что этот тест гавно, что тест купленный и прочее.Так что не надо тут про мольбу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Зайцев Олег

В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

  • Upvote 30

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wadora
В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

Спасибо за конкретику!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

1. Олег вежлив

2. Пишет подробно и понятно

3. Пишет в одном посте и освещяет проблему с разных сторон, чтобы потом еще в 10 постах не объяснять чтоже он имел в виду.

4. У Олега авторитет

5. К Олегу нет ни у кого претензий: он тихонечко занимается своими разработками и никого не трогает: антивирусы не сравнивает, форум не модерирует (а когда и модерировал то кроме спамеров никого и не трогал).

Поэтому то, что говорит Олег не воспринимают "в штыки", хотя эту же инфу могли бы люди почерпнуть и из других сообщений на этом форуме...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михуил

:) а я учавствовал в этом тесте. В таблице результаты есть 2 моих результата. Но кроме них прогонял ещё 5 продуктов, результаты совпали с выложенными в таблице.

Спасибо Олегу Зайцеву за его коммент. Подробно и четко показал минусы любительского тестирования, не унижая простых любителей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
MORDRED

Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Регион-56

Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте, у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта. Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их. У меня на этот счет сомнения, как в тестах так и в их результате. Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того. Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

зря вы здесь об этом спросили :) тут же сплошные вирусные эксперты и многоуважаемые гуру ;)

Согласен с Вами.

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

С Вами также согласен, отчасти со стороны выглядит именно так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте,

Отбор тестеров осуществляется администрацией портала из числа лиц, имеющих профессиональный опыт и/или определенные практические навыки. Что в этом плохого?

у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта.

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их.

Это делается в том числе и для того, чтобы не нарушать уголовное законодательство.

У меня на этот счет сомнения, как в тестах так и в их результате.

Сомнения могут возникать и не только у Вас, это нормальное явление, но это не может служить поводом для нарушения закона. Перечень зловредов обычно приводится - если Вам нужно, Вы можете их поискать сами. АМ не будет Вам оказывать в этом помощь, по крайней мере портал, насколько я помню, никогда не оказывал такую помощь участникам форума.

Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того.

О профессионализме читай выше. К проведению тестовых исследований лица не имеющие опыта и специальных навыков, как правило, не допускаются

Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

P.S. Изложенное выше не является официальной позицией портала. Я выразил свое личное понимание, основанное на той информации, которой располагаю и поэтому могу ошибаться в некоторых "деталях".

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.
Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Что тут комментировать, кроме странных истерик от недостатка внимания ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Регион-56
Отбор тестеров осуществляется администрацией портала из числа лиц имеющих профессиональный опыт. Что в этом плохого?

Плохого ничего нет, обычно опыт приходит с годами, а вашему тестеру одному из которых всего 16 лет, в эти года имеет месту быть профессионализм? А отбор на звание тестера, как осуществляется? поиском по всем сайтам в которых идет обсуждение тем связанных с тестами и вендорами, или отбор идет в узких кругах? Об этом охото по подробней узнать. Я лично не видел тем на anti-malware.ru в которых требовались тестеры

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Тоесть из Ваших слов следует, что люди сами делают объекты для тестов, и эти самые люди имеют авторские права на эти объекты? нет? на мой взгляд нужно оталкиваться от реальных угроз, которые находятся в сети, а не делать самим тестовые утилиты итд, для проведения тестов.

Если я к примеру начну свое тестирование, люди также будут просить утилиты и прочие тузлы и зловреды, на которых я производил тест, и у людей так же будет не доверие к моим тестам, если я не выложу в свободный доступ, свои материалы по которому производился тест. тут палка о двух концах.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

Я лишь в основном наблюдаю легкий троллинг со стороны экспертов в разных темах, но не в темах обсуждаемых результатов других тестированиях. Тут вроде как форум не для троллинга, Вам не кажется? Если есть тема касаемо тестов, то их можно обсудить, и делая на основе обсуждения выводы о профессионализме данного теста. Или свет клином сошелся на тестах anti-malware.ru?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Регион-56
Что тут комментировать, кроме странных истерик от недостатка внимания ?

Ну к примеру почему Касперский в данном тесте занимает 16 место

http://www.anti-malware.ru/forum/index.php...ost&id=6414

А по тестам anti-malware.ru Касперский на первых местах.

Вам не интерессно узнать почему касперский в данном тесте на 16 месте? Или для Вас важней что Касперский на первом месте в тестах anti-malware.ru?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K

Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал: :facepalm::facepalm::facepalm:

Снимок_2011_05_08_18_30_01.png

post-4500-1304965031_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Регион-56
Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито тестирования признал:

Да я спокоен как слон после клизмы.

Я рампанта уважаю, хорошие ролики и познавательные делает, бывают ошибки, но человек старается как ни как, и это ему +.

Просто народ у нас ушлый пошел, не замечают того что делают другие, и по своему имхо, стараются втоптать в грязь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
han2er
успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал

Ну да только он постеснялся продолжать ... оно не стоит того чтобы метать бисер... и кстати он не предводительствовал над эти тестом, уж извините)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гость
Эта тема закрыта для публикации ответов.

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×