wadora

Oпубликованы результаты тестов антивирусов on demand от kadets

В этой теме 45 сообщений

Вот наткнулся на тест антивирусов on demand. Источник _kadets_info/showthread.php?t=79873

В качестве базы использованы файлы из архивов из темы. Тесты антивирусов за период с 22 февраля по 1 апреля 2011 года.

База содержит 1402 семпла.

Есть о чём подумать?!.... Только хотелось бы конструктивного обсуждения, а не отстаивания денег вендоров с углублением анализа теории влияния наклона лопаты на интеллект прохожего.

Тест_антивирусов_on_demand.jpg

post-5947-1304794501_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ад-аваре, а-шампу и прочие - впереди планеты всей? :blink:

-----

P.S. правила форума разрешают публикацию ссылок на варез-порталы? :huh:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Только хотелось бы конструктивного обсуждения

зря вы здесь об этом спросили :) тут же сплошные вирусные эксперты и многоуважаемые гуру ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

да там в базу всякая щалупонь идет, адвары и прочее.И чистые файлы идут, которые многие детектят как вирусы.Вот вы например то что осталось просле проверки касперским, отправьте им в вирлаб.Я уверен что 90% будут чистые файлы.

вы эти сэмплы по годам разнесите, там от 2011 года и 300 не наберется, в основном мусор и старье

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
зря вы здесь об этом спросили тут же сплошные вирусные эксперты и многоуважаемые гуру

А так хочется верить в доброе и светлое... :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вижу, что к замечанию Doctor_Petrov надо прислушаться.

Мне казалось, что на данный сайт заходят не только специалисты, но и простые пользователи, которые хотят разобраться в некоторых аспектах компьютерной кухни. Если это сайт только для спецов, тогда запретите регистрацию, а не давайте снисходительные ответы в форме нравоучений взрослого ребёнку. Лучше растолкуйте почему данное тестирование является делитанством по пунктам:

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что………………

2.Данный метод примитевен, потому, что……………….

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что вирусы отсылались в вирлабы разных компаний, и у кого то преимущества есть (у доктора)

2.Данный метод примитевен, потому, что подборка вирусов слишком мала и в них встерчаются и адвары и чистые и наверняка вирусы 2000 года

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

если там есть чистые файлы ( а они там 100% есть) , то получается такая штука.Кто больше набил с чистыми - тот и победил в тесте.Это разве правильно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

хотелось бы точнее узнать про набор программ, желательно бы еще самому посмотреть, если у кого есть ссылка на архив + пароль то попрошу в личку

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

я понимаю неприятно, я вас понимаю.Но когда на вашем сайте ваш модератор обсирает тесты на ам, то это нормально?

как касперский выигрывает какой либо тест на ам, то ваш модератор говорит что этот тест гавно, что тест купленный и прочее.Так что не надо тут про мольбу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

  • Upvote 30

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

Спасибо за конкретику!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1. Олег вежлив

2. Пишет подробно и понятно

3. Пишет в одном посте и освещяет проблему с разных сторон, чтобы потом еще в 10 постах не объяснять чтоже он имел в виду.

4. У Олега авторитет

5. К Олегу нет ни у кого претензий: он тихонечко занимается своими разработками и никого не трогает: антивирусы не сравнивает, форум не модерирует (а когда и модерировал то кроме спамеров никого и не трогал).

Поэтому то, что говорит Олег не воспринимают "в штыки", хотя эту же инфу могли бы люди почерпнуть и из других сообщений на этом форуме...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

:) а я учавствовал в этом тесте. В таблице результаты есть 2 моих результата. Но кроме них прогонял ещё 5 продуктов, результаты совпали с выложенными в таблице.

Спасибо Олегу Зайцеву за его коммент. Подробно и четко показал минусы любительского тестирования, не унижая простых любителей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте, у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта. Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их. У меня на этот счет сомнения, как в тестах так и в их результате. Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того. Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

зря вы здесь об этом спросили :) тут же сплошные вирусные эксперты и многоуважаемые гуру ;)

Согласен с Вами.

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

С Вами также согласен, отчасти со стороны выглядит именно так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте,

Отбор тестеров осуществляется администрацией портала из числа лиц, имеющих профессиональный опыт и/или определенные практические навыки. Что в этом плохого?

у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта.

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их.

Это делается в том числе и для того, чтобы не нарушать уголовное законодательство.

У меня на этот счет сомнения, как в тестах так и в их результате.

Сомнения могут возникать и не только у Вас, это нормальное явление, но это не может служить поводом для нарушения закона. Перечень зловредов обычно приводится - если Вам нужно, Вы можете их поискать сами. АМ не будет Вам оказывать в этом помощь, по крайней мере портал, насколько я помню, никогда не оказывал такую помощь участникам форума.

Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того.

О профессионализме читай выше. К проведению тестовых исследований лица не имеющие опыта и специальных навыков, как правило, не допускаются

Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

P.S. Изложенное выше не является официальной позицией портала. Я выразил свое личное понимание, основанное на той информации, которой располагаю и поэтому могу ошибаться в некоторых "деталях".

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.
Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Что тут комментировать, кроме странных истерик от недостатка внимания ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Отбор тестеров осуществляется администрацией портала из числа лиц имеющих профессиональный опыт. Что в этом плохого?

Плохого ничего нет, обычно опыт приходит с годами, а вашему тестеру одному из которых всего 16 лет, в эти года имеет месту быть профессионализм? А отбор на звание тестера, как осуществляется? поиском по всем сайтам в которых идет обсуждение тем связанных с тестами и вендорами, или отбор идет в узких кругах? Об этом охото по подробней узнать. Я лично не видел тем на anti-malware.ru в которых требовались тестеры

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Тоесть из Ваших слов следует, что люди сами делают объекты для тестов, и эти самые люди имеют авторские права на эти объекты? нет? на мой взгляд нужно оталкиваться от реальных угроз, которые находятся в сети, а не делать самим тестовые утилиты итд, для проведения тестов.

Если я к примеру начну свое тестирование, люди также будут просить утилиты и прочие тузлы и зловреды, на которых я производил тест, и у людей так же будет не доверие к моим тестам, если я не выложу в свободный доступ, свои материалы по которому производился тест. тут палка о двух концах.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

Я лишь в основном наблюдаю легкий троллинг со стороны экспертов в разных темах, но не в темах обсуждаемых результатов других тестированиях. Тут вроде как форум не для троллинга, Вам не кажется? Если есть тема касаемо тестов, то их можно обсудить, и делая на основе обсуждения выводы о профессионализме данного теста. Или свет клином сошелся на тестах anti-malware.ru?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что тут комментировать, кроме странных истерик от недостатка внимания ?

Ну к примеру почему Касперский в данном тесте занимает 16 место

http://www.anti-malware.ru/forum/index.php...ost&id=6414

А по тестам anti-malware.ru Касперский на первых местах.

Вам не интерессно узнать почему касперский в данном тесте на 16 месте? Или для Вас важней что Касперский на первом месте в тестах anti-malware.ru?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал: :facepalm::facepalm::facepalm:

Снимок_2011_05_08_18_30_01.png

post-4500-1304965031_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито тестирования признал:

Да я спокоен как слон после клизмы.

Я рампанта уважаю, хорошие ролики и познавательные делает, бывают ошибки, но человек старается как ни как, и это ему +.

Просто народ у нас ушлый пошел, не замечают того что делают другие, и по своему имхо, стараются втоптать в грязь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал

Ну да только он постеснялся продолжать ... оно не стоит того чтобы метать бисер... и кстати он не предводительствовал над эти тестом, уж извините)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гость
Эта тема закрыта для публикации ответов.
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • DisaGlass
      Хочу чтобы на открытых парковках сделали навесы для защиты от осадков. Кто за?    Конструкции из алюминия и стекла на заказ
    • Сергей Ильин
      Каждую минуту создается несколько десятков новых образцов малвари. Чтобы она попало в облачную базу репутации нужно: 1. Чтобы антивирусу они попались (обеспечить охват близкого к 100% парка машин) 2. Чтобы антивирус опознал их как вредосносные сразу.   п 1 нереален сразу. Поэтому шансы сильно снижаются изначально. п 2 тоже работает с определенной вероятностью. В большинстве случаев должна накопиться статистика по обнаружению конкретного файла в сети, что он делал, как распространялся и тп. Если статистики нет - репутации тоже нет. Файл попадает "в серую зону". Кроме этого сейчас тренд идет к тому, что вредонос рассылается только один раз конкретному человеку. Больше его ни у кого не будет в природе. Поэтому какая уж тут репутация ...
    • ViktorFazz
      Я с вами согласен, это еще нужно уметь, а еще нужно найти хорошую работу в сети. Но мне кажется лучше ходить на нормальную работу, а в интернете просто иметь дополнительный заработок. Я работаю админом в гостинице, при этом еще увлекаюсь ставками на спорт, так я имею в месяц еще несколько тысяч практически и ничего. Смотрю прогнозы на спорт тут - http://betrating.ru/
    • olejah
      В одной из прошлых статей мы обсуждали, как настроить собственный honeypot, теперь же попытаемся рассмотреть, как злоумышленники пытаются обойти эти ловушки, какие трюки они используют при серфинге и как вы можете стать жертвой honeypot в сети. Наконец, мы поговорим о том, как системные администраторы предприятий справляются с поддельными точками доступа, размещенными в сети предприятия, целью которых является кража конфиденциальных данных. https://www.anti-malware.ru/analytics/Threats_Analysis/How-Hackers-Avoid-Honeypots
    • AM_Bot
      Леонид Ухлинов, вице-президент и исполнительный директор компании «Информзащита», поделился своим экспертным мнением с читателями Anti-Malware.ru и рассказал, как компания из-за небольшой оплошности может потерять миллионы долларов, чего ожидать бизнесу в эпоху цифровизации и кто в первую очередь станет мишенью для киберпреступников. Это интервью продолжает цикл публикаций «Индустрия в лицах». Читать далее