Oпубликованы результаты тестов антивирусов on demand от kadets

[wadora 54]

Вот наткнулся на тест антивирусов on demand. Источник _kadets_info/showthread.php?t=79873

В качестве базы использованы файлы из архивов из темы. Тесты антивирусов за период с 22 февраля по 1 апреля 2011 года.

База содержит 1402 семпла.

Есть о чём подумать?!.... Только хотелось бы конструктивного обсуждения, а не отстаивания денег вендоров с углублением анализа теории влияния наклона лопаты на интеллект прохожего.

[Umnik 997]

Есть о чём подумать?!

Ммм, там есть признанные вирусные эксперты, которые могут сказать, где троян, где кряк, а где тулбар?

[Dmitriy K 603]

ад-аваре, а-шампу и прочие - впереди планеты всей?

-----

P.S. правила форума разрешают публикацию ссылок на варез-порталы?

[Doctor_Petrov 126]

Только хотелось бы конструктивного обсуждения

зря вы здесь об этом спросили тут же сплошные вирусные эксперты и многоуважаемые гуру

[safety_gate 5]

да там в базу всякая щалупонь идет, адвары и прочее.И чистые файлы идут, которые многие детектят как вирусы.Вот вы например то что осталось просле проверки касперским, отправьте им в вирлаб.Я уверен что 90% будут чистые файлы.

вы эти сэмплы по годам разнесите, там от 2011 года и 300 не наберется, в основном мусор и старье

[wadora 54]

зря вы здесь об этом спросили тут же сплошные вирусные эксперты и многоуважаемые гуру

А так хочется верить в доброе и светлое...

[wadora 54]

Вижу, что к замечанию Doctor_Petrov надо прислушаться.

Мне казалось, что на данный сайт заходят не только специалисты, но и простые пользователи, которые хотят разобраться в некоторых аспектах компьютерной кухни. Если это сайт только для спецов, тогда запретите регистрацию, а не давайте снисходительные ответы в форме нравоучений взрослого ребёнку. Лучше растолкуйте почему данное тестирование является делитанством по пунктам:

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что………………

2.Данный метод примитевен, потому, что……………….

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

[safety_gate 5]

1.Применение данного набора вирусов не отображает реального поведения при……, потому, что вирусы отсылались в вирлабы разных компаний, и у кого то преимущества есть (у доктора)

2.Данный метод примитевен, потому, что подборка вирусов слишком мала и в них встерчаются и адвары и чистые и наверняка вирусы 2000 года

3.Прогонка вирусов на разных компах является не приемлемой формой, т.к. …………………..

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

как я понимаю, вирусы брались из темы тестирования ежедневного, и получается еще такая штука.При запуске вредоносца или любого файла, на комодо, он автоматически отправляет образец к себе.Получается, что какие то вендоры получали весь набор, а какие то ничего.

если там есть чистые файлы ( а они там 100% есть) , то получается такая штука.Кто больше набил с чистыми - тот и победил в тесте.Это разве правильно?

[shats 5]

Ммм, там есть признанные вирусные эксперты, которые могут сказать, где троян, где кряк, а где тулбар?

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

[safety_gate 5]

Ммм, там есть признанные вирусные эксперты, которые могут сказать, где троян, где кряк, а где тулбар?

нет там никого и никогда не будет

[strat 275]

хотелось бы точнее узнать про набор программ, желательно бы еще самому посмотреть, если у кого есть ссылка на архив + пароль то попрошу в личку

[safety_gate 5]

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

я понимаю неприятно, я вас понимаю.Но когда на вашем сайте ваш модератор обсирает тесты на ам, то это нормально?

как касперский выигрывает какой либо тест на ам, то ваш модератор говорит что этот тест гавно, что тест купленный и прочее.Так что не надо тут про мольбу.

[Зайцев Олег 402]

В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

[wadora 54]

В общем-то спорить или коментировать данное "тестирование" имхо пока смысла нет - так как неизвестно, что именно было в тестовой коллекции ... а раз неизвестно, то далее можно только гадать (что именно, как она сформировано и откуда известно, что семплы там являются зверями, притом ITW и работоспособными). В теории:

1. семплы должен был изучить некий эксперт, дабы продтвердить их вредоносность и работоспособность. Это важно, так как есть типовые ситуации:

1.1 какойто левый тулбар - который в общем-то ничего опасного не делает, но кто-то детектит его малварью, кто-то адварью, кто-то не детектит, а кто-то вообще считает чистым и легитимным;

1.2 битый файл. Таких тучи, чаще всего - не полностью скачанный EXE. Т.е. в нем кода уже может хватить для сигнатурного детекта некоторых антивирусов, и тут дело не в их крутизне, а в том, из какой точки файла взята сигнатура. Но такой файл не будет работать и засчитывать его детект/недетект - глупо.

1.3 второстепенный файл. Есть некая малварь (чаще всего - фейковые антивирусы и адвари), в ее составе 20 файлов, причем собственно бузят из них 2-3, остальное - всякий мусор, ничего вредоносного они не делают. Кто-то детектит 1-2 основных, а кто-то все, включая GIF картинки из папки адвари ...

2. тест необходимо проводить на одном и том-же "железе". Причина банальна - разные процессоры, материнский платы, разная производительность диска, разный объем памяти - дают различное суммарное быстродействие системы ... в итоге на одном железе антивирус например успеет доэмулировать семпл до опасного поведения и будет подозрение или детект, а где-то не успеет - и запросто получим разный детект одного и того-же сепла одним и тем-же антивирусом с идентичными базами.

3. Семплы по должны быть только свежими ITW - тут все просто, ибо факт детекта (или недетекта) древнего вируса под DOS никак не отраждает качество работы

4. семплы нельзя посылать в тот или иной вирлаб (явно или неявно), или классифицировать по детекту того или иного антивируса

5. выборка семпло должны отражать реальную картину - ибо "взятая от балды" выборка может иметь перекос в сторону того или иного семейства или типа малварей, и совершенно не включать другие. При этом чем меньше количество зверей в тестовой выборке, тем сложнее задача - именно поэтом в теории для теста нужно брать как минимум 30-50 тыс. малварей

Спасибо за конкретику!!!

[priv8v 960]

1. Олег вежлив

2. Пишет подробно и понятно

3. Пишет в одном посте и освещяет проблему с разных сторон, чтобы потом еще в 10 постах не объяснять чтоже он имел в виду.

4. У Олега авторитет

5. К Олегу нет ни у кого претензий: он тихонечко занимается своими разработками и никого не трогает: антивирусы не сравнивает, форум не модерирует (а когда и модерировал то кроме спамеров никого и не трогал).

Поэтому то, что говорит Олег не воспринимают "в штыки", хотя эту же инфу могли бы люди почерпнуть и из других сообщений на этом форуме...

[Михуил 5]

а я учавствовал в этом тесте. В таблице результаты есть 2 моих результата. Но кроме них прогонял ещё 5 продуктов, результаты совпали с выложенными в таблице.

Спасибо Олегу Зайцеву за его коммент. Подробно и четко показал минусы любительского тестирования, не унижая простых любителей.

[MORDRED 80]

Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.

[Регион-56 5]

Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте, у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта. Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их. У меня на этот счет сомнения, как в тестах так и в их результате. Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того. Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

зря вы здесь об этом спросили тут же сплошные вирусные эксперты и многоуважаемые гуру

Согласен с Вами.

Все говно кроме anti-malware! Да и пчелы - тоже говно!

Правильно, лучше ничего не делать и молиться на этот ресурс! Да, тест не идеален, да есть ошибки, да есть.... А у кого их нет!

Не буду напоминать про "Тестирование фаерволов I", ой, напомнил...))) А когда Вы результаты выложили, потом удалили, потом выложили правильные...

С Вами также согласен, отчасти со стороны выглядит именно так.

[Mr. Justice 771]

Сейчас напишу свое мнение.

Данный сайт, kadets.info я уважаю, но я там не зарегистрирован, порой читаю гостем форум, как и форум anti-malware.ru.

Но уважаю сайт за тоо, что в тестированиях учавствуют сами пользователи форума, а не админ состав и тестеры как на этом сайте,

Отбор тестеров осуществляется администрацией портала из числа лиц, имеющих профессиональный опыт и/или определенные практические навыки. Что в этом плохого?

у людей есть доступ к тузлам и кейсам итд, это уже плюс. Читая форум anti-malware.ru, тестеры не дают тузлы итд обычным людям, а партнерам сайта.

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Об этом уже была тема, когда пользователь просил для теста, те зловреды, которые используют тестеры данного сайта, но они не дают их.

Это делается в том числе и для того, чтобы не нарушать уголовное законодательство.

У меня на этот счет сомнения, как в тестах так и в их результате.

Сомнения могут возникать и не только у Вас, это нормальное явление, но это не может служить поводом для нарушения закона. Перечень зловредов обычно приводится - если Вам нужно, Вы можете их поискать сами. АМ не будет Вам оказывать в этом помощь, по крайней мере портал, насколько я помню, никогда не оказывал такую помощь участникам форума.

Хочу напомнить что я не тестер, и не имею отношения к какомо ту вендору, я просто читаю топики, и на основе этого высказываю свое мнение. Я согласен что тесты на сайте kadets.info любительские, но там народ добрей и с пониманием относятся, в отличии от сайта anti-malware.ru. Да и как читал на сайте тут, anti-malware.ru тоже себя не позиционирует как профессиональное тестирование. Это также является любительскими тестами, просто anti-malware.ru немного успешней разкрученный сайт, но не более того.

О профессионализме читай выше. К проведению тестовых исследований лица не имеющие опыта и специальных навыков, как правило, не допускаются

Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

P.S. Изложенное выше не является официальной позицией портала. Я выразил свое личное понимание, основанное на той информации, которой располагаю и поэтому могу ошибаться в некоторых "деталях".

[A. 876]

Что-то как то не особо эксперты Anti-Malware.ru комментируют данные результаты тестов... Почему? я так думаю что им нечего сказать, либо они не признают чужие тесты кроме тестов которые проводят Anti-Malware.ru... Эксперты Anti-Malware.ru это всевышние эксперты, которые не удосужится тратить свое великодушнее время, на какие то любительские тесты, в отличии от "профессиональных" тестов Anti-Malware.ru.

Нужно всякие тесты уважать, так как в них вложен труд, людей, а эксперты anti-malware.ru даже не хотят комментировать тесты, либо зажрались, либо они в уаор не ставят все тесты кроме тестов anti-malware.ru. У меня все.

Что тут комментировать, кроме странных истерик от недостатка внимания ?

[Регион-56 5]

Отбор тестеров осуществляется администрацией портала из числа лиц имеющих профессиональный опыт. Что в этом плохого?

Плохого ничего нет, обычно опыт приходит с годами, а вашему тестеру одному из которых всего 16 лет, в эти года имеет месту быть профессионализм? А отбор на звание тестера, как осуществляется? поиском по всем сайтам в которых идет обсуждение тем связанных с тестами и вендорами, или отбор идет в узких кругах? Об этом охото по подробней узнать. Я лично не видел тем на anti-malware.ru в которых требовались тестеры

Этого достаточно, чтобы проверить профессиональный уровень тестовых исследований. Тулзы разрабатываются экспертами портала и они являются объектами авторских прав.

Тоесть из Ваших слов следует, что люди сами делают объекты для тестов, и эти самые люди имеют авторские права на эти объекты? нет? на мой взгляд нужно оталкиваться от реальных угроз, которые находятся в сети, а не делать самим тестовые утилиты итд, для проведения тестов.

Если я к примеру начну свое тестирование, люди также будут просить утилиты и прочие тузлы и зловреды, на которых я производил тест, и у людей так же будет не доверие к моим тестам, если я не выложу в свободный доступ, свои материалы по которому производился тест. тут палка о двух концах.

Эксперты АМ не обязаны комментировать тесты проводимые другими порталами. Они выполняют свою работу и выступают на форуме на добровольной основе.

Я лишь в основном наблюдаю легкий троллинг со стороны экспертов в разных темах, но не в темах обсуждаемых результатов других тестированиях. Тут вроде как форум не для троллинга, Вам не кажется? Если есть тема касаемо тестов, то их можно обсудить, и делая на основе обсуждения выводы о профессионализме данного теста. Или свет клином сошелся на тестах anti-malware.ru?

[Регион-56 5]

Что тут комментировать, кроме странных истерик от недостатка внимания ?

Ну к примеру почему Касперский в данном тесте занимает 16 место

http://www.anti-malware.ru/forum/index.php...ost&id=6414

А по тестам anti-malware.ru Касперский на первых местах.

Вам не интерессно узнать почему касперский в данном тесте на 16 месте? Или для Вас важней что Касперский на первом месте в тестах anti-malware.ru?

[Dmitriy K 603]

Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал:

[Регион-56 5]

Регион-56,

успокойтесь.

Сам предводитель этого цирка-шапито тестирования признал:

Да я спокоен как слон после клизмы.

Я рампанта уважаю, хорошие ролики и познавательные делает, бывают ошибки, но человек старается как ни как, и это ему +.

Просто народ у нас ушлый пошел, не замечают того что делают другие, и по своему имхо, стараются втоптать в грязь.

[han2er 0]

успокойтесь.

Сам предводитель этого цирка-шапито "тестирования" признал

Ну да только он постеснялся продолжать ... оно не стоит того чтобы метать бисер... и кстати он не предводительствовал над эти тестом, уж извините)