Anti-Malware.ru и AV-Comparatives.org объявляют об альянсе

[A. 876]

Не ужели от этого? Каждый сам в праве вывешивает свои пресс-релизы на своем сайте как нравится. Еще можно обратить внимание на качество английского языка в блоге или на дизайн еще вот. Что обсудить больше нечего в свете данной новости? Что за попытки свести обсуждение важной новости к бесполезному флейму?

Сергей, а что вы так нервничаете ?

Мне кажется, что текст опубликованный здесь - не совпадает с тем, что Клементи написал в своем блоге. Вы считаете это бесполезным флеймом ?

Хорошо, давайте по пунктам тогда, если уж желаете серьезно.

До конца 2008 года Anti-Malware.ru и AV-Comparatives.org намерены создать уникальную систему комплексной оценки эффективности антивирусных решений.

We decided to share results with the russian Anti-Malware-Test-Lab in the second half of 2008.

Вы систему оценки создавать будете или же результатами делиться ??

Собственно это и есть именно то, что меня смутило. Мне показалось, что вы и Клементи - по-разному понимаете, то в чем будет заключаться ваше сотрудничество.

Если альянс оправдает наши надежды, то мы планируем привлекать к сотрудничеству и другие лаборатории, не ограничивая их самостоятельности", - прокомментировал Андреас Клименти, основатель и руководитель AV-Comparatives.org.

In case that this partnership is successful for both parties, we may continue and expand it during next years.

Он говорит только о сотрудничестве с вами, о "других" ни слова нет.

[Сергей Ильин 1538]

Вы систему оценки создавать будете или же результатами делиться ??

Собственно это и есть именно то, что меня смутило. Мне показалось, что вы и Клементи - по-разному понимаете, то в чем будет заключаться ваше сотрудничество.

Тогда так и надо было писать сразу. Сейчас объясню. Мы планирует делиться результатами своих (существующих до объявление альянса) тестов, так как отказываться от них никто не планирует. У Андреаса своя бизнес-модель и свои, подстроенные под нее тесты, у нас - свои тесты.

На первом этапе планируется объединение тестовых линеек, что ИМХО очень кстати, потому как линейки тестов удачно дополняют друг друга. У нас нет теста on-demand, тест на проактивку не такой раскрученный, а у партнера нет никаких тестов похожих на наши (кроме полиморфиков). Т.е. первый этап: расшаривание, объединение знаний, обмен информацией и т.д.

Затем мы можем приступить и к второму этапу - совместным тестам и единой системе интегрированной оценки эффективности работы антивирусных продуктов. Полная линейка тестов есть, ресурсы есть, методология готовится. Вопрос весь только в синхронизации результатов (состав вендоров) и в разработке методологии.

In case that this partnership is successful for both parties, we may continue and expand it during next years.

Смысл этой выдранной из контекста фразы в том, что альянс будет расширяться (см. полный текст пресс-релиза, не важно на каком языке). Я сейчас не могу раскрывать всех планов, но очень вероятно стоит ожидать расширения альянса

[Иван 290]

а у партнера нет никаких тестов похожих на наши (кроме полиморфиков). Т.е. первый этап: расшаривание, объединение знаний, обмен информацией и т.д.

вот с теста на полиморфики я вам и советую начать совместные тесты, у вас результаты в этих тестах как раз абсолютно не совпадают

[Сергей Ильин 1538]

вот с теста на полиморфики я вам и советую начать совместные тесты, у вас результаты в этих тестах как раз абсолютно не совпадают rolleyes.gif

Будем работать, улучшать существующие методики тестирования, разрабатывать новые.

А вот и первые статьи пошли по наш альянс

http://www.news.com/8301-10789_3-9902580-57.html

http://www.cnews.ru/news/line/index.shtml?2008/03/25/293587

[Сергей Ильин 1538]

Еще некоторые интересные ссылки с лент новостей:

Antiviren-Software-Tester kooperieren

http://www.zdnet.de/security/news/0,39029460,39188782,00.htm

Antiviren-Software-Tester bilden Partnerschaft

http://www.computerwoche.de/knowledge_cent...curity/1859356/

Wonder Twin Anti-Malware Powers: Activate!

http://www.maximumpc.com/article/daily_new..._another_victim

[A. 876]

Ага и вот вам "поздравления" от Панды ...

I've just read a press release form AV-Comparatives where they announce a partnership with AntiMalware Test Lab. Long time ago we decided not to participate in AV-Comparatives tests, for a number of reasons. Our opinion is the following:

- The tests should be run by skilled people that must be able to distinguish a malware sample from a goodware one.

- The testers should have a malware test-bed, and of course it should include malware files, with no clean files, no damaged files, etc. It also has to be representative, it does not make sense to test malware that died 15 years ago.

- The testers should check the detection capabilities of each and every product. To do that you will run different samples and see what each product is able to do (behaviour blocking, heuristics, signatures, etc.).

- The testers should be vendor independent, to avoid any bias.

Even though the new alliance won't solve all the mentioned problems, at least we know that now there is someone that knows the difference between a Trojan and a goodware file. We'll be looking forward for new tests run, let's see if we can see something more scientific and serious than a simple "right click on folder, run scan". Anyone can do that at home.

Finally, there is something really serious going on that I have to point out: for the tests in 2008, AV-Comparatives is charging AV companies in order to appear in their tests: some of them are paying 8,000?, another ones just 4,000?, others 2,000? and even others will be tested for free. Can we be sure that there will not be any bias when testing someone who paid him 8,000? against another one that is being tested for free? I kindly ask you to have this in mind while reading a magazine comparative when the results are provided by AV-Comparatives. For magazines and other reviewers, we recommend you take a look at tests run by true knowledgeable professionals such as AV-Test.org.

[Сергей Ильин 1538]

Все бы хорошо, правильные слова Panda вещает, всегда есть о чем подумать, на что посмотреть повнимательнее. Вот только последнее предложение зря они написали ... :-)

[Александр Шабанов 120]

Ага и вот вам "поздравления" от Панды ...

Видимо Панда как раз из тех, кто должен платить 8к

А Маркс "профессионал" только на бумаге, в этом мы уже убедились по последним тестам:

http://www.anti-malware.ru/forum/index.php?showtopic=4302

[Иван 290]

Finally, there is something really serious going on that I have to point out: for the tests in 2008, AV-Comparatives is charging AV companies in order to appear in their tests: some of them are paying 8,000?, another ones just 4,000?, others 2,000? and even others will be tested for free. Can we be sure that there will not be any bias when testing someone who paid him 8,000? against another one that is being tested for free? I kindly ask you to have this in mind while reading a magazine comparative when the results are provided by AV-Comparatives. For magazines and other reviewers, we recommend you take a look at tests run by true knowledgeable professionals such as AV-Test.org.

все хорошо Сергей, но такая странная ценовая дифференциация вашего партнера (если она действительно такова) несколько удивляет. Если бы четко были партнерские статусы прописаны - тогда да, а так ведь ничего не написано...

Кстати а нет ли такого же публичного рассказа о том, что почему они в VB100% не участвуют?

А про AV-Test.org у них просто выбора нет участовать или нет, он не спрашивает пока ни укого согласия

[Сергей Ильин 1538]

все хорошо Сергей, но такая странная ценовая дифференциация вашего партнера (если она действительно такова) несколько удивляет. Если бы четко были партнерские статусы прописаны - тогда да, а так ведь ничего не написано...

Мы будем это обсуждать, очевидно, что нашему партнеру нужно прейти к более прозрачной финансовой практике.

А про AV-Test.org у них просто выбора нет участовать или нет, он не спрашивает пока ни укого согласия

Согласен. На самом деле Panda всегда хотела участвовать в тестах AV-Comparatives.org, но несогласившись с уловиями теперь поливают тесты грязью. Все ячно как божий день

Вообще если кто-то кого-то пытается вот так опустить, то подумайте зачем это нужно?

[IBK 0]

"For magazines and other reviewers, we recommend you take a look at tests run by true knowledgeable professionals such as AV-Test.org."

Panda read on my blog how their product scored in the ProtectStar review (they scored quite low), that's why they try to damage control by bashing us in advance and by promoting someone else. Probably in the next days I will write in my blog what is really going on, why Panda was excluded by AV-Comparatives from the tests in 2004 (it was not Panda opting out) and which persons/testers are bashing other testers by msg some vendors, journalists and users (with "anonymous" posts in forums). I will try to write in a way that will not harm too much those parties, but as they attack us, I will have to defend/clarify some things and state some facts.

(p.s.: i rarely visit/translate this forum, so please excuse me if i am very rarely here and do not write in russian).

[Александр Шабанов 120]

Согласен. На самом деле Panda всегда хотела участвовать в тестах AV-Comparatives.org, но несогласившись с уловиями теперь поливают тесты грязью. Все ячно как божий день

По сути у Панды нет другого выхода, как считать Маркса единственным профи, так как они принимают участие в тестах только у него.

Но ведь они могли и промолчать по поводу альянса, интерес оставить только Маркса значит у них существенный

[A. 876]

"For magazines and other reviewers, we recommend you take a look at tests run by true knowledgeable professionals such as AV-Test.org."

Panda read on my blog how their product scored in the ProtectStar review (they scored quite low), that's why they try to damage control by bashing us in advance and by promoting someone else. Probably in the next days I will write in my blog what is really going on, why Panda was excluded by AV-Comparatives from the tests in 2004 (it was not Panda opting out) and which persons/testers are bashing other testers by msg some vendors, journalists and users (with "anonymous" posts in forums). I will try to write in a way that will not harm too much those parties, but as they attack us, I will have to defend/clarify some things and state some facts.

(p.s.: i rarely visit/translate this forum, so please excuse me if i am very rarely here and do not write in russian).

Andreas ?

[Сергей Ильин 1538]

Andreas ? smile.gif

Да, да, это он. Теперь все ясно с пандой?

[A. 876]

Да, да, это он. Теперь все ясно с пандой?

пока нет. подождем что Андреас в блоге напишет, как обещал.

[A. 876]

А еще я рекомендую заинтересованным в теме ознакомиться в этим вот топиком:

http://www.wilderssecurity.com/showthread....9292&page=3

Там масса интересного, перед чтением запасайтесь кока-колой и чипсами. похоже, следующий амтсо митинг будет весьма прикольным.

например:

There were several reasons we at F-Prot decided not to participate in the tests done by Andreas Clementi this year - one being the development of the tests vs. the development of our technology. We are moving more and more into "pro-active" heuristic detection (which is clear if you look at the shadowserver.org data), but those tests are moving in a very different direction, which right now is of little value to us. We expect his to change once certain new products from us become available, and we will probably ask to re-join at that time.

Sorry about how vague this is, but there are some things I prefer not to discuss in a public forum.

+

Dr.Web withdrew from the AV-Comparatives for one reason - it does not help it to make a progress on the market. All pros and contras have been said - but this is in the past. The technology that Dr.Web uses has not so far been tested at AV-Comparatives. Besides, the world of AV testing is quickly moving (many AVs met in Bilbao in January to start the discussion over tests and reviews, which means that not just Doctor Web is concerned with the tests quality).

[Сергей Ильин 1538]

Читал, ветка отличная, присоединяюсь к рекомендациям A. :-)

[Иван 290]

Besides, the world of AV testing is quickly moving (many AVs met in Bilbao in January to start the discussion over tests and reviews, which means that not just Doctor Web is concerned with the tests quality).

А вот господин Гребенюк считает что тусовка из Бильбао пилит деньги и нихрена хорошего не делает

нет единства внутри компании, нет

[IBK 0]

I decided to stay diplomatic and did not disclose all details and connections we know.

[alexgr 556]

А вот господин Гребенюк считает что тусовка из Бильбао пилит деньги и нихрена хорошего не делает

нет единства внутри компании, нет

Качеством тестов не только "Доктор Веб" озабочен. И, если вспомните, я озаботился только присутствием в оргядре Симантека, Маркса и Панды. сказав, что американцы при любом раскладе будут создавать некий стандарт тестирования - я охарактеризовал стандартную американскую позицию. А хотелось видеть наших.... Далее есть их стандартная отмазка - ваш тест не катит, поскольку не соответствует стандарту. Только это. Иван, и где найдено противоречие? Остальное -хорошее или не очень - оценим мы с вами, но со временем. С чипсами, кокой или пивом.... Но лучший судья - время. Пока - увы! видим декларации, уже много деклараций увидели, очень много букв, а хочется - дела...

Кроме того, это мое личное мнение, как тестера

[Александр Шабанов 120]

пока нет. подождем что Андреас в блоге напишет, как обещал.

Андреас отписался у себя в блоге:

http://www.av-comparatives.org/weblog/?p=95

Мне понравилось, очень открыто и дипломатично

Интересный обзац:

I could give details about why there were excluded from several tests, what kind of people they have working in their company or how in the past they conspired to bias comparatives and get better results. But I´ll not do that because if they don´t mind having no ethic I do.

Кстати Панда изменила последнее предложение, теперь они уже ничего не рекомендуют, а лишь просят "иметь в виду"

[Fil 0]

Как много стало появляться тестов av-comparatives.org, vb100%, av- test, anti-malware и т.д. У всех разные оценки, все тащят одеяло на себя. А что делают обычные польхзователи? - Смотрят на всё это и думают "что за йопт, какое же антивирусное решение выбрать?"... так выбрал и я: пришлось 2 антивиря приобретать.

[Илья Рабинович 521]

"что за йопт, какое же антивирусное решение выбрать?"

То, что с поведенческим блокиратором.

[Valery Ledovskoy 1082]

То, что с поведенческим блокиратором.

Эх, если б было всё так просто... А почему не то, что от руткитов систему лечит? Или, если компьютер с малыми системными ресурсами, то почему не поставить что-нибудь полегче/попроще и не забывать ставить актуальные заплатки на систему и больше упор делать на использование собственных мозгов, дабы ограничить количество каналов поступления вредоносов? Илья, вроде умный человек, а так всё упрощаете.

Потому и так много тестов, потому что антивирусы - весьма многогранное ПО. И чёткой общепризнанной методики определения их качества пока нет (и вряд ли будет когда-либо).

[Александр Шабанов 120]

Нашел ну оочень интересный комментарий по сему действию, статью на французском источнике:

http://www.01net.com/editorial/376029/les-...is-en-question/

Тема статьи следующая: "Антивирусные сравнительные тесты все чаще ставят под сомнения"

Самым интересным являются комментарии Бориса Шарова, генерального директора ООО "Доктор Веб", а говорит он следующее:

« Derrière le terme "partenariat" il faut comprendre "business" : nous ne participons plus aux tests de ces deux sites car ils demandent aux éditeurs d'antivirus de rembourser les frais occasionnés par leurs comparatifs. Notre position est claire : à la différence d'autres concurrents, nous ne paierons jamais des testeurs, quels qu'ils soient. »

Что означает, что продуктовая линейка Dr.Web никогда больше не будет участвовать в тест ни Av-comparatives.org, ни в тестах Anti-Malware.ru, ну если с Андреасом понятно, то каким образом убрать Dr.Web из наших тестов? Судебное разбирательство?

Pour éviter tout procès, les organismes qui feront des tests comparatifs devront donc masquer le nom des éditeurs ou monter un partenariat avec eux...

Вот тоже очень эмоционально:

"« Les antivirus ne peuvent s'améliorer que grâce aux travaux de nos chercheurs et aux échanges d'informations entre éditeurs. Pas grâce à ces testeurs !»"

Еще есть интересные комментарии по тесту на руткиты и AMTSO, советую почитать

Борис Александрович, что ж Вы так на французском ресурсе, а мы тут и не знаем, что Вы отказались от участия в наших тестах. Конечно очень жаль, видимо руководство ООО "Доктор Веб" в очередной раз смотрит только себе под ноги.