Matousec: Proactive Security Challenge

[Виталий Я. 859]

В свое время помер (светлая память ему) портал www.firewallleaktester.com, который умело выносил самозащиту многих фаервольных продуктов - сейчас же владельцу не хватает более чем 500 евро в год на его поддержку (что означает, что проект убыточен). А в "общей куче мале" от Matousec - много поводов для маркетинга разнообразных продуктов, там и деньги закопаны - на афилятских программах и платных исследованиях, как я понимаю.

Что касается сроков, то по информации от Матушека, 1 прогон 1 продукта на свежей порции тестов занимает уже от 6 до 20 рабочих часов. Считайте, сколько это рабочих дней - и прикиньте по календарю...

Касательно итогов Outpost:

- Что есть? Один продукт Agnitum уже был перетестирован - увы, не получил Recommended. Про OSS нет пока информации.

- Почему? Более легкий фаервол Outpost Free так и остался в версии 6.5, но вот Security Suite 7.0 или 6.7.3 Давида пока не прельстил...

- Чего ждем? Не исключаю плохого результата для 6.7.3 - а вот версия 7.0 Outpost с хорошо прочесанным к 7ке драйвером и более производительным HIPS должна быть получше в тестах и конкурентов, и отраслевых.

PS: Приходится дополнительно проверяться и на "самопальных" тестах от Comodo и грозных (но непубликуемых) тестах от "активистов Чудского озера". Если те же Comodo опять не будет выдавать "антизаточенные" (невоспроизводимые) результаты на продуктах конкурентов - улучшения мы увидим в новых версиях.

PPS: А в Чудском Озере мы увидим немецких рыцарей из GData, Avira, etc.

[spw 190]

Nike, в общем, прав. Критика должна быть продуктивной. Иначе получается "у меня есть сакральное знание, но вам не дам" или "все плохие, один я в белом пальте посреди болота".

Илья, продуктивной критика может быть только в научной среде (то есть когда vis-a-vis находятся на примерно одном уровне понимания предментой области). Показывать и/или "доказывать" что-то фанатам или лже-экспертам смысла нет. Зря потраченное время. (Проверено опытом, в т.ч. и на этом форуме, в т.ч. и с приведением реальных примеров). Это разговор слепого с глухим.

Посмотрите, например, споры из другой области -- медицины -- "арбидол" vs "доказательная медицина", "гомеопатия" vs "доказательная медицина".

Нисколько не буду удивлен, если 90% пользователей цыг-ан-тивирусов лечатся арбидолом и гомеопатией ("а мне / моей бабушке / моей дочке помогает"). Аргументация та же. Уровень обсуждений - примерно тот же.

Поэтому я для себя избрал следующую политику: если найду время, то сделаю это для своего удовольствия. А не найду - ну значит на нет и суда нет. В любом из этих вариантов фанаты останутся при своем мнении. Доказать что-либо все равно никому не удасться. Это, как я уже сказал выше, проверено временем.

P.S.

1. Пример, я утверждаю, что в Comodo есть RING3-перехваты, связанные с контролем COM-объектов. Работают они в паре с RING0-перехватами, но они есть. Конкретно в том месте принципиально защиту это не ухудшает (если рассматривать сугубо как теоретическую защищенность), но пользователь бы без RING3-перехвата принять корректное решение в общей неизвестной ситуации не смог бы. Станет ли от этого хуже фанатам? Нет.

2. Я уже приводил в пример Online Armor, в котором есть очень явные заточки на тесты. В том числе контроль по расширению html. Стало ли хуже фанатам? Нет. Так же, если кто не верит мне, загляните в отчет того же matousec. Даже у него (ого!!!) для пары тестов написано, что Online Armor завалил их, так как были явные заточки на оригинальные тесты, и при малейшей их доработке, тесты были провалены.

Надоели уже эти переписки об одном и том же по кругу слегка.

Вот про Online Armor, прямо из документа matousec'а (что достаточно забавно; видимо, конкретно в этих тестах не заметить не мог заточек только слепой):

Further notes

Online Armor fails Inject1, Osfwbypass and Kernel5b tests when they are slightly modified not to trigger Online Armor's alerts. Online Armor does not protect against the techniques of these tests.

Переведу на русский:

Online Armor провалил тесты Inject1, osfwbypass (кстати, это где заточка на расширение html), Kernel5b, когда они были слегка изменены (подчеркну -- слегка!). Online Armor не защищает от техник, использованных в данных тестах.

фактически прошло 2 с половиной месяца. так как последнее обновление для Comodo вышло 12 апреля.

Прошло столько, сколько прошло. Как раз фактически.

А когда и почему вышло какое обновление у кого - это не волнует. Производителям на обновления официально было дано 5 недель. Все осатльное - это либо удачное стечение обстоятельств, либо умелый прагматичный рассчет (то, что я называл ранее/выше "попридержать" тестирование).

[offtop]что-то все чаще слышу от сотрудников лаборатории касперского, что тот, или иной продукт просто адаптируется под какие-либо тесты. наводит на мысль почему-то, а не по себе ли судят? [\offtop]

О духи Ч. О., ну сообщите мне где же касса ЛК, все не отдают бабло, гады.

[Илья Рабинович 521]

Илья, продуктивной критика может быть только в научной среде (то есть когда vis-a-vis находятся на примерно одном уровне понимания предментой области). Показывать и/или "доказывать" что-то фанатам или лже-экспертам смысла нет. Зря потраченное время. (Проверено опытом, в т.ч. и на этом форуме, в т.ч. и с приведением реальных примеров). Это разговор слепого с глухим.

Я совершенно согласен. Доказывать что-либо фанатам абсолютно бесперспективное занятие. Но дело в том, что среди пользователей продукта фанатов- абсолютное меньшинство. Думаю, даже оценка в пять процентов будет сильно завышенной.А вот все остальные хотели бы просто знать, защищает ли их конкретный продукт или нет. Просто фанаты более активны, их лучше видно. Но почему из-за больных на всю голову нужно игнорировать интересы большинства?

[amcenter 71]

Посмотрите, например, споры из другой области -- медицины -- "арбидол" vs "доказательная медицина", "гомеопатия" vs "доказательная медицина".

Нисколько не буду удивлен, если 90% пользователей цыг-ан-тивирусов лечатся арбидолом и гомеопатией ("а мне / моей бабушке / моей дочке помогает"). Аргументация та же. Уровень обсуждений - примерно тот же.

Offtopic, Не корректное сравнение, "арбидол" - лекарственный препарат официально зарегистрированный и опробованный еще в советское время 1980 -х гг., как раз одно из лучших детищ советской медицины.

_________________________________________________________

убрал слово "доказательный" т.к. термина такого тогда не было!

[spw 190]

Offtopic, Не корректное сравнение, "арбидол" - лекарственный препарат официально зарегистрированный и опробованный еще в советское время 1980 -х гг., как раз одно из лучших детищ советской доказательной медицины.

Бинго! Я попал в точку.

Позволю одну цитату (после которой можно пройтись по соответствующим открытым научным мед. базам и посмотреть научные публикации по арбидолу, а точнее - их отсутствие) и на этом замолчу по этой теме.

"В современном мире, к медицине применяются критерии строгих доказательств эффективности тех или иных методов лечения или диагностики путём методологически корректно выполненных рандомизированных контролируемых испытаний.

Однако в официальной медицине России используются методы лечения не соответствующие современным критериям доказательной медицины.

Система сертификации и одобрения новых медикаментов и медицинского оборудования в России далека от мировых стандартов. В результате в Российской медицинской практике появляется большое количество лекарств и методов лечения, эффективность которых никем не доказана и безопасность не подтверждена.

Рассмотрим, к примеру, препарат "Арбидол" - рекомендуемый Министерством здравоохранения и социального развития России и лично заместителем Министра В. Скворцовой как средство для профилактики и лечения гриппа.

С точки зрения законности - все в порядке, лекарственное средство "Арбидол" официально зарегистрировано в России. Более того, в России благодаря замечательному маркетингу, "Арбидол" занимает первое место по объёмам продаж лекарственных средств. И в тоже время "Арбидол" ни на что, кроме толщины кошелька не действует. По крайней мере, доказанных сведений о его эффективности нет и всерьез этот "препарат" ни одна серьезная медицинская организация не рассматривает, об этом знает каждый клинический фармаколог.

За десятилетия исследований "Арбидола", производителям не удалось получить и предъявить миру убедительных доказательств в его пользу, а предоставленные данные не дают оснований рассматривать препарат как лекарство от гриппа или других простудных заболеваний.

И, вот в чем проблема, в России можно зарегистрировать препараты, никогда не проходивших доброкачественных испытаний. Кроме того, наше уникальное законодательство разрешает проводить испытания лекарств только самим производителям. Клинические испытания лекарств, проведенные в России, финансировались производителями и отражают их интересы. И пока общество устраивает то, что им предлагается под понятием медицина, едва ли что-то изменится."

[amcenter 71]

Бинго! Я попал в точку.

Позволю одну цитату (после которой можно пройтись по соответствующим открытым научным мед. базам и посмотреть научные публикации по арбидолу, а точнее - их отсутствие) и на этом замолчу по этой теме.

"В современном мире, к медицине применяются критерии строгих доказательств эффективности тех или иных методов лечения или диагностики путём методологически корректно выполненных рандомизированных контролируемых испытаний.

Однако в официальной медицине России используются методы лечения не соответствующие современным критериям доказательной медицины.

Система сертификации и одобрения новых медикаментов и медицинского оборудования в России далека от мировых стандартов. В результате в Российской медицинской практике появляется большое количество лекарств и методов лечения, эффективность которых никем не доказана и безопасность не подтверждена.

Рассмотрим, к примеру, препарат "Арбидол" - рекомендуемый Министерством здравоохранения и социального развития России и лично заместителем Министра В. Скворцовой как средство для профилактики и лечения гриппа.

С точки зрения законности - все в порядке, лекарственное средство "Арбидол" официально зарегистрировано в России. Более того, в России благодаря замечательному маркетингу, "Арбидол" занимает первое место по объёмам продаж лекарственных средств. И в тоже время "Арбидол" ни на что, кроме толщины кошелька не действует. По крайней мере, доказанных сведений о его эффективности нет и всерьез этот "препарат" ни одна серьезная медицинская организация не рассматривает, об этом знает каждый клинический фармаколог.

За десятилетия исследований "Арбидола", производителям не удалось получить и предъявить миру убедительных доказательств в его пользу, а предоставленные данные не дают оснований рассматривать препарат как лекарство от гриппа или других простудных заболеваний.

И, вот в чем проблема, в России можно зарегистрировать препараты, никогда не проходивших доброкачественных испытаний. Кроме того, наше уникальное законодательство разрешает проводить испытания лекарств только самим производителям. Клинические испытания лекарств, проведенные в России, финансировались производителями и отражают их интересы. И пока общество устраивает то, что им предлагается под понятием медицина, едва ли что-то изменится."

Offtopic, Об арбидоле впервые услышал от участкового терапевта еще в 1988 гг, когда о рекламе медицинских препаратов и речи не было, то что проводится сейчас в РФ доверия нету, советской науке доверяю, действительно помогает ...

Относительно Вашей реплики это то же самое, что сравнивать HIPs vs Антивирус Касперского

[spw 190]

P.S. "советской доказательной медицины" - такого понятия вообще нет. (Обратите внимание где и когда появился этот термин, и как были сформулированы основные критерии).

[sww 486]

Offtopic, Об арбидоле впервые услышал от участкового терапевта еще в 1988 гг, когда о рекламе медицинских препаратов и речи не было, действительно помогает ...

Примерно также, как разбавленная миллион раз молекула печени утки (гомеопатия). Очередное надувательство для слабо образованных граждан.

[spw 190]

P.S. #2 Базы для изучения:

Платная:

http://en.wikipedia.org/wiki/MEDLINE

Бесплатная для халявщиков (для всяких там Avira/Comodo-вентиляторов, как говорит Мадонна)

http://en.wikipedia.org/wiki/PubMed

Offtopic, Об арбидоле впервые услышал от участкового терапевта еще в 1988 гг, когда о рекламе медицинских препаратов и речи не было, действительно помогает ...

Я же уже писал -- "Моей бабушке помогает, поэтому мне неважно, что вы там говорите, я буду пить. Вчера было 40, выпил, сегодня здоров как бык"

[Lias 5]

давайте про матоусек поговорим =)

может ли анти-малваре адаптировать аналогичные тесты матоусека под свои?

[amcenter 71]

давайте про матоусек поговорим =)

может ли анти-малваре адаптировать аналогичные тесты матоусека под свои?

Тут вопрос в другом, а насколько они будут объективные и регулярные на антималвэа? Никаких конкретных предложений не поступило, кроме как попытки уйти в оффтопик и полива помоями тестов матусека...

[spw 190]

Тут вопрос в другом, а насколько они будут объективные и регулярные на антималвэа? Никаких конкретных предложений не поступило, кроме как попытки уйти в оффтопик и полива помоями тестов матусека...

Я не поливал.

См. тут второе сообщение (прилипшее к первому -- ненавижу это на форумах)

[sww 486]

Никаких конкретных предложений не поступило, кроме как попытки уйти в оффтопик и полива помоями тестов матусека...

Блин, какие нафиг конкретные предложения? Ну скиньтесь мне по 30k$ за тест вашего любимого продукта и я вам его проведу в свободное от работы время, с анализом, листингами и прочим. Вот вам и конкретное предложение.

Дело не в тестах, а в продуктах, которые их проходят. И в том как они их проходят. Если были прецеденты заточек в прошлом, то не значит, что их нет и сейчас (но и не значит, что они есть). Но для глубокого анализа опять же необходимо время.

На то, что сейчас тестирование поставлено на коммерческие рельсы можно смотреть с разных точек зрения. На то, что иногда могут "попридержать" тестирование и подождать нового продукта опять же можно смотреть с разных точек зрения. Ну и так далее.

[zzkk 130]

Илья, продуктивной критика может быть только в научной среде (то есть когда vis-a-vis находятся на примерно одном уровне понимания предментой области). Показывать и/или "доказывать" что-то фанатам или лже-экспертам смысла нет. Зря потраченное время. (Проверено опытом, в т.ч. и на этом форуме, в т.ч. и с приведением реальных примеров). Это разговор слепого с глухим.

Я совершенно согласен. Доказывать что-либо фанатам абсолютно бесперспективное занятие. Но дело в том, что среди пользователей продукта фанатов- абсолютное меньшинство. Думаю, даже оценка в пять процентов будет сильно завышенной.А вот все остальные хотели бы просто знать, защищает ли их конкретный продукт или нет.

+1

Sp0Raw, sww, если бы Вы заполняли Ваши посты (все равно время уже потрачено) чем-то более конкретным (типа прозвучавших примеров) было бы куда полезней, чем обсуждать психологию фанатов и свой профессионализм.

Дело не в тестах, а в продуктах, которые их проходят. И в том как они их проходят. Если были прецеденты заточек в прошлом, то не значит, что их нет и сейчас

Этот факт говорит о чем? О том, что матушек (пытается) отслеживает заточки? Это здорово вроде как?

Further notes

Online Armor fails Inject1, Osfwbypass and Kernel5b tests when they are slightly modified not to trigger Online Armor's alerts. Online Armor does not protect against the techniques of these tests.

[zzkk 130]

Кстати, я бы на месте матушека, каждого, кто хоть раз был замечен в заточках, вешал на доску позора до тех пор, пока у компании не сменится весь руководящий состав тому, кто в текущем тестировании был замечен в применении заточек, выдавал бы 0% и ставил в самый конец таблицы.

Спасибо за инфу.

[Виталий Я. 859]

Кстати, я бы на месте матушека, каждого, кто хоть раз был замечен в заточках, вешал на доску позора до тех пор, пока у компании не сменится весь руководящий состав тому, кто в текущем тестировании был замечен в применении заточек, выдавал бы 0% и ставил в самый конец таблицы.

Спасибо за инфу.

Евгений Касперский про такое обычно говорит "Это было 2 технических директора тому назад"

[Nike 165]

О духи Ч. О., ну сообщите мне где же касса ЛК, все не отдают бабло, гады.

а причем здесь касса? прогнуться перед начальством-бесценно, для всего остального есть MasterCard®

все остальные хотели бы просто знать, защищает ли их конкретный продукт или нет.

вы абсолютно правы. полностью согласен.

с другой стороны, тесты нужны для того, чтобы разработчик видел уязвимости в своих продуктах и закрывал их. в принципе, это можно назвать как подгон продукта под тест, но с другой стороны, если лишняя уязвимость качественно закрыта, то чем будет хуже пользователю? мне интересно другое-да, Sp0Raw доступно описал подгон под тесты Online Armor'а того же, но разве по одному разработчику можно судить об остальных?

[Umnik 997]

а причем здесь касса? прогнуться перед начальством-бесценно, для всего остального есть MasterCard®

До тебя не дошло? Ну подумай же, елки-палки.

мне интересно другое-да, Sp0Raw доступно описал подгон под тесты Online Armor'а того же, но разве по одному разработчику можно судить об остальных?

Можно судить о результатах. Где в общей таблице провал? Выходит, что нужно превать на таблицу и всех интересующих перепроверять самому, один черт. При чем измененными тулзами минимум, а лучше своими.

[Nike 165]

Где в общей таблице провал? Выходит, что нужно превать на таблицу и всех интересующих перепроверять самому, один черт. При чем измененными тулзами минимум, а лучше своими.

провала просто нет, согласен. думаю, что если подгон под тесты будет не только у Armor, но и у других продуктов, то Matousec что-нибудь обязательно предпримет. у каждого теста есть свои недостатки, но пока этот недостаток имеется в пределе одного продукта, то он не сильно критичен.

[sww 486]

До тебя не дошло? Ну подумай же, елки-палки.

Ну не доходит до людей, не доходит. Не работает товарищ Спорав и не работал на "Лабораторию Касперского", запомните уже наконец. Уже смешно просто

[Umnik 997]

думаю, что если подгон под тесты будет не только у Armor, но и у других продуктов, то Matousec что-нибудь обязательно предпримет

А я не думаю.

И что теперь делать? Я посомневаюсь потихоньку.

[Виталий Я. 859]

Блин, какие нафиг конкретные предложения? Ну скиньтесь мне по 30k$ за тест вашего любимого продукта и я вам его проведу в свободное от работы время, с анализом, листингами и прочим. Вот вам и конкретное предложение.

Ну и аппетиты

[sww 486]

Ну и аппетиты

А я ничем Матусека не хуже

[Guest Антониос]

За такие деньги я вам что угодно протестирую с самыми полными описаниями результатов.

[Dmitriy K 603]

Антониос, опыт тестирования есть?