Matousec: Proactive Security Challenge

[UIT 103]

То есть не пользователь защищается от общих (фундаментальных) векторов атак, а контролируются ликтесты.

Интересно, мне казалось, что устранение проблем обнаруженных при данном тестировании всегда тождественно защите пользователя.

[Илья Рабинович 521]

Интересно, мне казалось, что устранение проблем обнаруженных при данном тестировании всегда тождественно защите пользователя.

К сожалению, не всегда. Очень многое зависит от метода реализации "устранения проблемы".

[spw 190]

Интересно, мне казалось, что устранение проблем обнаруженных при данном тестировании всегда тождественно защите пользователя.

Нет.

Есть фундаментальная проблема и ее фундаментальное решение. Тесты - это частные примеры фундаментальных проблем. Большинство компаний (подчеркну - большинство), особенно так популярных на форумах, затыкают эти частные примеры фундаментальных проблем такими же частными решениями, чисто для прохождения тестов и занятия первых строчек в этих табличках. Таким образом, задача сводится не к реальной защите пользователя, а к его одурачиванию через тесты -- "мы занимаем первые места в тестах, мы - лучшие". Это говорит как о качестве продуктов, моральных устоях владельцев компаний, разработчиков, так и, к сожалению, о качестве тестов и владельцев этих тестовых лабораторий (в данном случае, matousec.com). Когда это начиналось - было отлично. В пух и прах разнесли UserMode-перехваты, пояснили что к чему, зачем. Устроили "показательную порку" тем, кто затачивался на тесты. И? Прошло несколько лет, и все превратилось в простой механизм для зарабатывания хороших денег. Нехорошо.

Пример заточек у Online Armor (это что в памяти сразу же врезается) - реакция просто на расширение файла '.htm', вместо контроля за создаваемыми объектами. Это даже не смешно. Плакать хочется.

Из не менее смешных - Outpost, который ранее мониторил загрузку файла "dnsapi.dll" и тем самым сообщал, что сейчас идет DNS Resolve. Руткитчики просто копировали этот файл с другим именем, подгружали, и Outpost молчал в тряпочку.

Это самые простые, поверхностные, но наглядные примеры заточек на тесты.

[Илья Рабинович 521]

Пример заточек у Online Armor (это что в памяти сразу же врезается) - реакция просто на расширение файла '.htm'

А на что конкретно эта заточка?

[spw 190]

А на что конкретно эта заточка?

osfwbypass по-моему. Завтра могу сказать точнее.

[UIT 103]

Sp0Raw .

Теперь понятно. Спасибо.

[Илья Рабинович 521]

osfwbypass по-моему. Завтра могу сказать точнее.

Прикольно. Спасибо. Майку явно есть над чем работать...

[spw 190]

Кстати, есть и еще одна, другая сторона, "заточек". В некоторых случаях, вынуждающая нормальные компании ориентироваться на дурость "тестеров". Например, бессмысленный по сути тест, являющийся частным представлением тестера о возможном решении проблемы. (Т.е. тестер сам представляет частное решение и пишет частный тест, ориентированный на свое же решение). Как итог - программа не проходит тест (конкретно его критерии "прохождения") при том, что реальная защита обеспечена. Простой пример: тестер считает, что контролировать сетевые соединения должны на создании сокета. Он пишет тест, который ориентируется на то, что если сокет создан, то тест провален. А то, что какая-то программа может выдавать запрос именно на момент передачи данных - ему на это знаний не хватает. Итог? Тестерам в этом плане абсолютно "по барабану", что там как и у кого.

Еще пример из Comodo'шных тестов, вроде. Там что-то было с DebugProcess. То ли не проверялся статус у какой-то функции (из рассчета, что обламывать будут дальше) то ли еще что-то. Реально последствий никаких (т.е. система защищена, просто другим способом, более надежным даже), но тест сообщает о том, что он провален.

Таких примеров тоже не единицы. Массы.

К ним же относятся и смешные тесты (привет Zemana) из разряда создания скриншотов, перехвата данных с WebCam и т.п. Эти действия отдельно без привязки к чему-либо нет никакого смысла контролировать. Потому что, например, сам процесс создания скриншотов - это ну настолько легитимное технически действие, что просто дальше некуда. Но ничего, пишут тесты, тестируют. А вот только уберите тепличные условия тестирования и попробуйте напишите хотя бы одну malware, которая сможет как-то запуститься и что-либо сделать на системе, прежде, чем снять скриншот. Или уже после этого. Нет никакого смысла в тестировании одного действия ради тестирования функции. (В этом плане, кстати, matousec'овским тестам жирный плюс - там реально прототипы malware'ей сделаны, а не тесты ради тестов).

[Виталий Я. 859]

Это старая версия. Новую не успели зарелизить, видимо, Agnitum. Или у Matousec информации нет.

В новой версии Agnitum умудрился пойти по своему старому (подчеркну -- старому; так было только очень давно) пути (и по пути вышеобозначенного Online Armor) -- отпачиться от тестов. Заточки прямо сквозят даже по тексту what's new. И даже так и называются: "Контролируются многочисленные новые ликтесты, в т.ч. использующие следующие технологии:" (цитата).

То есть не пользователь защищается от общих (фундаментальных) векторов атак, а контролируются ликтесты. Прямо-таки оговорка по Фрейду. Про реализацию прямо сейчас не скажу (не было времени посмотреть)

Новой версии Outpost Free не было и не будет до релиза 7.0 - там, возможно, будет обновлена до предыдущей версии (6.7).

"Оговорка по Фрейду" про ликтесты на Agnitum тень не бросает:

- Matousec, как обычно, подсказал своими тестами, как закрыть реальные дырки.

- обобщив итоги внутренних тестов, дырки закрыли

- проверить легко с помощью соотв. ликтестов Matousec.com.

PS: не путайте маркетинговое "What's new" (в котором все было бы сильно обобщено) и историю изменений технической основы продукта (там все без прикрас, кроме совсем уж мелочей).

[spw 190]

- проверить легко с помощью соотв. ликтестов Matousec.com.

Вот в этом-то и кроется проблема...

Без обид, но по-моему как будто топик не читали.

Проверить нужно будет капитальненько всю верхушечку - Comodo, Agnitum (до релиза 7.0 -- в меньшей степени; сейчас, судя по what's new -- обязательно), Tallemu (Online Armor), PC Tools, Malware Defender (маловероятны проблемы, но все же стоит глянуть). И проверить по обозначенным тестами matousec проблемам, только вот не в исполнении matousec. А самое главное - вытащив нутро обработки наружу (посмотреть кто как и что контролирует из предложенного, и кто где-то просто "заткнул" [а это очень хорошо видно], и кто потрудился на совесть).

[Виталий Я. 859]

Топик читал, вдумывался. Точечная проверка на тестах Matousec, ноги которых из реальных мальварин растут (тут все верно), тем не менее, не отменяется. Matousec просто преобразует свои отчеты по уязвимостям в массовые ликтесты - одни автораны чего стоят.

Из не менее смешных - Outpost, который ранее мониторил загрузку файла "dnsapi.dll" и тем самым сообщал, что сейчас идет DNS Resolve. Руткитчики просто копировали этот файл с другим именем, подгружали, и Outpost молчал в тряпочку.

Вы все еще сидите на версии 4.0 на Win2K? Забудьте, уже 3 года Outpost защищает через фильтрацию LPC в ядре.

За возможные баги в реализации защиты - спасибо, если сабмитнете конкретное тело с описанием метода заражения сюда и возможного бага http://www.agnitum.ru/support/submit_files.php, в лабе Agnitum займутся (хотя займутся и так, но менее предметно).

[spw 190]

Топик читал, вдумывался. Точечная проверка на тестах Matousec, ноги которых из реальных мальварин растут (тут все верно), тем не менее, не отменяется. Matousec просто преобразует свои отчеты по уязвимостям в массовые ликтесты - одни автораны чего стоят.

Автозапуск - как раз самый простой и почти бессмысленный тест с технической точки зрения. (Подчеркну - с технической точки зрения).

Вы все еще сидите на версии 4.0 на Win2K? Забудьте, уже 3 года Outpost защищает через фильтрацию LPC в ядре.

Нет (про 4.0/w2k). Я в курсе про LPC. По-моему, это должно быть очевидно из моей фразы, что с 6.7 (по-моему, именно с 6.7) все более-менее в порядке (есть заточки реализации, но они хотя бы сделаны на "правильном" уровне, потому близки к фундаментальным решениям -- и это хорошо). Описанная выше ситуация (конкретный случай) имеет отношение к 4.0. Но вопрос не в номере версии. А в подходе, который компания допускает. Причем, не в первый раз. И именно поэтому я и привел цитаты из what's new от 7-ой версии. Пояснив, что этот текст заставляет задуматься о выбранном способе "решения проблем" (скажем прямо -- прохождении тестов). И что было бы неплохо это перепроверить. На более должном уровне, чем это делает последние годы matousec.

Если мне память не изменяет, случай блокирования IP-адреса, куда должны были отсылаться результаты проваленного теста, относился то же к вашей компании. То есть прохождение теста методом блокировки отсылки данных на конкретный IP. Возможно, к flank-тесту. (Здесь с уверенностью сейчас говорить не буду, за давностью лет; пока я не найду у себя в закромах точные данные - будем считать что этого не было).

За возможные баги в реализации защиты - спасибо, если сабмитнете конкретное тело с описанием метода заражения сюда и возможного бага http://www.agnitum.ru/support/submit_files.php, в лабе Agnitum займутся (хотя займутся и так, но менее предметно).

К сожалению, благодарить меня не за что. Более того, думаю, что вряд ли меня кто-то из компаний отблагодарит, если я все-таки сделаю то, что есть в задумках, в относительно ближайшее время. Скорее, будете меня ненавидеть.

[spw 190]

Редактировать права нет, поэтому пишу дополнением:

Про блокировку теста по IP (рассказ о далеком прошлом) - камень не в ваш огород, прошу извинить.

p2u поправил - это было у ZoneAlarm. (Впрочем, у меня нет возможности прямо сейчас это проверить -- как я уже говорил, нужно копаться в старых данных).

[Виталий Я. 859]

Напомню, что с тестами а-ля Matousec компании типа Eset всегда боролись PR-ом, а лидеры списка - технически совершенствовались. Но раз спор - о таких высоких материях...

Я пояснил, что ноги history of changes растут не от авторанов (которые легче всего обобщить), а от того, что техпис посчитал важным - рассказать, что разработчики прикрыли способы обхода.

Честность создателей массовых продуктов проверят создатели malware, любители НЕ публиковать уязвимости.

[spw 190]

Напомню, что с тестами а-ля Matousec компании типа Eset всегда боролись PR-ом,

С компанией ESET и так все понятно, ее тут можно было и не упоминать.

а лидеры списка - технически совершенствовались.

Враки ©. То есть, и да, и нет. Постараюсь пояснить свою мысль развернуто.

Знаете, не хотел употреблять слова некоторые, но по-другому не скажешь. Есть вот такое понятие в сети сейчас - карма-дрочерство. Вот поведение ряда компаний (Comodo, Tallemu [Online Armor] и Agnitum [Outpost], а в последнее время и PC Tools) очень похоже на это самое действие. То есть, цель - ради цели. А цель сформулирована очень просто - "давайте мы будем первыми в списке"! Не "давайте мы будем лучше защищать, и поэтому будем первыми в списке", а с выкинутой первой частью ("давайте мы будем лучше защищать"). Поэтому и способы решения проблем вырисовываются соответствующие - быстро что-то где-то как-то заделаем и, вуаля, одни из первых! Задача решена. А пользователи?.. Ну они же тоже в какой-то мере (простите, опять придется) онанисты -- сидят и refresh'ат этот список. "Ох, какой Online Armor крутой!", "Да ты не шаришь, вот Comodo Free в разы круче" и т.д. (стоит посмотреть по форумам рунета, тот же ruboard; да и почему рунета - wilders, например).

Я вот не знаю, чего Вы за всех полезли отдуваться. Я никакого негатива к компании Agnitum не испытываю, не считаю ее продукты плохими и т.д. Да, кое-какие подходы не нравятся. Да, ходили не по тому пути. Вероятно, сейчас опять на ту же дорожку решили заглянуть (как я сказал - это еще нужно проверить; пока есть косвенные признаки).

Меня напрягает тенденция. И ладно было бы это только со стороны производителей. Но нет же, и сам тестер, рубитель правды в прошлом, вдруг неожиданно оказался тем же, кого он раньше "порол".

Так вот, отошел от темы. Почему "и да". Потому что - факт. Продукты совершенствуются. И тот же Comodo, и Armor. И перехваты есть нормальные вполне. И некоторые вещи достойно сделаны. Поэтому - ответ "и да".

Но исходная цель в той формулировке, как она показана выше (а я четко вижу по делу, что она такая), мне ну очень-очень сильно не нравится.

Но раз спор - о таких высоких материях...

Угу, о них самых.

Я пояснил, что ноги history of changes растут не от авторанов (которые легче всего обобщить), а от того, что техпис посчитал важным - рассказать, что разработчики прикрыли способы обхода.

Не буду придираться к словам. Мне кажется, что за этими словами стоит нечто большее - позже будет изучено.

Честность создателей массовых продуктов проверят создатели malware, любители НЕ публиковать уязвимости.

"Создателям malware" абсолютно побоку как честность создателей массовых продуктов, так и вообще подобные обсуждения. Показатели в статистике бы не падали за сегодня - и все отлично.

А вот меня этот вопрос волнует. Не люблю неправду.

P.S. Еще раз хотел бы уточнить, что это не выпад в чью-то сторону лично. Выпад будет, когда будет свежая, обобщенная, систематизированная фактура.

[Виталий Я. 859]

Пооффтоплю немного, т.к. по теме высказался.

С компанией ESET и так все понятно, ее тут можно было и не упоминать.

Зря. Вы знаете, после покупки ESET-ом практически целого офиса разработки компании Arcabit с перевозом их из Варшавы в Краков в прошлом году, после разворачивания партнерской сети на весь мир, при этом они уже в Top10 антивирусных вендоров в мире.

После внедрения ряда технологий я бы не говорил, что с ESET все понятно (вон, и DrWeb оживился), а то попахивает цветастым PR-ом в духе:

- В Лондоне Хитроу их роботом весь завешан, - говорит Тиньков,

- Да забудьте вы про него! - говорит Е.К. и сумбурно поясняет, что Eset не в Top10.

Но не умеют они делать самозащиту и HIPS, не приоритетно это для них.

У Вас по-прежнему стойкие ассоциации ESET с VB100 и "маленькой словацкой компанией"?

А ведь есть еще Dr.Web с их отрицанием тестов (всех практически). Посмотрим, что будет, когда их фаервол заметит Давид.

[UIT 103]

Выпад будет, когда будет свежая, обобщенная, систематизированная фактура.

Когда будет?

[Black Angel 125]

А ведь есть еще Dr.Web с их отрицанием тестов (всех практически). Посмотрим, что будет, когда их фаервол заметит Давид.

А там нужно согласие компании для участия в тестировании? Не думаю, что Dr.Web захочет там участвовать.

[Виталий Я. 859]

А там нужно согласие компании для участия в тестировании? Не думаю, что Dr.Web захочет там участвовать.

Посмотрим, как Матушеку откажут

[OlegAndr 236]

Там не нужно согласие, более того, там не спрашивают что брать и когда.

Опять же китайский офис DrWeb имеет другое отношение к тестам, нежели московский.

[spw 190]

Зря. Вы знаете, после покупки ESET-ом практически целого офиса разработки компании Arcabit с перевозом их из Варшавы в Краков в прошлом году, после разворачивания партнерской сети на весь мир, при этом они уже в Top10 антивирусных вендоров в мире.

Я не оцениваю компании по количеству продаж. Если бы я был бы профессиональным маркетологом или Sales Manager, да, наверно, для меня бы это имело огромное значение. Я бы ориентировался на эти числа-показатели, говорил бы как круто они продвинулись, что они сделали, что будут делать дальше и т.д. Но к сожалению или счастью, меня интересуют другие вещи. Как то - техническая составляющая, отношение к пользователю (модель восприятия пользователя), "правда". И суждения о компаниях, их бизнесе и сопутствующей деятельности я выношу по этим (или около-этим) критериям.

После внедрения ряда технологий я бы не говорил, что с ESET все понятно (вон, и DrWeb оживился), а то попахивает цветастым PR-ом в духе:

- В Лондоне Хитроу их роботом весь завешан, - говорит Тиньков,

- Да забудьте вы про него! - говорит Е.К. и сумбурно поясняет, что Eset не в Top10.

Но не умеют они делать самозащиту и HIPS, не приоритетно это для них.

У Вас по-прежнему стойкие ассоциации ESET с VB100 и "маленькой словацкой компанией"?

Не, все куда проще. У меня по прежнему ассоциации ESET - с быдло-компанией. Как в Словакии, так и на Российском рынке. Быдло-общением, быдло-методами, быдло-маркетингом, быдло-саппортом, быдло-технарями и быдло-целью. Примерно вот так я бы охарактеризовал свое субъективное отношение к этой корпорации. По-моему заслуженно: Напрягающее. Тут про ESET тоже немножко есть. Это так, заодно.

[Виталий Я. 859]

Sp0Raw

Вы на какую дистанцию с русским ESET (не верю, что со словацким) сходились?

У них до некоторой степени интересные (но поверхностные и маркетингово-ориентированные) наработки еще не кончились.

Так что не гнобите зазря.

[Lias 5]

почитаешь посты и думается - всё куплено

vbtn, matousec, av.... - где правда господа?

[spw 190]

Вы на какую дистанцию с русским ESET (не верю, что со словацким) сходились?

У них до некоторой степени интересные (но поверхностные и маркетингово-ориентированные) наработки еще не кончились.

Так что не гнобите зазря.

С русским - да постоянное пересечение на каждом форуме runet'а (secureblog, antimalware), недавняя (полгода?) история на habrahabr (кстати, пытался ее сейчас найти -- ее похоже успешно выпилили, полагаю, не без участия; хотя всякое может быть --- следы в google есть, а пользователь в бане, запись стерта), общение с их support (опубликовано там же на хабр было), их фейковые людишки, как на форумах, так и при разборе той ситуации (которые потом отмазывались, что они это не они, а вот то, что ip из их подсети, это "как-то так сложилось"), форма решения вопросов с технологической стороны (с "супер"-эвристикой и false'ами). Что касается Словацкой части - я привел линки. Это wilders, это общение с их людьми оттуда, с их же support и технарями по разбору.

Да, лично с собственниками компании я не общался. Но какое это имеет значение? Если собственники допускают, а главное, судя по всему, и инициируют, такую форму существования компании, то по-моему общий образ очень четко говорит о внутренних качествах тех, кто стоит у руля.

Еще раз повторю, в данном случае вопрос поднят в ключе откровенного вранья, подлога данных, абсолютно наплевательского отношения к пользователям и разработчикам, хамства, несоблюдения обязательств, "спама" по форумам/сайтам и проч. проч. проч.

Образ компании ESET - это почти как образ "Школы Американского Английского".

P.S. Это мое личное мнение, основанное на публичных событиях, личном общении, технических знаниях и т.д. В целом не вижу смысла его обсуждать здесь.

почитаешь посты и думается - всё куплено

vbtn, matousec, av.... - где правда господа?

Вся правда в BHC...

Шучу.

Я не утверждал, что matousec - абсолютно пустой проект. Нет, такого нет. Лишь сказал, что сейчас он поставлен очень сильно на коммерческую рельсу, и что качество тестирования очень сильно страдает ввиду этого, а так же других факторов. Это не значит, что если Дэвиду отваливают $20-30k, которые он выпрашивает у vendor'ов за свои услуги, то любая пустышка окажется в первых строчках.

Есть проблема "заточек", есть проблема отсутствия толкового анализа, есть проблема "придержек", ну и "продажи решений" (ну а это просто бизнес-модель такая, тут винить, наверно, не за что).

[Umnik 997]

Часть сообщений выделено: http://www.anti-malware.ru/forum/index.php?showtopic=13229