Результаты VB100% - Август 2008 - Страница 3 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Иван

Результаты VB100% - Август 2008

Recommended Posts

Александр Шабанов
Щупаем 10%, 15% функционала - и получаем хороший результат.... Приятно, греет сердце... Не получаем результат - как то не греет, правда?

Вот по-моему ключевая фраза :)

От того, что продукт по факту протестирован или нет, качество улучшается? Резонный ответ, что - нет, если тест пройден успешно.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

Основная тема, по-моему мнению, состоит в том, чтобы обозначить покрытие каждого теста для пользователей результатов, что мы собственно и стараемся делать, разбивая их на критерии качества. Проблема в понимании результатов тестов пользователями, а не в тестах.

Для меня позиция Доктора является не очень удачной, так как лучше участвовать в тестировании и говорить о том, что это 10% функционала, нежели вообще выходить из него по этой причине.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Осталось найти суть. Не изложите?

Ок. Ещё раз. Суть в том, что возможности тестов ограничены. Как по направлениям тестирований, так и по точности и применимости получаемых результатов. Тестируются "чёрные ящики". При этом весьма сложно организованные. При этом весьма простыми методами. Математические модели методов тестирования антивирусов разваливаются как карточные домики, когда начинаешь их анализировать подробно. При этом сами тесты остаются "чёрными ящиками" - иногда не раскрывается методика, часто не показывается коллекция, никогда не считается точность проведённых измерений, даже не делается попыток её оценить.

Alexandr Shabanov, Вы снова затронули правильный аспект темы. Но все же с выводами я не согласен.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

В том, что пользователи (потенциальные) ничего не хотят знать о том, как были получены результаты и что они отражают. Они смотрят результат, как новости по телевизору. И верят экспертам. Попробуйте человеку, для которого компьютер лишь инструмент или средство развлечения, объяснить, что эксперты из авторитетного журнала VB ошибаются. Да он даже не знает, что это за 10% функционала там тестируется. Они вот будут всегда говорить "но эти же 10% функционала не работают", как говорит alexgr. А если так говорит весьма уважаемый мной эксперт в области ИБ, то что говорить о пользователях? И это большая проблема на самом деле, и никто раскрывать глаза пользователю не собирается. Это сложно и невыгодно большинству вендоров. Те, кто выигрывают - утверждаются в очередной раз, те, кто проигрывают - ну хоть какая-то бесплатная реклама - и то дело.

На этом я заканчиваю свои изливания по данному поводу. Что хотел - сказал. Кто хотел - понял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

если уж к сути. Любая система испытаний складывается из десятков и сотен различных тестов, причем - натурных! Математические модели калибруются по результатам натурного эксперимента и никак иначе. Делается это только для эконосии времени и технических ресурсов, поскольку прорабатывать необходимо вполне определенное, математически выведенное количество точек факторного пространства. Поэтому - некие тесты пперекрывают 4% факторного пространства, некие - 10%, некоторые еще 12%. Однако только скрупулезное сравнение по всему полю показателей может показать реальные результаты того или иного игрока.

Если таких результатов и вовсе нет, то сравнивать то нечего, как вы понимаете. Интуитивное понимание превосходства некоторого эндюзера в данном случае - ничего общего с научным или статистическим подходом не имеют.

ИМХО. Надо было взять тест и после этого красиво уйти. Но это мое личное мнение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zyx
Вот по-моему ключевая фраза :)

От того, что продукт по факту протестирован или нет, качество улучшается? Резонный ответ, что - нет, если тест пройден успешно.

Что теряет компания, если ее продукт участвует в тестах - ответ очевиден - ничего, что меняется относительно качества продукта, если он не участвует в тесте - ничего. Какой резон в том, чтобы не участвовать, если он даже покрывает 10% функционала?

Основная тема, по-моему мнению, состоит в том, чтобы обозначить покрытие каждого теста для пользователей результатов, что мы собственно и стараемся делать, разбивая их на критерии качества. Проблема в понимании результатов тестов пользователями, а не в тестах.

Для меня позиция Доктора является не очень удачной, так как лучше участвовать в тестировании и говорить о том, что это 10% функционала, нежели вообще выходить из него по этой причине.

Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Доктор вышел потому, что из нескольких тысяч вирусов(иногда и десятков тысяч) появляющихся за месяц, в тестировании участвуют сотни, причем присланные определенными людьми из определенных компаний. Чего непонятного то?

Доктор из своих коллекций ничего не присылает и специально под тесты не затачивается, видимо это не очень им надо (есть множество более важных и интересных задач)

А то что из ~10000 любой антивирус не детектирует всего (и даже близко к всему) объяснять помоему и не надо (хотя посмотрев вашу дискуссию кажется что в яслях оказался).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent
Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Доктор вышел потому, что из нескольких тысяч вирусов(иногда и десятков тысяч) появляющихся за месяц, в тестировании участвуют сотни, причем присланные определенными людьми из определенных компаний. Чего непонятного то?

Доктор из своих коллекций ничего не присылает и специально под тесты не затачивается, видимо это не очень им надо (есть множество более важных и интересных задач)

А то что из ~10000 любой антивирус не детектирует всего (и даже близко к всему) объяснять помоему и не надо (хотя посмотрев вашу дискуссию кажется что в яслях оказался).

Все эти аргументы уже неоднократно обсуждались на форуме и были приняты всеми участниками дискуссии. Но несмотря на все это, VB ещё сохраняет останки былого авторитета (среди простых пользователей) и потому вообще не считаться с ним пока нельзя.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Zyx, только вот на днях написал на эту тему в своем блоге

http://www.anti-malware.ru/node/464

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Ребят, что за дурдом =) Говорите какой-то бред, причем здесь 10% ? Какого функционала? Причем здесь вообще функционал?

Неужели непонятно - это не очень удачная фраза прозвучавшая в оф.версии. (не направленная к людям которым лишь бы к словам прицепится)

Это типа мимо проходило оф. лицо? Или лицо официальное, а фраза неофициальная, через папарацци попавшая в прессу?

Эт первый вопросик....

Второй = отказавшись от каких - либо тестов - как будете показывать свой "лучшизм"? эсклюзивность так сказать....?

третье - и основное - сотрудником компании был поставлен вопрос, на который я и ответил. Есть ГОСТы по системам испытаний. Есть подходы к оценкам -на уровне ТУ. Есть мнение сотрудника компании, который ставит математические модели впереди натурных экспериментов. напомню - Есть раздел знаний - названный "Теорией сложных (или больших) систем". Там про тесты написано ох! как много. Таким образом - вы там для себя опеределитесь, нужны ли тесты вообще -эт первое, какова схема тестирования сложной системы -я полагаюсь здесь на ГОСТ, бо они писаны кровью. Антивирус ведь сложная система? Сложная!

Не надо вводить веса за показатели - глупо, писал не единожды....Ведь вес показателя - даже определенный экспертом - не более, как его мнение, а в практике.... таких экспертов долно быть в таком случае много, штук (голов) 100-250, чем более - тем лучше!

Далее. И главное. перед тем, как говорить о ненадежности теста - следует рассказать, какие предложения имеете. Имеете? Результаты тестов по методике имени Гребенюка, полученные компанией в обход правообладателя - юридически называются? второе - использование их в PR материалах как обзовем?

Таким образом - мое мнение - перед тем как выходить из системы, надо было тест таки взять.... А потом был бы повод говорить о ненадежности теста.

А так - не взявши последних (сколько? может уже с УНА сравнялись?) говорить о ненадежности, затребовав из Киева материалы тестов по внутренней методике (которую ваш покорный слуга из банка приволок) мегов эдак на десяток архива.....Ну смешно....

И последнее - есть аргументы против комплексности испытаний? Модераторы, давайте откроем новую ветку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
перед тем как выходить из системы, надо было тест таки взять.... А потом был бы повод говорить о ненадежности теста.

Согласен; было бы сильнее так поступать. Хотя - кто слушал бы на самом деле разумные аргументы, когда 'Компьютерная Безопасность' стала что-то вроде религией и маркетинговой войной?

С аргументами Доктора я согласен. Иду даже дальше: пока не изменится система API в Windows, такие тесты ('кто ловит больше в стерильных условиях') ничто иное как пустая показуха продуктов участников друг против друга. Вывод для меня всегда один и тот же: 'Дорогой клиент - продукт А (хотя набрал 100%) вас не может защищать, а продукт Б ещё хуже'. Я возражаю (во имя всех бедных юзеров-чайников) против таких 'эталонов', потому что простой народ всё равно смотрит на результаты таких тестов. На самом деле это относится ко ВСЕМ существующим тестам по продуктам безопасности (включая ликтесты для файрволов). Я очень рад, что наконец-то кто-то делает первый (смелый!) шаг, и отказывается участвовать в этом цирке... Можно такие тесты создать, что никто их не проходит даже на 25%. Но естественно тогда и продукты безопасности хуже будут продаваться...

Когда мы покупаем, допустим, машину, ни у кого нет сомнения, что тормоза будут работать, что двери будут нормально закрываться, что ремень безопасности работает. Но это в рекламах не является параметрами для продажи. Прошёл коммисию - если машина не соотсветствует нормам, значит её даже продавать нельзя как таковой. Для этого существуют международные нормы. То, что антвирус в стерильных условиях что-то должен ловить, это как бы само собой разумеется, и не должно быть предметом тестирования.

Теперь надо всё-таки что-то предлагать.

1) Даже если тесты оставить как игрушки для экспертов, надо их убрать как средство маркетинга, потому что они вводят пользователей в заблуждение. Пусть будет форумы, конгрессы, где такие вещи обсуждаются, и всё такое, мне всё равно. Должно быть запрещено даже ссылаться на успех в таких тестах в целях маркетинга.

2) Против тестов по лечению не возражаю, хотя программы/утилиты, которые это лучше всего умеют - бесплатные, и даже не являются 'полноценными антивирусными решениями'.

3) Я это раньше уже в другом месте писал: Надо бы организовать тесты в он-лайн. У всех та же ОС с настройками по умолчанию, с теми же обновлениями, теми же дырявыми модулями ActiveX от всяких прееров и ридеров, которые у всех стоят, и заранее составить список определённых адресов в Интернете, где средний пользователь может заразиться. Экспертам список будет известен - участникам теста - нет. 'За рулём', естественно, не будут сидеть эксперты (те должны только наблюдать), а простые чайники. Пусть щёлкают по инструкциям (теперь туда, теперь туда, etc.). В реакции юзеров на работу программ защиты никто не имеет права вмешиваться. Через неделю посмотрим, что у кого осталось от системы с разными продуктами защиты и делаем выводы.

4) Надо бы создать хотя бы один тест, где сами пользователи (не бэта-тестера, а чайники) решают, какой продукт кажется им самым удачным по удобству, качеству алертов, и т.д.

5) Надо бы организовать ещё рейтинг: какая компания из всех наилучшим образом обслуживают своих клиентов когда появляются провалы в защите, какая компания делает усилия для того, чтобы обучать своих клиентов, не только по пользованию продуктов, а ещё по общим принципам защиты ОС. Знаю, что Symantec была одна из первых (если не самая первая), которая начала говорить о том, что можно и нужно отключить ненужные службы Windows. Похвала за это Symantec. Сейчас я знаю, что ЛК и Доктор Веб делают очень хорошие усилия в данном направлении. Короче - придумать можно много всего, лишь бы желание было...

P.S.: Всем веднорам: Самое главное - в моих глазах должно быть больше впечатление, что вы хотите помогать клиенту защищать себя, а не просто подсунуть очередное обновление продуктов, которое ещё более конкурентоспособным никому ненужными фичами...

Простите за, возможно, чрезмерно резкий подход к делу и за, возможно, не-русские обороты.

Paul

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

alexgr, постараюсь коротко изложить свои мысли по сказанному, насколько это возможно, т.к. в Вашем сообщении есть много новой пищи для размышлений.

1. Права на интеллектуальную собственность, произведённую на работе, принадлежат работодателю. Мне, как и любому человеку, продающему за зарплату плоды интеллектуальной деятельности, это не нравится, но таковы законы.

2. Да, теория сложных систем есть. Но тут большой нюанс. Есть книжки по основам теории сложных систем, в которых лишь раскрывается суть проблемы. И есть множество трудов, посвящённых различным сложным системам и попыток их описать простыми методами. У всех из этих методов есть недостатки, иначе не было бы столько трудов, противоречащих часто друг с другом, посвящённых каждой из этих сложных систем и использующих совершенно различные методы, использующиеся для описания каждой из этих систем. Антивирусные системы в этом плане (в плане вписывания их в общую теорию сложных систем и серьёзного изучения) пока малоизучены, я бы сказал, даже находятся в начальной стадии исследования. Причин тому много - высокая динамика как изменения в функциональности/возможностях вирусов, так, соответственно, высокая динамика в изменении функциональности антивирусных продуктов. Т.е. подробно изучить эти системы просто нет времени. И этим на данный момент пользуются авторы антивирусных тестов, предлагающие методики, которые не соответствуют ни то, что там какому-то ГОСТу, но никак вообще не обосновываются. Примерно это выглядит сейчас так: "Мы тут набрали каких-то сэмплов, которые насобирали за последний год, как-то их просканировали, вот такая у нас методика, как нам кажется, правильная (а другой нету у нас), получили такие вот результаты. Раз другого никто ничего не предлагает, то и не нужно спорить. Сейчас отдадим результаты в СМИ, и дело с концом. И ещё пусть вендоры скажут спасибо за то, что мы тут натестировали". Мне кажется, что тут есть несколько принципиальных моментов, с наличием которых я не могу согласиться.

3. Если нечего на данный момент противопоставить существующим тестам, то это не значит, что можно использовать для тестирования необоснованные методы. Вернее, использовать-то можно. Пользователям не нужно показывать. Ибо неверные результаты влияют на целевую аудиторию пользователей, чем могут навести весьма конкретный материальный ущерб. Не тестировщикам, которые всегда окажутся в выигрыше, а вендорам, которые пытаются бороться с тестировщиками - либо пытаясь соответствовать методикам тестирований, либо не участвуя в тестах. Это как игра на бирже ценных бумаг. Если ты играешь, то можешь выиграть или проиграть, а брокеры всё равно останутся в доходе.

4. Экспертами в области оценки антивирусов являются пользователи. Антивирусные продукты от военной техники отличается тем, что военная техника (сложная военная техника) делается для экспертов, создаётся экспертами, и оценивается тоже экспертами. С антивирусами несколько иначе. Антивирус создаётся для пользователя. Один пользователь более коммуникабельный, жаждущий знаний. Тот может и на бесплатном решении сидеть. Да, пусть много фолсов и малый детект. Но общение на соответствующих форумах, надлежащий уход за системой, несколько специализированных утилит достаточно, чтобы этот пробел восполнить. И этого пользователя этот бесплатный антивирус вполне устраивает. Другой пользователь не столь общительный - не общается с техподдержкой, ничего не отправляет в вирлаб, использует только лишь, собственно, антивирусное ПО, на которое полагается полностью. При этом изредка неверно отвечает на вопросы антивируса. И для него все антивирусы раньше или позже оказываются плохими. Он скачет с одного антивируса на другой в надежде найти лучший антивирус или же пытается использовать все антивирусы одновременно (есть у меня такой знакомый, который на множестве разделов установил множество ОС, в каждой свой антивирус, которые постоянно обновляет и сканирует весь винчестер, каждым антивирусом. Вот уже год мне не удаётся его переубедить. Обещает попробовать использовать что-то одно, но так и не делает это. Общаться на форумах производителей антивирусов тоже не хочет. Есть третий тип пользователей. Которые выбирают одно из платных решений и используют все ресурсы - техподдержку, вирусную лабораторию, официальный форум производителя, пытаются даже найти контакты с сотрудниками производителей антивируса, т.е. подходят к защите системно, используют все предлагаемые ресурсы, и человека снова же всё устраивает, но он тратит на антивирусную защиту своего компьютера меньше времени сил, чем первый и второй тип пользователей, перечисленных здесь.

Но тут приходят результаты теста. Что они делают? Они искусственно уравнивают всех пользователей, влияют на их мнение. При этом основаны эти результаты на 10% функционала, при этом точность измерений уровня детекта 10-20%, но чтобы получить в нём медаль, нужен детект 100% на выбранной коллекции.

5. Можно ли показать без тестирований, что тот или иной антивирусный продукт лучше для конкретного пользователя? Да, можно. Через пробное использование этих продуктов. Возможностям и требованиям каждого пользователя лучше подходит той или иной продукт. Благо, выбрать сейчас есть из чего. Сначала нужно выбирать грубо. Если нужна быстрореагирующая русскоязычная поддержка, то бесплатные продукты вычёркиваются. На них даже не нужно смотреть. Если нужен русскоязычный интерфейс - ещё часть отметается. Если нужна поддержка х64 - ещё одна часть отметается. Если компьютер слабый - ещё часть отметается. И уже на этом этапе остаётся всего несколько решений, каждое из которых можно опробовать и принять окончательное решение.

Люди же (как пример сложной системы) как-то выбирают, с кем им общаться? Сначала грубо - доступен/недоступен для постоянного общения, согласен/несогласен человек общаться, мужчина/женщина, ребёнок/подросток/мужчина(женщина)/старик, бомж/нищий/среднестатистический достаток/средний класс/зажиточный, ну и т.д. Остаётся не так уж много вариантов. И дальше снова начинается проба. Человек пробует общаться с теми людьми, которые ему нравятся. Если обнаружатся какие-то неприятные особенности, происходит разрыв отношений и дальнейшие поиски.

Т.е. пользователю не нужны тесты для того, чтобы выбрать продукт. Тесты нужны вендорам, которые в них могут выиграть. Тесты нужны тестировщикам, чтобы получить за тестирование свою прибыль, ну или, если тест сделан на чистом энтузиазме, сказать себе - какой я молодец! :)

p2u, я в последнее время думаю весьма часто над тестом, который позволил бы по его результатам помочь пользователям в выборе продукта (хотя, как я уже показал, для пользователя наличие тестов не критично). И Ваши мысли во многих местах пересеклись с моими в Вашем последнем сообщении. Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
2) Против тестов по лечению не возражаю, хотя программы/утилиты, которые это лучше всего умеют - бесплатные, и даже не являются 'полноценными антивирусными решениями'.

Одна поправка, Паул- потенциал этих утилит раскрывается лишь в умелых руках. В руках чайника они подобны гранате с выдернутой чекой.

3) Я это раньше уже в другом месте писал: Надо бы организовать тесты в он-лайн. У всех та же ОС с настройками по умолчанию, с теми же обновлениями, теми же дырявыми модулями ActiveX от всяких прееров и ридеров, которые у всех стоят, и заранее составить список определённых адресов в Интернете, где средний пользователь может заразиться. Экспертам список будет известен - участникам теста - нет. 'За рулём', естественно, не будут сидеть эксперты (те должны только наблюдать), а простые чайники. Пусть щёлкают по инструкциям (теперь туда, теперь туда, etc.). В реакции юзеров на работу программ защиты никто не имеет права вмешиваться. Через неделю посмотрим, что у кого осталось от системы с разными продуктами защиты и делаем выводы.

Фактически, такой тест уже делает Сергей. Берутся линки, анализируются на предмет зловредов на той стороно, после чего на них натравливается человек с виртуалкой, под которой крутится средство безопасности. Этот человек, конечно, не "простые чайники", но по сути и не профи.

4) Надо бы создать хотя бы один тест, где сами пользователи (не бэта-тестера, а чайники) решают, какой продукт кажется им самым удачным по удобству, качеству алертов, и т.д.

Ага, вот только он должен быть вендоронезависимым. Кто будет оплачивать время разработчиков?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Одна поправка, Паул- потенциал этих утилит раскрывается лишь в умелых руках. В руках чайника они подобны гранате с выдернутой чекой.

По-любому не надо оставлять пользователя один на один со зверьями - для лечения систем неумелых пользователей существуют ресурсы подобны virusinfo.info. Количество запросов о лечении доказывают, что традиционные антивирусные программы не справляются не только с обнаружением, но и с лечением. Причём, приходят только те пользователи, которые набрали смелость и терпение выполнить правила форума. Что с остальными? Они либо являются частью Ботнета, либо переустанавливают систему.

Фактически, такой тест уже делает Сергей. Берутся линки, анализируются на предмет зловредов на той стороно, после чего на них натравливается человек с виртуалкой, под которой крутится средство безопасности. Этот человек, конечно, не "простые чайники", но по сути и не профи.

Боюсь, что условия всё-таки слишком 'стерильными'. Пока у меня доказательств нет, но я верю, что виртуальная система и программы, которые установленны на ней, реагируют не так, как реагирует физическая система с теми же программами.

Может быть я пропустил, но я, например, тоже не видел в таких тестах, какие именно модули ActiveX (add-ons и plug-ins) установлены - чистая установка Windows тоже не отвечает требованиям реальности. Нельзя отрицать, что плееры и ридеры играют часто жизневажную роль в заражении - эксплойты часто направлены против них, а не против браузера. Если запускается эксплойт против них, то тогда система начинает 'дуреть', и антивирус, который ловил ВСЁ на тестах оказывается бессильным.

Ага, вот только он должен быть вендоронезависимым. Кто будет оплачивать время разработчиков?

Я в этом плане - оптимист; деньги найдутся на это если спонсор(ы) видит (или видят) в этом что-то привлекательное для себя. Единственное, что может мешать - неумение с нашей стороны 'продавать' идею. ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
По-любому не надо оставлять пользователя один на один со зверьями - для лечения систем неумелых пользователей существуют ресурсы подобны virusinfo.info.

Угу, где сам пользователь играет, скорее, роль "а теперь делай всё так, как я, хелпер, скажу".

Боюсь, что условия всё-таки слишком 'стирильными'. Пока у меня доказательств нет, но я верю, что виртуальная система и программы, которые установленны на ней, реагируют не так, как реагирует физическая система с теми же программами.

Да, безусловно. Проблема в том, что через физическую систему прогонять сотню- другую зловредов долго.

Может быть я пропустил, но я, например, тоже не видел в таких тестах, какие именно модули ActiveX (add-ons и plug-ins) установлены - чистая установка Windows тоже не отвечает требованиям реальности. Нельзя отрицать, что плееры и ридеры играют часто жизневажную роль в заражении - эксплойты часто направлены против них, а не против браузера. Если запускается эксплойт против них, то тогда система начинает 'дуреть', и антивирус, который ловил ВСЁ на тестах оказывается бессильным.

Обычно, в реальности, против малоизвестных продуктов никто не пишет эксплойты- это экономически невыгодно. Всегда можно поставить на машину самые ходовые программы, против которых есть эксплуатирующий код. Более того, можно проанализировать код взламывающей странички и посмотреть набор эксплойтов, в неё входящий.

Я в этом плане - оптимист; деньги найдутся на это если спонсор(ы) видит (или видят) в этом что-то привлекательное для себя. Единственное, что может мешать - неумение с нашей стороны 'продавать' идею.

Так "продать" идею- это и есть самое сложное. И оптимизм здесь мало поможет. Нужно искать "спонсоров".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Угу, где сам пользователь играет, скорее, роль "а теперь делай всё так, как я, хелпер, скажу".

Естественно, если юзер приказывает антивирусу 'удалить' или 'лечить', и при следущей загрузке Windows зверь опять в системе... Даже если пользователь знает, что, возможно, надо бы отключить Восстановление Винды, это часто лишь незначительная часть решения.

Да, безусловно. Проблема в том, что через физическую систему прогонять сотню- другую зловредов долго.

Мой аргумент немного о другом - время реакции процессов должно быть разным.

Обычно, в реальности, против малоизвестных продуктов никто не пишет эксплойты- это экономически невыгодно. Всегда можно поставить на машину самые ходовые программы, против которых есть эксплуатирующий код. Более того, можно проанализировать код взламывающей странички и посмотреть набор эксплойтов, в неё входящий.

Я лишь говорю об общепринятых приложениях - Flash Player, QuickTime Player, Real Player, Adobe Reader, Sun Java, etc.

Так "продать" идею- это и есть самое сложное. И оптимизм здесь мало поможет. Нужно искать "спонсоров".

Я готов в этом по возможности содействовать. Надо будет организовать сначала 'мозговой штурм' - Что 'продадим'? То есть - как можно человека или группу людей интересовать в этом? Как только это будет ясно - найдутся деньги. :)

P.S.: Один человек в одиночку это, скорее всего, не сможет осуществлять, но если объединять усилия, то тогда...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Paul предлагает расширение динамического теста, проводимого сейчас АМ, на фокусгруппу реальных юзеров с реальными компами.

имхо на такой тест будет стоить как минимум штук 20 баксов, учитывая его продолжительность во времени может больше.

да такие деньги теоретически можно собрать с вендоров, но только теоретически

все закончится еще на этапе выбора исполнителей, вендоры перегрызутся еще на этом этапе

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
1. Права на интеллектуальную собственность, произведённую на работе, принадлежат работодателю. Мне, как и любому человеку, продающему за зарплату плоды интеллектуальной деятельности, это не нравится, но таковы законы

неправда ваша.... Не принадлежит. особенно, ежели до того было зарегистрировано и опубликовано. Подчеркиваю - ДО. Есть и доказательства в виде журнальной статьи, которая - кстати - весьма ценится в узком круге тестеров. И более того - это ваше заблуждение. Например, ваша диссертация остается вашей - а не компании "доктор Веб", хотя писана в эпоху вашей работы компании. Nicht Wahr?

3. Если нечего на данный момент противопоставить существующим тестам, то это не значит, что можно использовать для тестирования необоснованные методы. Вернее, использовать-то можно. Пользователям не нужно показывать. Ибо неверные результаты влияют на целевую аудиторию пользователей, чем могут навести весьма конкретный материальный ущерб. Не тестировщикам, которые всегда окажутся в выигрыше, а вендорам, которые пытаются бороться с тестировщиками - либо пытаясь соответствовать методикам тестирований, либо не участвуя в тестах. Это как игра на бирже ценных бумаг. Если ты играешь, то можешь выиграть или проиграть, а брокеры всё равно останутся в доходе.

Вот пользователи и спросят. Где оно? Где суть эсклюзивности? Все берем? Или таки не все? С чем сравните?Или сранивать бум с ложным антивирусом? Что тоже можно.....

И доведем продукт, выпавший из системы к http://cnews.ru/news/top/index.shtml?2008/07/22/309182

Можно и не играть -значит, ваши бумаги стали мало интересными - по аналогии с биржей

Можно ли показать без тестирований, что тот или иной антивирусный продукт лучше для конкретного пользователя? Да, можно.

посмеемся? Дать сэмплики? А они в конкретной зоне живучи..... Не берете. Ответ - ставим иной - и он вытащит этих зверят. И потенциальный юзер будет со смехом идти мимо горы коробок в магазинах со словами.....Не берете простого виря, в тестах не участвуете... в общем, закат солнца имени УНА. Хотя их я очень уважаю.

И последнее. как математику - да, не хотите заметить книжку Шаракшанэ - Дайте плз, альтернативу. Это научно. Не даете - не плодите флуд А просто нет у вас альтернативы - Сергей Шаракшанэ и к создали систему, а увас ее просто нет. Используйте, что есть, которое обкатано и проверено, причем опять же математикой. не имеете альтернативы- ?

5) Надо бы организовать ещё рейтинг: какая компания из всех наилучшим образом обслуживают своих клиентов когда появляются провалы в защите, какая компания делает усилия для того, чтобы обучать своих клиентов, не только по пользованию продуктов, а ещё по общим принципам защиты ОС. Знаю, что Symantec была одна из первых (если не самая первая), которая начала говорить о том, что можно и нужно отключить ненужные службы Windows. Похвала за это Symantec. Сейчас я знаю, что ЛК и Доктор Веб делают очень хорошие усилия в данном направлении. Короче - придумать можно много всего, лишь бы желание было...

легко. Тест на быстродействие примерно таков. И уровень саппорта важен как №1. все это важно. Я написал - как нужно подходит к комплексной оценке -давайте, подумаем над оценкой уровня саппорта. Тем более, что снова есть нюансы. Допустим, уровень обращений по ложному детекту... Особенно на базовых бизнес - системах. То есть "probably infecned by COM/TSR virus@ на чистом txt файле - это как оценивать? Но есть примеры и похуже....Повесомей - для большой бизнес - структуры отсутсвие старта АС компании из=за антивируса - это уже денежный эквивалент.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

и повторюсь - сыпать дерьмо не тестеров, не прошедшему последние Х тестов - смешно. Взявшему и вышедшему- позволительна критика.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
неправда ваша.... Не принадлежит. особенно, ежели до того было зарегистрировано и опубликовано. Подчеркиваю - ДО. Есть и доказательства в виде журнальной статьи, которая - кстати - весьма ценится в узком круге тестеров. И более того - это ваше заблуждение. Например, ваша диссертация остается вашей - а не компании "доктор Веб", хотя писана в эпоху вашей работы компании. Nicht Wahr?

Моя диссертация абсолютно не связана с моей деятельностью в "Доктор Веб", ибо находится в области математического описания гидродинамических процессов, и начинала создаваться за 4 года до работы в "Доктор Веб".

Если Ваши материалы по теме работы в "Доктор Веб" были опубликованы и зарегистрированы до работы в "Доктор Веб", то здесь всё ок. Я подробностей знать не могу. Я просто напомнил о том, что законы такие существуют.

не хотите заметить книжку Шаракшанэ

Спасибо за наводку на Або Сергеевича. Но книжки довольно таки устаревшие, хотя я взгляну на них. По нашей тематике подходят:

1. Шаракшанэ А.С., Шакин В. П., Халецкий А. К. Испытания программ сложных автоматизированных систем. — М.: Высшая школа, 1982.

2. Шаракшанэ А.С., Халецкий А.К., Морозов И.А. Оценка характеристик сложных автоматизированных систем. — М.: Машиностроение, 1993.

Не думаю, правда, что там учитывается специфика антивирусов и ориентированность ПО на неподготовленного пользователя. Но в качестве материала для размышлений - вполне себе интересная ссылка. Возможно, можно будет от этого материала оттолкнуться, но потом обязательно добавить изучение эргономики продуктов и психологии пользователя. Всё это поддаётся изучению, но в этих книжках наверняка этого нет.

Кстати, используете ли Вы материал этих книжек в своей настоящей деятельности по тестированию антивирусного ПО?

Используйте, что есть

Не согласен. Сначала деньги, потом стулья. Ракета не полетела в космос, пока соответствующие разделы физики/химии и прочих наук не были достаточно исследованы, пока не было совершено множество серьёзных ошибок и просчётов. На том, что было изначально, сразу взлететь не получилось. Использовать в нашей тематике того, что есть, возможно только лишь потому, что здесь не нужно никуда взлетать. Ошибки ни к чему вроде бы плохому не приводят. Только лишь к желанию не участвовать в тестах.

Если есть у Вас есть теоретическая база, на которой можно создать корректное тестирование антивирусов, нужно эту базу рассмотреть, добавить недостающие компоненты. Да, потратить пару десятков килобаксов (это немного на самом деле в контексте всех вендоров, которые могут участвовать в таком тесте, если им подробно осветить справедливость этого тестирования), и сделать тест, который показывает степень защиты информации конкретного пользователя от реальных вредоносных программ, с которыми он сталкивается.

имхо на такой тест будет стоить как минимум штук 20 баксов, учитывая его продолжительность во времени может больше.

да такие деньги теоретически можно собрать с вендоров, но только теоретически

Самое смешное, что тесты гораздо сильнее влияют на доход вендоров ;)

И вот тут снова встаёт вопрос об оправданности проведения тестов в существующем виде.

Ибо их проведение сейчас почти ничего не стоит, но много на что влияет.

посмеемся? Дать сэмплики?

Вы до сих пор думаете, что такие сэмплики можно найти только для одного антивируса? Такие же ровно сэмплики можно найти для любого продукта, проходящего сейчас VB. И результаты VB это показывают (колонки правее первой).

Все берем? Или таки не все?

Кто-то берёт всё? Почему-то те сэмплы, которые ко мне попадают в последнее время (а это сэмплы, которые встречаются реально у пользователей заражённых компьютеров, использующих разные антивирусы), судя по virustotal.com, определяют на момент проверки сразу после вытаскивания с заражённой системы от 0 до 75% (весьма редко) антивирусов. При этом антивирусы, которые не детектят эти новые сэмплы, меняются в шахматном порядке. Итого, пропускают все, и часто. Какие там 100% или даже 97%, какое там VB100? Пора в реальный мир вернуться.

Взявшему и вышедшему- позволительна критика.

После недавнего комментария Сергея Ильина к тесту VB мне вот это "взять, а потом уйти" не кажется столь уж необходимым. Хотя и до этого я в этом необходимости не видел. Если методика не соответствует, то зачем "хлопать дверью"? Бред давать VB100 антивирусам, не берущим 25% коллекции троянов. Они, наверное, не in the wild, а Ваши "простые сэмплы", которые не берёт Dr.Web, они, наверное in the wild по классификации VB. Я подозреваю, что их в коллекции VB вообще нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Я подозреваю, что их в коллекции VB вообще нет.

я не эксперт wildlist.org. Поэтому дополнять не могу. Но всегда имею несколько образцов для 6-7 антивирусов, которых они не видят. Книги Шаракшанэ Использую, потому что кроме них в теории сложных систем и их испытаний- мне не попадалось ничего более фундаментального.

И - об испытаниях. Подвергаются испытаниям все заявлнные функциональности, а также те, которые не заявлялись, но могут иметь существенное влияние на применимость. Потому - эргономика вегда проверялась. Поэтому для начала делается декомпозиция показателей, формируется для каждого методика и проводятся испытания.

То есть - тест Клементи - показывает некий показатель, тест на лечение активного заражения - тоже, но иной, тест на детект - тоже. И даже нагрузочный тест, который мы обозвали тестом на быстродействие - тоже дает свою характеристику продукта. И когда мы получим с два - три десятка таких показателей - можно реально сравнивать продукты по множеству показателей. Именно таким образом сравнивают например образцы вооружений. Иначе детский разговор, что "наш танк лучше, потому что быстроходнее" - актуален. Или спор о том, что ИС2 лучше "Тигра", потому калибр орудия 122 мм, а у "Тигра" всего 88. А скорострельность? А дульная энергия орудия? и получилось, что пока ИС перезаряжает пушку, немец успевал сделать три выстрела. :D

Когда показателей нет вовсе - спор о качестве продукта носит характер спора бенедиктинцев и францисканцев об имуществе Христа.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

alexgr, спасибо, в общем и целом с Вами согласен. Метод декомпозиции сложной системы и изучение отдельных срезов вполне годится.

Что мне при этом не нравится.

1. Пользователи, как правило, не видят всех тестирований и не могут составить потом некую композицию. Как правило, они читают некие журналы (печатные или электронные), в которых публикуются статьи, в которых антивирусы ранжируются по одной характеристике с использованием одной методики. При этом в таких статьях недвусмысленно раздаются продуктам награды. Именно продуктам, а не конкретной характеристике, проверенной по конкретной методике. По крайней мере, многие пользователи это видят так. И задают соответствующие вопросы.

2. Эксперты тоже не могут составить некую композицию полученных разрозненных результатов, т.к. имеют разные взгляды на важность того или иного компонента сложной системы. Кроме того, многим экспертам в области ИБ, насколько я понимаю, недоступны те математические методы, которые мы можем применить.

Как Вы видите решение этих проблем?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Думаю, что для начала отстаивать позицию по подходу к испытаниям и обработки их результатов. Именно как к испытаниям сложной системы и сложного программного комплекса. Второе - разработка подходов к работе с прессой, чтобы уйти от глупых тестов - например, оценке размера резидентного модуля. Когда? При каких условиях? и этим тоже занимаюсь.

Третье - Отстаивать позицию, что по одному показателю оценить сложную систему невозможно. Должна быть выведена система показателей - качества детекта, дезинфекции, нагрузочные характеристики, превентивные возможности, размер технического трафика, даже действия при обнаружении заражения или подозрительной активности. И так далее.... И - как по мне- не надо давать интегрированную характеристику, а надо давать таблички по каждому показателю, можно ранжированные. Примерно так

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent

Среднестатистический "чайник" теста без наличия интегральной оценки не поймет и не примет, ИМХО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

ну, для этого может подойти схема "Выбор редакции"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег777
Антивирусные продукты от военной техники отличается тем, что военная техника (сложная военная техника) делается для экспертов, создаётся экспертами, и оценивается тоже экспертами

Как человек военный могу сказать, что не дай Бог попробовать провести тестирование ракетно-ядерного оружия. Хотя я и эксперт в нем, но лучше быть теоретиком, чем практиком в этом вопросе.

Позиция DrWeb мне понятна - лучше один недостаток - не присутствие, чем 10 выявленных недостатков. Но тогда нужно и у себя что-то менять. Более качественно подойти к вопросу "а почему наш продукт не проходит тесты?", пусть даже и такие спорные и сомнительные.

Что не так в самом продукте? Почему он хорош для обычного пользователя, но критикуем экспертами.

Зачем создавать у пользователя иллюзию защиты и молиться, чтобы не дай Бог он не прочитал очередной отчет о тестировании с провальными результатами?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

А я вот в этом поддерживаю Доктора. В данном случае не "иллюзия безопасности", а "иллюзия теста".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Почему он хорош для обычного пользователя, но критикуем экспертами.

Эдак Вы рубите направо и налево :) Далеко не все эксперты о Dr.Web высказываются плохо.

Зачем создавать у пользователя иллюзию защиты и молиться, чтобы не дай Бог он не прочитал очередной отчет о тестировании с провальными результатами?

И с этим не согласен, ибо вижу, как защищает больше сотни компьютеров, каждый божий день. И вижу по отчётам, как вставляют флешки, принесённые из дома и из других контор. Практически каждую вставляемую вижу :) И много чего другого вижу по отчётам.

И сеть работает годами на этом решении, и люди довольны. При том, что порядка 15 пользователей в сети имеют абсолютно свободный доступ в Интернет.

Наверное, всё же, что-то не так с тестированиями? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      возможность есть, гляну, размер переменных окружения действительно 32767 максимум, но конкретно path больше 4095 это уже может стать проблемой.
    • Ego Dekker
      ESET Online Scanner 4.0.1  (Windows 10/11, 64-разрядная)
                                                                                  ●
              Руководство пользователя ESET Online Scanner 4  (PDF-файл)
    • Ego Dekker
      ESET Cyber Security был обновлён до версии 9.0.6700.
    • AM_Bot
      Теория звучит убедительно, но работает ли она на практике? Мы внимательно изучили Phishman 2.35 и решили не останавливаться на описании её возможностей. Вместо этого протестировали платформу на собственных сотрудниках и удивились, к каким результатам это привело.      1. Введение2. Методология тестирования Phishman 2.353. Первичное тестирование3.1. Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылки3.2. Тестирование доставки и отражения результатов в статистике3.3. Результаты атак4. Обучение4.1. Формирование учебной группы4.2. Составление образовательной программы по повышению киберкультуры4.3. Процесс обучения и его результаты5. Повторное тестирование5.1. Результаты атак6. Подведение итогов6.1. Сложности, с которыми мы столкнулись7. Впечатления от проекта команды «АМ Медиа»7.1. Реакция сотрудников7.2. Реакция организаторов7.3. Сотрудничество с вендором8. ВыводыВведениеPhishman 2.35 — это система повышения осведомлённости пользователей в сфере ИБ. Она помогает развивать киберкультуру и формировать у сотрудников устойчивые навыки безопасной работы с информацией, цифровыми сервисами и корпоративными ресурсами. В процессе обучения сотрудники учатся распознавать актуальные сценарии атак, закрепляют правильные модели поведения и в результате реже становятся причиной инцидентов, связанных с человеческим фактором.В первой части обзора Phishman 2.35 мы рассмотрели платформу с точки зрения её возможностей. Теперь пришло время проверить, как всё это работает на практике. За время проекта мы не только оценили эффективность различных сценариев, но и столкнулись с рядом особенностей, которые невозможно увидеть в документации. Одни из них влияли на ход тестирования, другие оказались скорее организационными нюансами, о которых стоит знать заранее.Методология тестирования Phishman 2.35В процессе работы с киберкультурой «АМ Медиа» мы будем использовать следующие метрики:Обученность. Отражает уровень знаний сотрудников в области ИБ. Показатель растёт, когда сотрудники осваивают темы: реагирование на инциденты, защита от социальной инженерии и другие критически важные компетенции.Иммунность. Показывает, как сотрудники применяют знания на практике. Она повышается, когда демонстрируется способность распознавать угрозы и правильно на них реагировать в реальных сценариях.Киберосознанность — итоговая метрика. Объединяет знания и практические навыки, показывая, насколько сотрудники в целом устойчивы к киберугрозам и действуют корректно при их возникновении.Прежде чем оценивать эффективность работы системы, необходимо определить отправную точку. Первичное тестирование определит, на какие сценарии реагирует каждый сотрудник, где чаще всего допускаются ошибки и какие темы требуют дополнительного развития. На основе этих данных формируется индивидуальная программа обучения: сотрудники проходят персонализированные курсы, выполняют практические задания и тесты, которые помогают устранить выявленные пробелы и закрепить необходимые навыки. В процессе обучения повышается уровень обученности, а закрепление знаний через практику влияет на показатель иммунности. После завершения обучения мы проведём повторное тестирование, которое покажет, какие изменения произошли по всем ключевым метрикам.Заключительный этап — сравнение результатов первичного и повторного тестирования. Здесь станет понятно, насколько вырос уровень киберкультуры сотрудников: изменилось ли их отношение к вопросам ИБ, стали ли они увереннее распознавать угрозы и чаще принимать безопасные решения в ситуациях, где раньше могли допустить ошибку.В качестве основного канала для рассылки фишинга выбрали электронную почту. Причина очевидна: именно она остаётся основным способом первичного контакта злоумышленников с сотрудниками и доставки фишинговых сценариев. По имеющимся оценкам, более 90 % успешных кибератак начинаются с электронного письма, поэтому исключать этот канал из подобных проверок было бы некорректно.Первичное тестированиеРеальные фишинговые атаки почти никогда не строятся по универсальному шаблону: злоумышленники адаптируют содержание писем под роль человека в компании, его рабочие процессы и типовые задачи. Поэтому при выборе целевой аудитории мы разделили сотрудников по функциям и уровню доступа к корпоративным данным, а сам проект разбили на 3 последовательные волны с разным уровнем сложности.Подготовка шаблонов фишинговых сообщений, инфраструктуры рассылкиПосле определения целевой аудитории был проведён анализ структуры подразделений и рабочих процессов сотрудников. На этом этапе изучались:должностные обязанности;распределение зон ответственности;характер внутреннего взаимодействия между отделами;используемые адреса электронной почты;формат повседневной служебной переписки.Это позволило понять, какие сценарии коммуникации являются для сотрудников привычными и не вызывают подозрений.На основе собранных данных были подготовлены сценарии фишинговых сообщений. При разработке содержимого учитывались тематика рабочих задач, стиль корпоративного общения, оформление внутренних уведомлений и типовые причины отправки писем внутри организации. Основная задача заключалась в том, чтобы письмо воспринималось как стандартное рабочее сообщение, соответствующее реальным бизнес-процессам заказчика.Волна 1. Первая волна была построена как массовый фишинг. Сценарий — сверка графика отпусков. Для атаки создавали и настраивали пользовательский шаблон. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки.На этом этапе проверялась базовая реакция сотрудников на привычные рабочие триггеры и способность распознавать типовые признаки фишинга без привязки к конкретному подразделению. Рисунок 1. Шаблон для первой волны Рисунок 2. Вид фишингового письма из первой волны в почте Волна 2. Для каждого отдела были подготовлены письма, основанные на реальных рабочих процессах, характерных запросах и ситуациях, с которыми сотрудники регулярно сталкиваются в своей деятельности. Для атаки создали и настроили пользовательский шаблон, где-то добавили немного визуального оформления. Время начала рассылки — по запланированному времени. Рисунок 3. Пример шаблона из второй волны для отдела «Продажи» Рисунок 4. Вид фишингового письма из второй волны для отдела «Продажи» Волна 3. Здесь моделировались уже более сложные сценарии целевого фишинга (spear phishing). В письмах использовались специальные формулировки, элементы корпоративного брендирования. На этом этапе проверялась не только внимательность сотрудников, но и способность замечать менее очевидные признаки атаки в условиях, максимально приближённых к реальной целевой компрометации.За основу брали системный брендированный шаблон «Яндекс ID», добавили фишинговую форму и скорректировали немного её содержание. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 5. Пример шаблона из третьей волны Рисунок 6. Вид фишингового письма из третьей волны При переходе по ссылке открывалась фишинговая страница. Рисунок 7. Фишинговая страница Тестирование доставки и отражения результатов в статистикеДалее была подготовлена инфраструктура рассылки. После её настройки проводилось тестирование доставки сообщений. Проверялась доставка писем во входящие сообщения почтовых клиентов, анализировалась реакция антиспам-механизмов в почте, а также контролировалась корректность работы механизмов отслеживания действий пользователей. Рисунок 8. Результаты тестирования доставки и отображения сообщений в почте Тестирование прошло успешно.После завершения проверки была сформирована последовательность отправки сообщений по заранее определённым волнам. Такой подход позволил распределить нагрузку, контролировать ход тестирования и отслеживать реакцию сотрудников на различных этапах проведения проверки. Рисунок 9. Активные мероприятия Результаты атакБыли получены следующие результаты:Иммунность — 81 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 71 %.Уровень риска — 8, средний. Устойчивость формируется, но есть ещё риски. Рисунок 10. Общая информация после проведения первичного тестирования Самый низкий уровень иммунности — около 50 %, после первых двух волн атак. Рисунок 11. График иммунности во время первичного тестирования Далее — сформировали в системе отчёт по скомпрометированности сотрудников, на основании которого выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Рисунок 12. Отчёт по скомпрометированности всех сотрудников в Phishman 2.35 Таблица 1. Результаты первичного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот04,76 %4,76 %Продажи04,76 %9,52 %Продюсеры 0023,8 %Редакция0019,04 %Руководитель000 ОбучениеПервичное тестирование завершено, поэтому следующим этапом стало определение группы риска и формирование программы обучения.Формирование учебной группыНа этапе отбора рассматривались два варианта формирования учебной группы. Первый предполагал использование показателя иммунности сотрудников. Второй вариант заключался в создании правила, автоматически формирующего список сотрудников, которые были скомпрометированы в ходе проведённых проверок. Этот подход позволял сразу получить выборку пользователей, продемонстрировавших наибольшую подверженность атакам, без ожидания обновления показателей.Был выбран второй вариант. На основании созданного правила была сформирована группа для обучения: в неё вошли люди, которые были скомпрометированы в ходе первичного тестирования. Рисунок 13. Создание правила для выявления группы риска Рисунок 14. Отчёт по отработанному правилу для выявления группы риска Отдельно была сформирована группа сотрудников, успешно распознавших фишинговую атаку, для участия в обучении, направленном на поддержание киберкультуры.Составление образовательной программы по повышению киберкультурыПопавшиеся сотрудники были включены в отдельную учебную группу, для которой сформировали персональную образовательную траекторию. В неё вошли 3 микрокурса по фишингу и 1 курс по информационной безопасности. Содержание траектории было направлено на повышение устойчивости к методам социальной инженерии и снижение вероятности компрометации учётных данных. Рисунок 15. Заполнение параметров обучения сотрудников Рисунок 16. Составление учебной программы Отдельно была запущена программа обучения для сотрудников, которые не попали в выборку по результатам правила.Процесс обучения и его результатыПервый отчёт мы сформировали через 2 дня после запуска обучения, что позволило получить предварительную оценку вовлечённости сотрудников. Анализ данных показал, что наибольшую активность на начальном этапе продемонстрировали сотрудники, которые попались на фишинг. Рисунок 17. Промежуточный анализ обучения Через неделю после запуска обучения провели повторный анализ прогресса, включая оценку прохождения курсов и выявление участников, не приступивших к обучению. Рисунок 18. Отчёт по динамике обучения в Phishman 2.35 Анализ показал, что часть сотрудников не завершила обучение в установленный срок. Для обеспечения максимального охвата было принято решение о продлении сроков прохождения курсов. Рисунок 19. Продление и корректировка процесса обучения В результате фактическая продолжительность обучения составила 2 недели, что превысило первоначально установленный срок в одну неделю. Но и этого времени не хватило нашим сотрудникам. Чтобы узнать, кто оказался более ответственным, воспользовались возможностями правил. Рисунок 20. Пример настройки правила по выявлению сотрудников, прошедших обучение В результате была получена информация о сотрудниках, полностью и частично прошедших обучение. Рисунок 21. Отчёт по сработанному правилу по выявлению сотрудников, прошедших обучение Рисунок 22. Отчёт по сработанному правилу по выявлению сотрудников, частично прошедших обучение Результаты обучения:полностью прошли обучение — 52 %;частично — 22 %;не прошли обучение — 26 %.Мы проанализировали список сотрудников, не приступивших к обучению, и выяснили, что это те, кто не попался на фишинг во время первичного тестирования.Среди сотрудников, которые попались на фишинг, 80 % прошли обучение, остальные — прошли его частично. Рисунок 23. Результаты обучения сотрудников «АМ Медиа» Вместе с тем за этот период были зафиксированы положительные изменения в ключевых показателях: уровень обученности достиг 9 319 баллов, а показатель киберосознанности — 7 561 баллов. Несмотря на положительную динамику, полученные значения оставались гораздо ниже целевых ориентиров, что свидетельствует о необходимости дальнейшей работы по повышению вовлечённости сотрудников и развитию киберкультуры.Повторное тестированиеПовторное тестирование проводилось по тем же этапам, что и первичное: подготовка шаблонов, тестирование и проведение атак. Как и на первом этапе, основной задачей было сделать письмо максимально похожим на стандартную рабочую переписку, соответствующую реальным бизнес-процессам нашей компании.Подготовительный этап повторного тестирования потребовал дополнительных временных затрат, связанных с регистрацией новых доменов и расширением сценариев атак с учётом результатов первичного тестирования.Волна 1. Сценарии формировались не только для отдельных подразделений, но и адресно для конкретных сотрудников, что позволило повысить реалистичность и точность имитации фишинговых атак. Запустили несколько атак, для каждой из них были разработаны индивидуальные шаблоны электронных писем и соответствующие фишинговые формы. Тип атаки — обычный, время начала рассылки — по запланированному времени. Рисунок 24. Пример фишингового письма для первой волны Рисунок 25. Пример фишинговой формы для письма из первой волны Волна 2. Вторая волна представляла собой массовую фишинговую кампанию. Для неё был создан и настроен пользовательский шаблон, основанный на триггерах срочности и страхе финансовых потерь. Тип атаки — обычный, время начала рассылки — сразу, при запуске атаки. Рисунок 26. Пример фишингового письма для второй волны Тестирование доставки писем и корректности отражения результатов в статистике прошло успешно.Результаты атакВ повторном тестировании приняли участие уже 23 человека. Увеличение числа участников на 2 человека связано с подключением новых сотрудников к нашему эксперименту. Резких скачков иммунности здесь не наблюдалось. Рисунок 27. График иммунности во время повторного тестирования Для дополнительной оценки мы и здесь также выполнили самостоятельный анализ результатов по отделам без учёта результатов тестирования шаблонов атак. Таблица 2. Результаты повторного тестирования по отделамОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДокументооборот000Продажи008,7 %Продюсеры 008,7 %Редакция8,7 %08,7 %Руководитель000 Мы также посмотрели, как себя показали сотрудники, которые не прошли обучение, в повторном фишинговом тесте. По данным отчёта, в первой волне повторного тестирования на фишинг попались 40% из всех, кто не обучался. Рисунок 28. Поиск информации о сотруднике в отчёте по атакам Подведение итогов После завершения всех этапов эксперимента мы получили следующие показатели:Иммунность — 76 %. Хороший иммунитет, большинство реагирует правильно. Охват аудитории (повторно попались на фишинг) — 91,3 %.Уровень риска — 7, средний. Рисунок 29. Информационная панель Phishman 2.35 после завершения эксперимента После обучения и повторного тестирования добавились другие показатели:Обученность — 11 / 100. Знания отсутствуют, обучение следует начать с базового уровня.Киберосознанность — 10 / 100. Низкий уровень, сотрудники не знают, как действовать в случае угроз.Часть результатов сравнили и представили их в таблице ниже. Таблица 3. Сравнение показателей киберкультуры до и после обученияПоказательДо обученияПосле обученияОбученность09319Иммунность81 %76 %Киберосознанность 07561Охват аудитории (повторно попались на фишинг)71 %91,3 %Уровень риска87 Также проанализировали действия сотрудников после обучения и сравнили их с результатами первичного тестирования. Таблица 4. Сравнение действий сотрудников до обучения и послеОтделЗаполнили формуОткрыли вложенияОткрыли ссылкуДо обученияПосле обученияДо обученияПосле обученияДо обученияПосле обученияДокументооборот004,76 %04,76 %0Продажи004,76 %09,52 %8,7 %Продюсеры 000023,8 %8,7 %Редакция08,7 %0019,04 %8,7 %Руководитель000000 Рисунок 30. Процент попавшихся на фишинг до обучения и после по отделам Если во время первичного тестирования попалось 22 % участников, то после обучения этот показатель уменьшился и стал 12 %. Рисунок 31. Общий процент попавшихся на фишинг до обучения и после Результаты повторного тестирования показали, что, несмотря на заметное снижение количества взаимодействий с фишинговыми письмами, часть сотрудников по-прежнему выполняет действия, свидетельствующие о подверженности атакам. Это ожидаемый результат, поскольку киберкультуру невозможно сформировать за столь короткое время. Речь идёт о длительном процессе, который требует регулярной работы как со стороны специалистов по информационной безопасности, так и со стороны самих сотрудников.Наш эксперимент позволил проверить знания сотрудников, провести обучение и затем оценить, насколько полученные знания закрепились на практике. Однако с точки зрения развития киберкультуры — это лишь один из этапов работы, а не её завершение.Сложности, с которыми мы столкнулисьОсобенность нашего эксперимента — организация предварительного тестирования. Перед запуском каждой атаки мы проверяли её работу на собственном аккаунте, чтобы убедиться в корректной отработке сценария на стороне пользователя. Такие проверки попадали в общую статистику системы и оказывали влияние на итоговые показатели. Возможность исключить подобные события из расчётов отсутствует. Согласно комментариям вендора, для этих целей следует использовать отдельный тестовый стенд. Поэтому мы вели дополнительно самостоятельный анализ результатов эксперимента.Отдельные сложности возникли на этапе обучения сотрудников. Завершить обучение в установленные сроки не удалось из-за человеческого фактора. Не все участники смогли своевременно пройти назначенные материалы, что потребовало увеличения периода обучения и дополнительного контроля за его прохождением.Впечатления от проекта команды «АМ Медиа»Проведение тестирования не вызвало негативной реакции со стороны сотрудников. Хотя фишинговые сообщения активно обсуждались внутри коллектива, жалоб руководству или недовольства вида «зачем вообще было устраивать такую проверку» не возникло. Основной интерес был сосредоточен вокруг самих писем и попыток понять, что именно происходит.Реакция сотрудниковОдним из самых любопытных наблюдений стала реакция сотрудников после первой волны первичного тестирования. Полученные фишинговые сообщения быстро стали предметом обсуждения: сотрудники пересылали их друг другу, задавали вопросы коллегам и пытались разобраться, что происходит.Некоторые пошли ещё дальше и вступали в переписку с отправителем, воспринимая фишинговые письма как реальные рабочие сообщения. Это наглядно показало не только убедительность используемых сценариев, но и то, что практическое столкновение с угрозой вовлекает сотрудников в тему ИБ гораздо сильнее, чем абстрактные примеры из учебных материалов. Во время повторного тестирования такой реакции уже не возникло.Реакция организаторовЕсли для большинства сотрудников тестирование выглядело как неожиданно появившиеся письма в почте, то для команды, которой было поручено тестирование Phishman 2.35 этот проект сопровождался совсем другими эмоциями. Подготовка сценариев, запуск атак и ожидание результатов вызывали ощутимое волнение. Оказалось, что смотреть на ситуацию глазами злоумышленника не так просто, как может показаться со стороны. Приходилось постоянно задавать себе вопросы: какой сценарий покажется правдоподобным, что привлечёт внимание сотрудника, а что, наоборот, вызовет подозрения.Самыми напряжёнными были дни первой волны тестирования. На этом этапе ещё не было понимания, как сотрудники отреагируют на рассылки, насколько убедительными окажутся сценарии и не вызовет ли проверка негативной реакции внутри коллектива. С каждой новой зафиксированной активностью интерес смешивался с тревогой, а результаты ожидались едва ли не с большим нетерпением, чем сам запуск кампании.После завершения эксперимента стало легче: всё задуманное удалось реализовать, результаты были получены и проанализированы. Тем не менее полностью избавиться от мыслей о проделанной работе не получилось. Время от времени возвращаешься к отдельным этапам и задаёшься вопросом: а стоило ли сделать именно так? Может быть, какой-то сценарий можно было построить иначе, а какие-то решения принять по-другому?Наверное, это естественная часть любого практического проекта. Когда работа заканчивается, появляется возможность посмотреть на неё со стороны и критически оценить собственные решения. Именно в такие моменты часто приходят идеи, которые помогают сделать следующие проекты лучше.Сотрудничество с вендоромВ ходе подготовки и проведения эксперимента иногда возникали вопросы, связанные с настройкой платформы, особенностями реализации отдельных сценариев и интерпретацией результатов. Для их решения использовались как переписка, так и рабочие созвоны. Запросы обрабатывались оперативно, что позволяло своевременно получать необходимую информацию и не допускать задержек в выполнении работ. Поддержка была доступна не только в рабочее время, но и в выходные дни.ВыводыПовторное тестирование показало, что тщательно подготовленные и персонализированные фишинговые атаки значительно эффективнее. При наличии качественной разведки злоумышленники способны подобрать убедительный сценарий практически для любого сотрудника. А если специалист может ошибиться, то сотруднику, который не занимается вопросами ИБ каждый день, сделать это ещё проще.Работа в сфере информационной безопасности или информационных технологий сама по себе не защищает человека от фишинга, социальной инженерии и других современных атак. Мы убедились в этом на собственном опыте: даже профильные знания не гарантируют, что человек не попадется на хорошо продуманную атаку. Злоумышленники постоянно меняют сценарии, поэтому знания, полученные однажды, быстро устаревают.При помощи эксперимента мы не только проверили, насколько сотрудники готовы распознавать атаки, но и поняли, как с помощью Phishman 2.35 можно сделать работу по развитию киберкультуры системной. Вместо отдельных курсов появился понятный цикл: смоделировать атаку, оценить реакцию, провести обучение и проверить, изменилось ли поведение участников. При необходимости — повторить или скорректировать процесс при помощи рекомендаций платформы. Результаты фиксируются автоматически, поэтому можно видеть, какие темы требуют больше внимания, и развивать киберкультуру на основе реальных данных, а не предположений.Читать далее
    • PR55.RP55
×