инкрементное обновление сигнатур и критериев поиска

[santy 151]

иногда процессы мышления протекают параллельно

----------------

в связи с добавленной возможностью инкрементно обновлять списки безопасных файлов, предлагается обсудить возможность обновления сигнатур, и критериев поиска.

обновление можно сделать доступным либо внутри группы, работающей по одной подписке. (доверие к данным хелперов работающим внутри одной подписки, конечно будет выше). либо обновление доступно всем группам, работающим по подписке с ненулевым балансом.

/// обновление сигнатур и критериев должно происходить без списания бтк с баланса подписки. ///

по идее, удобнее передавать не отдельные сигнатуры и критерии, а селектированные (выбранные).

соотвественно в uVS функции импорта расширяются: импортировать из файла, импортировать с сервера обновлений.

в uVS добавляются функции экспорта: сигнатур, критериев поиска. (в файл, на сервер обновлений)

сигнатуры и критерии поиска должны быть определенным образом документированы.

желательно в наименовании сигнатуры использовать детект оф. вирлаба

наименование критерия должно содержать краткое наименование проблемы, которая определяется данным критерием.

[demkd 566]

либо обновление доступно всем группам, работающим по подписке с ненулевым балансом

Это скорее всего смысла не имеет, лучше таки по первому варианту, у каждой группы свои базы.

И возможно стоит делать импорт/экспорт в ручном режиме, т.е. загрузить список, оставить в нем только новые записи и пользователь решит сам что ему из этого необходимо, полный автомат тут может оказаться лишним.

[santy 151]

И возможно стоит делать импорт/экспорт в ручном режиме, т.е. загрузить список, оставить в нем только новые записи и пользователь решит сам что ему из этого необходимо, полный автомат тут может оказаться лишним.

т.е. все что есть в обновлении сигнатур и критериев (на сервере) добавляется в базу автоматически (если только не дублирует уже, то что есть), а затем в ручном режиме вычищается ненужное и оставляется полезное на усмотрение пользователя?

в таком случае, надо чтобы после импорта новые, добавленные записи были как то выделены в списке.

[PR55.RP55 79]

Santy

1) Критерий поиска должен создавать сам оператор - Оператор должен понимать не только, на обнаружение чего заточен критерий - но и как именно он работает - иметь возможность при необходимости его скорректировать.

2) Сигнатуры - нет смысла.

Много ложных срабатываний.

Есть смысл только при увеличение длинны сигнатуры = надёжность.

[santy 151]

ну так есть смысл добавлять в апдейт только проверенные и крайне полезные сигнатуры, опять же их можно будет удалить из списка - это уже на усмотрение хелпера. Кто то может вообще не будет выполнять обновление сигнатур с сервера.

по критериям, конечно все сложнее будет, поскольку у каждого из нас сложилась какая то своя система вычислений подозрительных файлов.

но в целом, имеет смысл двигаться в направлении какой-то общей базы сигнатур и критериев. может быть, со временем и серверный увс заработает. .

[demkd 566]

ну вы подумайте, может придете к общему мнению, как оно вам нужно

[PR55.RP55 79]

Создать "облако"

Оператор заходит на сайт: dsrt.dyndns.org/

В разделе критерий поиска выбирает: Задать новый критерий.

Открывается стандартная форма для создания/заполнения - форма аналог из uVS.

+ Форма < > Комментарий.

Таким образом задаются критерии поиска.

Создаётся общая накопительная база.

После чего АВТОМАТИЧЕСКИ происходит сравнение данных/значений/параметров заложенных/заданных

при заполнении формы.

Поле чего происходит отбор данных по частоте повторения - встречаемости.

Оптимизированный вариант и есть облачная база.

В меню uVS появляется опция: "Применить оболочную базу критериев"

Соответственно реализовать функцию обновления по средством: update.exe

[demkd 566]

PR55.RP55

если разрешить это делать каждому желающему... или хотя бы десятку человек то кончится это кучей мусора, не более того,

поэтому я лично за приватные базы, т.е. для каждой группы свои базы, которые они и ведут.

[santy 151]

demkd,

по обновлению сигнатур такие мысли и сомнения.

1. желательно добавить дату создания сигнатуры, которую можно считать не от текущей даты, а от даты создания образа.

2. чтобы удобно было сортировать сигнатуры по дате создания и выбирать для экспорта на сервер свежие сигнатуры.

3. экспортировать сигнатуры желательно списком: выделить из общего списка сигнатур, то что хелпер считает нужным для экспорта на сервер (и обмена с сотоварищами по подписке), и выполнить функцию экспорта на сервер.

4. желательно добавить флаг (или признак) - активная сигнатура или неактивная сигнатура. (по неактивной сигнатуре - детект не засчитывать).

(возможно, например, длину активной части установить равной нулю, чтобы uVS знал, что это неактивная сигнатура.)

это необходимо для того, что если по некоторой сигнатуре есть ложное срабатывание, то после удаления ее из списка в локальной системе она может опять попасть в список через функцию импорта с сервера.

5. обмен сигнатурами через сервер выполняется для хелперов, которые работают по одной подписке.

6. функцию автоматического апдейта сигнатур можно добавить в updater, и сделать бесплатным в том случае, если есть накопленные бонусы за обновление хэшей системных файлов. (или вообще бесплатным, поскольку важно оперативно добавить новые сигнатуры).

7. хелперам внутри подписки можно договариваться какого типа сигнатуры нужны для обмена, например по определенным типам вирусов_троянов.

[PR55.RP55 79]

По сигнатурам.

И всё таки могут и должны быть сигнатуры которые работают только на определение угрозы.

Они выделяют файл из списка.

После чего Оператор работает с найденным объектом - и принимает решение какой метод удаления в данном случае будет оптимальным.

К примеру:

Файл скрытый/системный = 1 балл.

Файл в Temp = 1 балл.

Нет подписи = 1 балл.

Цифровая подпись аннулирована = 1 б.

Файл = сигнатурное определение = 2 балла.

Набрал к примеру 4 и в скрипт автоматически добавляются команды на удаление объекта.

* Это просто размышление по теме.

[santy 151]

По сигнатурам.

...

Набрал к примеру 4 и в скрипт автоматически добавляются команды на удаление объекта.

* Это просто размышление по теме.

RP55, можно ведь создать критерий поиска на temp/системный/цифровая

т.о. объект попадет в подозрительные со статусом ?ВИРУС? (если нет на него сигнатуры)

а после автоскрипта (если не был отменен статус объекта через shift+space) в скрипт будет добавлена команда

delref/delall или delref&del

[PR55.RP55 79]

Santy

Согласен.

[santy 151]

demkd,

возвращаясь к механизму обновления сигнатур

 

 

Это скорее всего смысла не имеет, лучше таки по первому варианту, у каждой группы свои базы. И возможно стоит делать импорт/экспорт в ручном режиме, т.е. загрузить список, оставить в нем только новые записи и пользователь решит сам что ему из этого необходимо, полный автомат тут может оказаться лишним.

оптимальный механизм нужен.

даже для одного пользователя. приходится работать с нескольких машин.

и иногда уже тупо не хватает времени на то, чтобы отработать на одном компе, откопировать базу сигнатур куда то: (в почту, на сайт, на USB)

затем все это в обратном порядке забрать на другой комп и через импорт добавить в базу.

 

вопрос по новым записям - как мы их определяем? что они новые, поскольку даты создания сигнатуры нет.

 

+

имхо, нужен администратор (внутри одной подписки) этой сетевого списка, который управлял бы (синхронизацией) добавлением_исправлением_удалением записей из базы.

при том, что другие участники подписки могли бы обновить базу либо полностью, либо частично, либо выборочно.

[demkd 566]

@santy,

Я могу предложить, что база таки должна быть одна для одного акка, загружать соотв. может тот кто имеет специальный ключ,

а пользователь либо получает лишь все новые сигнатуры, либо получает идентичную копию базы, а вот выборочно я не уверен что это вообще кому-то надо.

[santy 151]

demkd,

>>>>а пользователь либо получает лишь все новые сигнатуры, либо получает идентичную копию базы, а вот выборочно я не уверен что это вообще кому-то надо.

а как ты будешь определять  -новая это сигнатура или нет?

---------

насчет выборочно, согласен. слишком хлопотно выбирать из большущего списка.

+ вопрос: что значит получает идентичную базу? полностью переписанный с сервера файл sgns,

или просто импорт будет выполнен из полного файла, а не из нового сегмента?

[PR55.RP55 79]

santy

 

 

    

определять  -новая это сигнатура или нет?

 

1) Есть возможность добавления комментария к сигнатуре.

Можно при добавлении сигнатуры реализовать _автоматическую маркировку.

uVS смотрит системную дату-время и помещает в комментарии: 29:9:2015

----------------

+

2) В рамках комментария реализовать _авто коррекцию сигнатур.

 

http://www.anti-malware.ru/forum/index.php?showtopic=18985&page=57#entry179800

+

http://www.anti-malware.ru/forum/index.php?showtopic=18985&page=57#entry179812

---------

В комментариях вполне хватит места, чтобы добавить нужные для корректировки данные.

[santy 151]

RP55,

когда-нибудь может и доживем до автокоррекции,

это никак не связано с автообновлением сигнатур и критериев.

(ты бы уж сразу издал книгу предложений и выложил ее в доступ для чтения всем желающим  )

 

а пока, малыми шагами реализовать бы импорт_экспорт сигнатур через сетевой сервис. быстрее и эфффективнее будет обмен идти.

а затем и базы snms с хвостами и без..

[PR55.RP55 79]

santy

 

Синхронизация данных ( данных одного оператора ) вещь хорошая.

но...

Сколько операторов будет работать с синхронизацией ?

 

5-7 человек.

 

И ради этого мучить Demkd

вести разработку проекта...

Я понимаю когда, что -то создаётся для сотен пользователей, а так лучше поработать над автокоррекцией при работе с сигнатурами...

-----

А uVS  можно и на флешке с собой носить.

и что-то вроде этого: https://www.dropbox.com/

Да и сеть не всегда есть.

Так, что синхронизация _теоретически вещь хорошая (и я за синхронизацию )

вот только не в коня аллигатор...

[santy 151]

RP55,

ну пока что я вижу это больше мучает тебя. поскольку ты пытаешься увести обсуждение в другое русло.

1. механизм синхронизации (и сигнатур и критериев) был уже давно задуман.

2. по подписке работает не один человек, а несколько

3. флэшки имеют способность забываться, затираться, оставляться на работе и в других местах,

4. а сколько вообще работает хелперов плотно с uVS. именно 5-10человек, из тех что известны.

(остальные в качестве поставщиков образов, проблем, сигнатур и критериев)

[santy 151]

demkd,

возможно у тебя уже есть какой-то план модификации структуры баз сигнатур.

имхо, мои соображения следующие:

1. если вернуться к идее создания и актуализации сетевой базы сигнатур, то в этом случае по структуре sgns необходимо добавить и поддерживать поля:

1. дата добавления сигнатуры в локальную базу хелпера.
2. дата добавления сигнатуры в сетевую базу администратора.
3. кем была добавлена сигнатура в сетевую базу - это инфо, производное от учетной записи подписчика.
4. поле комментариев пока не используется, возможно от него можно отказаться.
5. категория сигнатур: вирус (VIR), троян (TROJ), червь (WORM), адваре (ADW), руткит (RTKIT), рансом (RANSOM), прочее (OTHER)

2. понятно, что с сетевой базой сигнатур, которая хранится на сервере данных uVS могут работать только подписчики: экспортировать и импортировать сигнатуры.

Импорт сигнатур из сетевой базы происходит на тех же условиях, что и импорт хэшей SHA, файлов для STORE и т.д.

3. если сигнатура добавлена из локальной базы в сетевую, то информацию по данной сигнатуре (в сетевой базе) может редактировать только администратор (например, менять имя сигнатуры, категорию)

4. в локальной базе хелпер может модифицировать базу как ему угодно, за исключением даты добавления в сетевую базу, кем добавлено. Если данная сигнатура добавлена в сетевую базу, она уже не может быть изменена при новом экспорте из локальной базы. (только администратором).

 

таким образом, хелпер может пополнить свою базу сигнатур несколькими способами:

1. импортом из скрипта, при этом устанавливается дата добавления в локальную базу
2. извлечением сигнатуры из файла, при этом устанавливается дата добавления в локальную базу;
3. извлечением сигнатуры из образа автозапуска;
4. импортом из другого локального файла sgns, при этом устанавливается дата добавления в локальную базу
5. импортом сигнатур из сетевой базы, при этом устанавливается дата добавления в локальную базу

5. при экспорте сигнатур в сетевую базу устанавливается имя сигнатуры, категория, дата добавления в сетевую базу. (она больше не меняется), кем добавлено.

6. имхо, подписчики могут импортировать сигнатуры, добавленные хелперами из разных групп (учетных записей).

7. понятно, что добавленные даты здесь имеют субъективное значение, никак не влияют на детектирование, и могут быть использованы хелпером лишь для управления своей локальной базой.

8. поскольку есть тенденция у некоторых хелперов чистить "старые" сигнатуры из локальной базы, то возможно следуют создать шаблон для обновления сигнатур из сетевой базы: например, импортировать сигнатуры, добавленные только  в текущем году, только с определенной категорией, добавленные только  с определенной учетной записи. (чтобы заново не перекачать из сетевой базы, то что было удалено).

9. при импорте из сетевой базы, (и возможно, из локальной базы sgns) следует создать бак версию текущей базы. на всякий случай. и возможно добавить возможность отката к бак версии. хотя это можно сделать и вручную.