Mag3d

Интересно ваше мнение:разработка интеллектуального алгоритма

В этой теме 13 сообщений

Очень интересно услышать ваше мнение:

я пытаюсь разработать алгоритм обнаружения вирусов, при этом:

1) на вход подается исполняемый файл;

2) распаковывается (если чем-то упакован) - частично решена задача;

3) дизассемблирую виртуальный образ - решена задача;

4) строю диаграмму потоков управления (смысл в диаграмме - перечисление всех возможных путей выполнения программы (трасс)) - частично решена задача;

5) на этой диаграмме выделяю языковые конструкции, характерные для вирусов (по-большому счету всеравно: хоть программных закладок) - только начал классификацию признаков делать;

Для программных закладок - последовательности вызовов (но их я не рассматриваю), для вирусов - конструкции языка.

6) далее подается либо на нейросетевой анализатор (подобно AVZ), либо распознование с помощью структурного метода (формальные грамматики).

Как вы считаете насколько такой антивирус будет эффективен для новых, модифицированых, упакованных вирусов?

Если есть уже такая реализации (максимально близкая), то какой антивирус?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Mag3d

очень похоже на анансированное творение майкрософта.

только начал классификацию признаков делать;

в этом как раз и вся проблема.

Как вы считаете насколько такой антивирус будет эффективен для новых, модифицированых, упакованных вирусов?

если полностью решите задачу 2 - то эффективен для упакованных

если качественно решите задачу 5 - то эффективен для модифицированных

обнаружение новых реализаций старых конструкций зависит от задачи 3.

А вот обнаружение абсолютно новых вирусов - это дело вашей опытности и изобретательности и касается п 5.

короче вы пишите ещё один эвристик?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
...насколько такой антивирус будет эффективен для новых... вирусов?

Любой алгоритм является замкнутой системой (по моему).Новых вирусов вне рамок он детектить как таковых не будет,даже если и констатировать факт новой деятельности/файла сможет,что само по себе,я думаю,очень сложно.Узнать,что есть новая деятельность,которая вне рамок,можно задавая вопросы и отдавая в руки другого сказать.Теоретически такая связка гарантирует 100%-ую защиту.Можно раздвигать рамки,но не до бесконечности.Таким образом безвопросная прога имеет всегда дыру - что вне рамок.Есть,конечно,отдельный случай,где безвопросная (но констатирующая новую деятельность/файл) прога гарантирует 100%-ую защиту - правило "запрещено всё,что не разрешено" (только логи нужны,чтобы потом разобраться,что разрешить).Но это оказывается хуже при углублении.Наверно,этого не избежать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Для упаковщиков я сделал эмулятор IA32 и некоторых мех-мов ОС: SEH, TEB, PEB.

Правда не могу с эмулировать обработку многокаскадных seh, как в Yoda например, что-то не могу сообразить в чем проблема - где-то ошибся.

А простенькие упаковщики типа UPX, PeCompact, AsPack, NsPack, WinUpack, PeTite хорошо распаковывает.

C дизассемблером известная проблема:

регистровые (и подобные) переходы при условии, что вычисление значения выполняется по ходу программы. А так я реализовал принцип как в ide по прологам распознование начал функций.

> очень похоже на анансированное творение майкрософта.

А где это можно по-подробнее прочитать?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Mag3d, интересный алгоритм, на мой взгляд, по сути это получается эвристик, качество которого будет зависить от успешности разработки в п. 5. (выделение языковых конструкций, характерных для вирусов).

Изюминка аглоритма, конечно, - п. 6, о чем-то похожем я лично не слышал.

Как вы считаете насколько такой антивирус будет эффективен для новых, модифицированых, упакованных вирусов?

Если есть уже такая реализации (максимально близкая), то какой антивирус?

Для новых модификаций, такой алгоритм обещает быть эффективным (мое мнение), а вот так быть с так называемыми угрозами zero-day, которые наиболее опасны? Когда вдруг появляется вредоносная программа с новыми свойствами, эксплотирующая неизвестную до этого уязвимость.

Добавлено спустя 44 секунды:

А где это можно по-подробнее прочитать?

Вот тут обсуждение этой новости идет

http://www.anti-malware.ru/phpbb/viewtopic.php?t=756

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mag3d

очень похоже на анансированное творение майкрософта.

Ничего подобного. Подозреваю, что у Microsoft исследуемая программа просто запускается в песочнице.

только начал классификацию признаков делать;

в этом как раз и вся проблема.

Экспертно это не делается. В Microsoft прогоняют все по коллекции различных файлов. Елси у вас такой коллекции нет, то никто вам советом не поможет, что считать критерием, а что нет.

Как вы считаете насколько такой антивирус будет эффективен для новых, модифицированых, упакованных вирусов?

Конечно будет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ничего подобного. Подозреваю, что у Microsoft исследуемая программа просто запускается в песочнице.

запуск в песочнице может не выявить всех угроз.

Например отложенный запуск.

Но как метод выявления основных признаков, конечно самый быстрый и интересный.

Изюминка аглоритма, конечно, - п. 6,

это всего на всего решающее правило.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Позвольте мне вставить свои пять копеек, что главным является не то, как именно устроен алгоиртм, а как он развивается, так как все в этой жизни меняется. На мой взгляд все "просто".

1. Создается единый алгоритм анализа

2. Он прогоняется по огромной базе вредоносного кода и легитимных файлов.

3. С каждыой ошибкой проводится разберательство и

- либо меняется алогритм.

- либо только некоторые веса (это может быть сделано автоматически, тогда речь идет об обучении нееросети или линейной регрессии).

- либо добавляетя сигнатура легитимного, но очень подозрительного файла или вредонсоного, но очень порядочно выглядящего с точки зрения разрабоатываемой эвристики.

4. Полученный алгоритм регулярно обкатывается на новой партии вредоносного кода и определяется, что в нем нужно подкрутить.

5. "подкручивание" выпускается в виде обновления для пользователей.

6. "эффективность" --- это сколько ловит всякого нового алгоритм между обновлениями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. Создается единый алгоритм анализа

и всего то. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. Создается единый алгоритм анализа

и всего то. :)

Я пециально взял "просто" в кавычки. Я это все к тому, что нельзя экспертно указать, какой алгоритм будет эффективен, так как пока он будет разработан, многое изменится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

но при использовании указанных выше решающих правил, может решится проблема с ростом баз обновлений.

Но не надо забывать, что нейросеть это прежде всего действия над матрицами, а это в свою очередь процессорное время.. Короче при некоторой размерности тормозить будет жутко.

Добавлено спустя 1 минуту 5 секунд:

какой алгоритм будет эффективен, так как пока он будет разработан, многое изменится.

да да!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Но не надо забывать, что нейросеть это прежде всего действия над матрицами, а это в свою очередь процессорное время.. Короче при некоторой размерности тормозить будет жутко.

Согласен, но весь этот же алгоритм распознавания можно реализовать и спомощью обычной булевой алгебры, но размерность задачи будет существенно выше (получиться переборная задача), нейросеть же будет все же быстрей (я предполагаю - исследования покажут).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

всё таки, решающее правило тут не самое главное..

хотя смотря какие задачи решать :)

Если нейросеть или что-то другое использовать именно для классификации и при этом полность полагаться на классификации, то это уже нечто другое :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • ViktorFazz
      я себе недавно построил тоже)))
    • AM_Bot
      В статье рассказано о возможностях системы StaffCop Enterprise 4.1 в части аналитики поведения пользователей и выявления аномалий. StaffCop Enterprise — это специализированный продукт с функциями UEBA, DLP и SIEM. Он предназначен для решения комплекса задач по защите от утечек информации, расследования инцидентов внутри организации, контроля бизнес-процессов и мониторинга использования рабочего времени сотрудниками.   ВведениеСбор данныхСтатистический анализИнтеллектуальный анализ. Автоматический детектор аномалийПредупреждение и расследованиеДополнительные возможности StaffCopВыводы  ВведениеОдна из основных, самых серьезных угроз для бизнеса сегодня — это утечки конфиденциальной информации. Как правило, источниками таких угроз являются недобросовестные сотрудники компаний — инсайдеры. Инсайдером может стать абсолютно любой сотрудник: и молодой сисадмин, и сотрудница бухгалтерии. Мотивы у них могут быть совершенно различные: подкуп со стороны конкурентов или заинтересованных лиц, шантаж, личная выгода и многое другое.Традиционно для защиты от утечек применяются системы класса DLP. Но чем сложнее и изощреннее становятся методы атак, тем сложнее DLP-решениям контролировать потенциальные каналы утечек. Классический алгоритм выявления инсайдеров и предотвращения утечек (настроить правило контроля/блокировки — получить уведомление об утечке) работает уже не так эффективно: выявить утечку данных сложно и долго, если, например, «слив» произошел через разрешенные каналы (USB-носители, мессенджеры) и пользователь при этом имел санкционированный доступ к ресурсам.Одним из новых, но достаточно эффективных методов детектирования инсайдеров стал анализ поведения пользователей и выявление аномалий в их поведении. Подход подразумевает, что необычная активность, не соответствующая стандартному профилю, может более точно указывать на потенциальные инциденты информационной безопасности. По классификации Gartner, этот класс решений называется User and Entity Behavior Analytics (UEBA). Это новый тренд, активно набирающий обороты на рынке информационной безопасности. Решения этого класса анализируют образцы поведения пользователей, применяя специализированные алгоритмы и статистический анализ для детектирования значительных аномалий в поведении, указывающих на потенциальные угрозы. Таким образом, UEBA призваны заблаговременно обнаружить и предупредить об отклонениях в поведении.StaffCop Enterprise, о котором мы подробно поговорим в этой статье, — это специализированный продукт с функциями UEBA, DLP и SIEM. Он помогает решать комплекс задач по предотвращению утечек информации, расследованию инцидентов, если таковые произошли, а также контролировать бизнес-процессы и то, как рабочее временя используется сотрудниками. Сбор данныхИнформационная безопасность складывается из двух взаимодополняющих частей: предупреждение и расследование инцидентов. Оба механизма работают быстро и эффективно благодаря архитектуре StaffCop: агенты на рабочих станциях собирают информацию (события), а вся обработка происходит на выделенном сервере.Каждый тип события имеет свой набор измерений, по которым события разных типов могут быть связаны между собой. Каждое событие имеет стандартный набор измерений — данные о компьютере, пользователе, дате и времени, а также собственные атрибуты характерных для данных событий. Например, события типа «почта» имеют дополнительные измерения — данные о приложении, атрибуты, специфичные для диалогов: направление (входящие/исходящие), отправитель, получатель, формат сообщения, канал общения, участники переписки. Рисунок 1. Контроль каналов утечки информации Типы событий в StaffCop Enterprise:время активности — данные о наличии активности;ввод с клавиатуры;вход/выход из системы;посещение сайтов;операции с файлами;сеть — события, связанные с сетевыми подключениями, содержат информацию об IP-адресе подключения и сокете;снимок экрана;снимок с веб-камеры;запись с микрофона;внешние диски — данные об операциях со съемными USB-накопителями;установка ПО — факты установок и деинсталляции программного обеспечения;буфер обмена;интернет-пейджер;почта;перехваченный файл;устройства — данные о подключении и отключении USB-устройств, в том числе тех, которые не являются накопителями;активность — данные, собранные при помощи модуля контроля присутствия на рабочем месте;системный лог — используется для хранения логов агента при отладке;печать документов. Статистический анализВ основе StaffCop Enterprise лежит технология комплексного многомерного анализа данных OLAP, которая позволяет строить многомерные отчеты «на лету» и обрабатывать огромные объемы данных за секунды.Давайте рассмотрим несколько примеров, как в StaffCop можно анализировать поведение пользователей и быстро выявлять их опасные действия на основе статистики с помощью конструктора отчетов, различных таблиц и графиков.Поиск и расследование аномалий на примере файловых операцийЗадача: проанализировать операции копирования файлов с участием съемных носителей. Найдем отклонения от нормального поведения и всплески активности, узнаем, кто это был, что и когда было скопировано.Самым наглядным способом будет построить линейный график количества событий копирования файлов на съемные носители.  Сделать это очень просто — указать интересующий интервал времени, в конструкторе отчетов ограничить набор данных по измерениям «операции копирования», «тип диска: Removable» и выбрать вид отображения «Линейный график». Рисунок 2. Линейный график количества событий копирования файлов Невооруженным взглядом видно значительное превышение фактов копирования файлов в один из дней. При нажатии на вершину графика можно перейти к списку всех операций копирования в этот день.Для детализации данных можно просто кликнуть на нужный узел графика. На картинке ниже мы «провалились» глубже и визуализировали полученные данные с помощью гистограммы, разбив в конструкторе данные по пользователям. Рисунок 3. Детализация данных: гистограмма Если вы предпочитаете числовые значения графическому представлению можно воспользоваться таблицами. Рисунок 4. Визуализация отчета: числовые значения Стоит отметить, что все графики и таблицы имеют собственный конструктор для быстрой детализации и уточнения данных. Рисунок 5. На тепловой диаграмме можно оценить интенсивность и время всех операций исследуемого пользователя В нашем случае пользователь непрерывно копировал файлы с 11:15 до 13:37. В просмотрщике событий легко догадаться, что это исходные коды одного из дистрибутивов Linux, которые были скопированы с жесткого диска на флэш-накопитель Kingston DataTraveler 2.0 USB Device. Рисунок 6. Детализация события в StaffCop Enterprise Таким образом можно быстро и эффективно находить нетипичную активность пользователей или программ. Такие действия применимы практически к любым видам событий.Опасные действия чаще всего возникают при спонтанной активизации:обращения к личной почте;сетевая активность приложений;подключение съемных USB-устройств: флэшек, телефонов и т. п.;использование принтера;активность во внерабочее время. Интеллектуальный анализ. Автоматический детектор аномалийДля того чтобы упростить работу сотрудника службы безопасности для аналитики действий пользователей и выявления отклонений в StaffCop реализован автоматический детектор аномалий. Он анализирует поведение пользователя за выбранный период времени и показывает отклонения от нормального поведения. Рисунок 7. Автоматический детектор аномалий в StaffCop Enterprise Например, каждый сотрудник ежедневно использует одни и те же приложения примерно одинаковое число раз. Если число операций многократно превышает стандартное значение, то StaffCop Enterprise выдает такое событие за аномальное поведение, что может являться потенциальной угрозой.Поиск и расследование аномалий на примере копирования в облакоРабочая инструкция офицера безопасности предприятия может включать различный набор инструкций. В этом примере одной из таких еженедельных рутинных задач является проверка фактов копирования файлов в облачные сервисы.Детектор аномалий позволяет в автоматическом режиме находить отклонения от стандартного поведения пользователей. Для того чтобы эта функция корректно работала, необходимо задать представительный промежуток времени, чтобы система смогла построить паттерны поведения и найти в них отклонения от нормы. Поэтому выбираем 30-дневный период. Рисунок 8. Выбор временного периода для запуска Детектора аномалий Чтобы запустить Детектор аномалий, необходимо нажать соответствующую опцию в выпадающем меню Отчеты. Рисунок 9. Запуск «Детектор аномалий» в StaffCop Enterprise В появившемся отчете находим, что пользователь Oksana в семь раз превысила свою же норму копирования файлов в облачный сервис Dropbox.com. Рисунок 10. Отчет по аномалиям в StaffCop Enterprise Простой комбинацией фильтров в Конструкторе располагаем данные в отчете таким образом, чтобы название считанного с жесткого диска файла появлялось в таблице операций рядом с именем передаваемого в облачный сервис файла. Рисунок 11. В отчете StaffCop Enterprise видно, кто, когда и какие файлы передавал за периметр сети На приведенном скриншоте видно, что в 12:58:28 12 сентября 2017 г. файл «Технико-коммерческое предложение StaffCop Enterprise.docx» был считан с жестокого диска компьютера пользователя Oksana, а в следующую секунду (12:58:29) этот же файл был передан в облачный сервис.Вывод: при помощи Детектора аномалий, встроенного в StaffCop Enterprise 4.1, возможно выявлять инциденты автоматически. Предупреждение и расследованиеДля предупреждения угроз StaffCop имеет емкую библиотеку встроенных фильтров и предоставляет широкие возможности для построения собственных: это может быть ключевая фраза, файл или любое другое событие на компьютере пользователя.Кроме того, в системе предусмотрены также исключающие фильтры (анти-фильтры) — можно исключить из выборки заведомо неинтересные события. Таким образом, возможно коррелировать и фильтровать любые события, содержащиеся в базе данных. Рисунок 12. Исключающие фильтры (анти-фильтры) в StaffCop Enterprise 4.1 Способ оповещения о сработавшем фильтре можно настроить в зависимости от срочности: отправкой сообщения на электронную почту офицера ИБ или уведомлением в панели администратора StaffCop. Дополнительные возможности StaffCopStaffCop Enterprise позволяет также легко контролировать дисциплину сотрудников, выявлять блокирующие факторы и расследовать причины их появления:Учет рабочего времени сотрудников в онлайн-режиме (табель учета рабочего времени, детализированные отчеты о рабочем времени каждого сотрудника).Контроль присутствия на рабочем месте.Снимки экрана.Просмотр удаленного рабочего стола и удаленное управление.Подключение к рабочему столу пользователя осуществляется прямо из консоли администратора в браузере, при желании можно захватить управление компьютером. Рисунок 13. Удаленное подключение к рабочему столу сотрудника компании ВыводыStaffCop Enterprise представляет собой мощный набор инструментов для анализа событий и информации, что позволяет оценивать и контролировать продуктивность сотрудников за компьютерами, быстро и точно расследовать инциденты информационной безопасности внутри предприятия, а также решить широкий спектр задач, связанных с ИБ-аналитикой. С помощью StaffCop Enterprise можно контролировать критичные информационные ресурсы на предмет подозрительной активности и нетипичного поведения.Система имеет гибкую настройку фильтров и оповещений, поэтому возможную утечку или вторжение удается обнаружить на ранней стадии, чем существенно сократить последствия. Глобальная система записи всех возможных событий позволяет в случае произошедшего инцидента быстро добраться до источника утечки и точно назвать время, автора и объем утраченной информации. Тепловые карты активности, графы взаимодействий сотрудников и движения информации, настраиваемые графики событий, предустановленные и пользовательские фильтры — все это помогает отследить любой сценарий поведения. Для анализа не нужно обладать специальными знаниями: достаточно понимать, что ищешь, и просто выбирать поля в форме.Таким образом, StaffCop Enterprise позволяет сократить время, требуемое как на обнаружение реальной угрозы, так и на дальнейшее расследование инцидентов с критичными данными. Читать далее
    • Valeron
      Кто делает ставки на футбол, посоветуйте букмекера? 
    • Valeron
      Нужно уметь работать на дому)
    • Valeron