Автоматизация процессов киберразведки на основе решений класса Threat Intelligence Platform (TIP)

Автоматизация процессов киберразведки на основе решений класса Threat Intelligence Platform (TIP)

В статье кратко описываются платформы киберразведки (Threat Intelligence) — ThreatConnect, ThreatQuotinet, EclecticIQ, Anomali, MISP, YETI, приводятся их конкурентные преимущества и ключевые технологические особенности каждой платформы.

 

 

 

 

 

  1. Введение
  2. Коммерческие Threat Intelligence Platform
    1. 2.1. Anomali
    2. 2.2. ThreatConnect
    3. 2.3. ThreatQuotinet
    4. 2.4. EclecticIQ
  3. Open source Threat Intelligence Platform
    1. 3.1. Your Everyday Threat Intelligence (YETI)
    2. 3.2. Malware Information Sharing Platform (MISP)
  4. Выводы

 

Введение

В настоящее время экспоненциальный рост объема обрабатываемой информации и постоянно растущая сложность совершаемых кибератак вынуждают компании внедрять все больше решений по обеспечению информационной безопасности (ИБ). Растет количество поставщиков услуг, источников данных о киберугрозах, появляются новые классы решений, что неминуемо приводит к увеличению трудоемкости процессов обеспечения ИБ и, как следствие, к увеличению совокупной стоимости владения ИБ для бизнеса. Наиболее остро эту проблему ощущают на себе крупные диверсифицированные компании, в которых обмен информацией об угрозах и инцидентах ИБ осложнен территориальной разрозненностью филиалов и дочерних предприятий.

Быстрое обнаружение компрометации является ключевым фактором минимизации финансового, репутационного ущерба и потери данных, ведь чем дольше успешная кибератака остается незамеченной, тем дороже она обойдется бизнесу в будущем.

Классические механизмы обмена данными об угрозах и инцидентах, такие как корпоративная почта, мессенджеры, порталы SharePoint и таблицы Excel, не проходят проверку временем и по мере роста бизнеса не могут своевременно и гибко масштабироваться, вследствие чего нагрузка на специалистов и аналитиков ИБ неминуемо возрастает, а качество работы ухудшается. Для решения такой проблемы компании все чаще внедряют процесс киберразведки (англ. Threat Intelligence). Gartner дает следующее определение Threat Intelligence:  совокупность знаний, построенных на наблюдениях, включающая в себя контекст, механизмы, индикаторы, последствия и практические рекомендации о существующей или возможной угрозе.

Согласно данным опроса SANS, проведенного в марте 2017 года, 60% организаций используют Threat Intelligence, а еще 25% планируют использовать. Из тех, кто использует Threat Intelligence, 78% считают, что это помогло улучшить показатели в области безопасности и реагирования. Это на 14% больше, чем в исследовании, проведенном SANS в прошлом году.

Согласно данным аналитики Google Trends, популярность Threat Intelligence выросла в 4 раза с 2013 года, и в данный момент киберразведка является мировым трендом.

 

Рисунок 1. Динамика роста популярности Threat Intelligence

Динамика роста популярности Threat Intelligence

 

Сам процесс киберразведки можно отобразить в форме цикла, который включает в себя 5 ключевых этапов:

  1. На этапе планирования устанавливаются цели, требования к получаемой информации и расставляются приоритеты.
  2. Этап сбора включает в себя различные этапы деятельности по сбору информации для удовлетворения поставленных на первом этапе целей. Кроме собственных источников информации, на этом этапе используются и данные провайдеров Threat Intelligence, среди которых можно выделить такие компании, как Group-IB, Palo Alto, ESET, Kaspersky Lab, FireEye и др.
  3. На этапе обработки собранные исходные данные интерпретируются, транслируются и унифицируются.
  4. Подготовка данных включает в себя процесс уточнения и слияния информации, обработанной на предыдущем этапе.
  5. Заключающим этапом цикла становится распространение информации конечным потребителям, в роли которых могут выступать как внешние потребители, так и собственные подразделения ИБ в филиалах, дочерних и зависимых бизнес-единицах компании.

 

Рисунок 2. Цикл Threat Intelligence

Цикл Threat Intelligence

 

Для автоматизации этого цикла используются специализированные платформы — Threat Intelligence Platform (сокр. TIP). Безусловно, функциональными лидерами молодого рынка Threat Intelligence Platform являются такие компании, как ThreatConnect, ThreatQuotinet, EclecticIQ, Anomali. Кроме коммерческих решений, существует немалое количество альтернатив open source, однако по функциональным возможностям, регулярности обновления и поддержке сообщества можно выделить лишь две достойные альтернативы коммерческим решениям — Malware Information Sharing Platform (сокр. MISP) и Your Everyday Threat Intelligence (сокр. YETI).

 

Коммерческие Threat Intelligence Platform

Anomali

Компания Anomali является пионером на рынке Threat Intelligence Platform и выпускает свои продукты с 2013 года. Штаб-квартира компании расположена Редвуд-Сити, Калифорния. Возглавляет Anomali Хью Ньеманзе (Hugh Njemanze), бывший соучредитель, CTO и исполнительный вице-президент R&D в ArcSight, который в июле 2014 года занимал пост генерального директора.

В портфеле компании 3 платформы: Anomali STAXX, Anomali ThreatStream и Anomali Enterprise.

Anomali STAXX — бесплатная платформа, позволяющая получать фиды в открытых стандартах обмена информацией о киберугрозах STIX (Structured Threat Information eXpression) и TAXII (Trusted Automated Exchange of Intelligence Information). Интеграция с другими источниками в продукте не предусмотрена.

Достоинства:

  • бесплатная версия для небольших компаний;
  • простая установка, не требующая высокой квалификации специалистов;
  • автоматическая загрузка фидов по расписанию;
  • встроенный поисковый движок, позволяющий получать полные сведения о собираемых системой индикаторах компрометации (Indicator of compromise, сокр. IoC).

Anomali ThreatStream — платформа, осуществляющая сбор индикаторов компрометации более чем из 130 возможных источников в различных форматах. Anomali ThreatStream интегрируется с другими системами защиты и позволяет реализовать весь цикл киберразведки.

Достоинства:

  • интеграция с решениями SIEM, Firewall, IPS, Endpoint и поддержка интеграции по API;
  • извлечение индикаторов компрометации из фишинговых писем;
  • динамический анализ вредоносных программ в песочнице;
  • бренд-мониторинг, позволяющий осуществлять поиск ресурсов, незаконно использующих бренд компании.

 

Рисунок 3. Anomali ThreatStream: структура

 

Рисунок 4. Anomali ThreatStream: интерфейс

Anomali ThreatStream: интерфейс

 

Anomali ThreatStream также поддерживает интеграцию с корпоративным мессенджером Slack.

 

Рисунок 5. Anomali ThreatStream: интеграция со Slack

Anomali ThreatStream: интеграция со Slack

 

Anomali Enterprise — платформа проактивного поиска угроз в сети (Network Threat Hunting), которая способна хранить сетевые события с глубиной поиска по архиву за последние 5 лет, что многократно превосходит средний период хранения данных в SIEM-системах (от 1 до 12 месяцев). Anomali Enterprise позволяет осуществлять автоматический поиск индикаторов компрометации по всему архиву записей.

Достоинства:

  • полная поддержка и интеграция с платформой ThreatStream;
  • анализ данных Syslog, SIEMs, AWS S3, Netflow/sFlow;
  • интеграция с SIEM и системами реагирования на инциденты;
  • детектирование алгоритмов генерации домена (Domain Generation Algorithms, сокр. DGA), используемых вредоносными программами с помощью механизмов машинного обучения.

 

ThreatConnect

Компания ThreatConnect была основана в 2011 году и за 6 лет своего существования вышла на лидирующие позиции молодого рынка TIP. ThreatConnect имеет в своем портфолио такие громкие расследования, как хакерская атака на Демократическую партию США, кибератаки на журналистов, занимавшихся расследованием катастрофы малазийского авиалайнера MH17, атаки на сайты Международного антидопингового агентства (WADA) и Спортивного арбитражного суда (CAS), а также взлом аккаунта бегуньи Юлии Степановой в системе WADA.

За время своего существования компания успела вывести на рынок 4 продукта — ThreatConnect Complete, ThreatConnect Analyze, ThreatConnect Manage, ThreatConnect Identify.

 

Рисунок 6. ThreatConnect Platform: сравнение функциональных возможностей

ThreatConnect Platform: сравнение функциональных возможностей

 

TC Identify осуществляет сбор индикаторов компрометации более чем со 100 открытых источников, фидов краудсорсингового сообщества ThreatConnect, фидов собственной команды аналитиков ThreatConnect и обеспечивает возможность интеграции с данными любого партнера компании в рамках программы TC Exchange.

Достоинства:

  • интеграция с SIEM-системой;
  • поддержка тегов, атрибутов для сегментации и дальнейшего анализа данных;
  • гибкий модуль аналитики, позволяющий не только видеть список событий, но и всесторонне визуализировать данные;
  • создание правил Yara на основе полученных индикаторов компрометации.

TC Manage — следующая по функциональности платформа ThreatConnect, позволяющая полностью автоматизировать процесс киберразведки на всех этапах цикла Threat Intelligence. Ключевым конкурентным преимуществом продукта является технология Playbook, позволяющая через удобный drag-and-drop-интерфейс выстраивать процессы реагирования на инциденты, используя язык моделирования UML (Unified Modeling Language).

Достоинства:

  • автоматизация практически любых процессов реагирования на инциденты, таких как отправка предупреждений, обогащение данных или назначение задач аналитикам и специалистам ИБ;
  • предустановленные Playbook-шаблоны реагирования на инциденты;
  • возможность отправки индикаторов компрометации на внешние источники более чем 80 компаний-партнеров ThreatConnect;
  • интеграция в панель мониторинга (Dashboard) данных из любых внешних систем, например, событий из SIEM.

 

Рисунок 7. ThreatConnect: Playbook

ThreatConnect: Playbook

 

TC Analyze — платформа, разработанная аналитиками специально для аналитиков ИБ. Функциональные возможности TC Analyze позволяют управлять задачами команды аналитиков, расставляя приоритеты в работе каждого сотрудника. В качестве ключевого конкурентного преимущества этой платформы можно выделить фирменную технологию ThreatConnect CAL (Collective Analytics Layer), предоставляющую доступ к обезличенным данным о частоте появления той или иной угрозы у других пользователей данной технологии. ThreatConnect CAL позволяет получить моментальное представление о том, насколько широко распространена и актуальна та или иная угроза.

Достоинства:

  • создание закрытого сообщества обмена данными об инцидентах;
  • открытое API более чем со 100 различными встроенными функциями интеграции;
  • гибкий механизм голосования по каждому показателю, позволяющий получить обратную связь от аналитиков ИБ;
  • возможность проверки своих результатов аналитики другими участниками открытого сообщества ThreatConnect.

 

Рисунок 8. ThreatConnect: Dashboard

ThreatConnect: Dashboard

 

TC Complete — максимально полная версия платформы, включающая в себя все функциональные возможности TC Identify, TC Manage, TC Analyze. Единственным отличием, немного расширяющим функциональность платформы, является наличие настраиваемых типов IoC.

TC Completeобъединяет в себе все достоинства аналитики и реагирования на инциденты программных продуктов ThreatConnect.

 

ThreatQuotinet

Компания ThreatQuotient была основана в 2013 году и за 4 года, при небольшом штате сотрудников в 65 человек, смогла привлечь 57 миллионов долларов за 4 раунда инвестиций, 30 из которых были привлечены в третьем квартале 2017 года.

В отличие от конкурентов, ThreatQ не декомпозирует свою платформу на разные программные продукты, и все функциональные возможности представлены в одном единственном решении.

В качестве отличительной особенности и конкурентного преимущества ThreatQ можно выделить технологию самонастраиваемой библиотеки угроз (Self-Tuning Library), которая автоматически оценивает и приоритизирует угрозы на основе заранее заданных параметров. Приоритизация рассчитывается по различным источникам, как внешним, так и внутренним, это помогает уменьшить информационный шум и снизить риск ложных срабатываний, что немаловажно для больших компаний, где количество событий измеряется десятками тысяч в секунду.

 

Рисунок 9. ThreatQ Self-Tuning: настройка

ThreatQ Self-Tuning: настройка

 

ThreatQ позволяет реализовать цикл киберразведки на всех этапах и, кроме аналитики, содержит в себе функции реагирования на угрозы ИБ.

ThreatQ интегрируется с продуктами сторонних вендоров благодаря архитектуре Open Exchange, которая включает в себя комплект разработки программного обеспечения (SDK) и достаточно простой, хорошо задокументированный API. ThreatQ Open Exchange имеет предустановленные коннекторы для взаимодействия с программными продуктами партнеров ThreatQuotient.

 

Рисунок 10. ThreatQ: архитектурное решение

ThreatQ: архитектурное решение

 

Продукт представлен в реализации On-Premise, в виде облачного решения, виртуального образа или Appliance.

Достоинства:

  • автоматическое определение приоритетов на основе всех доступных платформе источников;
  • поддержка импорта и экспорта данных в структурированных и неструктурированных форматах, таких как STIX/TAXII, XML, JSON, PDF и с помощью электронной почты;
  • SDK и API, позволяющие интегрировать платформу практически во все бизнес-процессы компании;
  • небольшая стоимость относительно всех конкурентов на рынке.

 

EclecticIQ

Из представленных в данной статье компаний EclecticIQ — самая молодая. Основанная в 2014 году, компания уже успела отметиться, удостоившись награды Most Disruptive Innovator на премии Deloitte Technology FAST50 Rising Star Award в 2016 году. В отличие от своих конкурентов из данного обзора, штаб-квартира и основной бизнес компании расположены не в США, а в Нидерландах, в Амстердаме.

Летом 2017 года компания успела попасть на все профильные новостные сайты, подписав партнерское соглашение с небезызвестной на российском рынке компанией Group-IB. «В рамках сотрудничества уникальные данные Group-IB о русскоязычных хакерах будут интегрированы в платформу EclecticIQ», — писал Anti-Malware в июле 2017.

Компания EclecticIQ за годы своего существования успела выпустить два продукта — EclecticIQ Fusion Center и EclecticIQ Platform.

 

Рисунок 11. EclecticIQ: продукты и сервисы

EclecticIQ: продукты и сервисы

 

EclecticIQ Fusion Center — это единый центр обработки информации, поступающей из открытых и коммерческих фидов. Платформа позволяет объединить и нормализовать индикаторы компрометации из различных источников для дальнейшей интеграции в инфраструктуру компании. EclecticIQ Fusion Center отправляет автоматически обогащенную информацию об угрозах в другие системы ИБ компании. В этом продукте делается ставка на автоматизацию и обработку большого количества информации.

Достоинства:

  • поддержка более 30 ведущих мировых провайдеров Threat Intelligance, включая Group-IB, Intel 471, RedSocks и SenseCy;
  • обогащение TI-данных локальными и контекстуальными данными;
  • полностью автоматизированная система совместного использования фидов, поиск и слияние дублируемой информации;
  • тематические фиды Threat Intelligence, релевантные для географического расположения или бизнес-сектора компании.

EclecticIQ Platform — платформа, позволяющая заметно упростить и ускорить работу ИБ-аналитиков. Как и в случае с Fusion Center, продукт позволяет объединить данные из открытых, коммерческих фидов и от отраслевых партнеров. Основная ставка в данном продукте сделана на совместную работу аналитиков в рамках единого рабочего пространства. В основе EclecticIQ Platform лежит самый популярный на сегодняшний день открытый стандарт — STIX/TAXII. Платформа имеет функциональный API, позволяющий производить интеграцию исходящих и входящих данных, систему оповещений на основе политик, модули отчетности, расширенные инструменты поиска по хранилищу, возможность визуализации получаемой информации, в том числе и для отчетов.

Достоинства:

  • совместная работа аналитиков в рамках единого рабочего пространства идеально подходит для SOC, CERT;
  • визуализация данных с возможностью построения графов;
  • обмен данными между различными участниками Threat Intelligence по защищенным каналам связи на основе самого распространенного TI-стандарта STIX/TAXII;
  • релевантная сортировка данных для фокусировки на самых актуальных угрозах.

 

Open source Threat Intelligence Platform

Your Everyday Threat Intelligence (YETI)

YETI — Threat Intelligence платформа, увидевшая свет в 2013 году. Доработку и поддержку проекта осуществляют 2 разработчика из Швейцарии и Франции, которые за последние 4 года опубликовали более 1500 коммитов в репозиторий проекта на Github. Платформа активно поддерживается и обновляется по сегодняшний день. YETI представляет собой классическую TIP, которая способна агрегировать данные из различных фидов и обогащать их. По умолчанию в системе есть 24 предустановленных фида и API для интеграции с другими используемыми в компании продуктами ИБ.

 

Рисунок 12. YETI: интерфейс

YETI: интерфейс

 

YETI взаимодействует с платформой реагирования на инциденты Fast Incident Response (сокр. FIR) и платформой анализа вредоносных программ FAME, разрабатываемой небезызвестной командой CERT французского конгломерата Société Générale. YETI поддерживает интеграцию с TIP MISP, которая рассмотрена в статье ниже, популярной IRP TheHive и обогатителем данных Cortex.

 

Рисунок 13. YETI: архитектура

YETI: архитектура

 

Таким образом, собрав YETI с другими открытыми продуктами, можно реализовать весь цикл киберразведки — от аналитики до реагирования на инциденты.

Достоинства:

  • простая установка в несколько строк Bash;
  • хорошо задокументированная настройка, установка, API-интеграция;
  • возможность связывать события, визуализируя информацию графами;
  • одна из самых простых в настройке и поддержке TIP с открытым исходным кодом.

 

Malware Information Sharing Platform (MISP)

Безусловно, лидером среди всех платформ киберразведки с открытым исходным кодом является MISP. Платформа была выпущена более 6 лет назад и собрала вокруг себя огромное сообщество профессионалов из SOC, CIRC, CERT, CIRT, CSIRT по всему миру. Проект MISP включает в себя 40 репозиториев на Github, например, репозитории модулей интеграции с другими TIP, автоматического деплоя (от англ. deploy) Ansible и Vagrant, интеграции MISP с программой Maltego, библиотеку REST API и другие связанные с платформой продукты.

 

Рисунок 14. MISP: интерфейс

MISP: интерфейс

 

По работе с MISP выпущена целая книга — MISP Book, в написании которой принимали участие такие организации, как:

  • Belgian Ministry of Defence (CERT);
  • CIRCL Computer Incident Response Center Luxembourg;
  • Iklody IT Solutions;
  • NATO NCIRC;
  • Cthulhu Solutions;
  • CERT-EU.

MISP интегрируется с огромным количеством внешних источников через разработанные сообществом плагины интеграции, количество которых уже превышает 30.

 

Рисунок 15. MISP: плагины

MISP: плагины

 

Кроме того, MISP интегрируется с IRP-системой TheHive, в связке с которой способна реализовать гибкий механизм реагирования на инциденты ИБ, обнаруженные в рамках процесса киберразведки.

 

Рисунок 16. MISP: интеграция с TheHive

MISP: интеграция с TheHive

 

Достоинства:

  • поддержка всех известных и используемых форматов импорта и экспорта;
  • визуализация графами, обогащение и классификация инцидентов;
  • огромное сообщество профессионалов, множество обучающих материалов, книга по использованию, установке, настройке и администрированию;
  • ежемесячные обновления и поддержка разработчиков.

 

Выводы

Рынок платформ Threat Intelligence молод и начал активно развиваться всего 4 года назад, однако уже стал мировым трендом, поскольку ни для кого не секрет, что классический подход Firewall + Antivirus + SIEM более не спасает от злоумышленников. Threat Intelligence способен изменить баланс сил в обратную сторону, поскольку понимание контекста того или иного события и обогащение данных об угрозах из десятка разных источников позволяют объединить совокупные знания о хакерах и вредоносном программном обеспечении в одной единой платформе. TIP позволяет моментально, в автоматическом режиме обмениваться релевантными данными между различными филиалами в компании. Это позволяет сократить время реагирования на инциденты до минут, снизить нагрузку на аналитиков и специалистов ИБ и улучшить качество их работы.

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.

RSS: Новые статьи на Anti-Malware.ru