Рассмотрим работу с Kaspersky SD-WAN 2.1 на практических кейсах: реализуем балансировку нагрузки в режиме «актив — актив», произведём резервирование канала связи и повысим надёжность передачи данных по сети посредством механизма FEC.
Введение
Сетевые инфраструктуры как базовый атрибут цифровизации постепенно эволюционируют и усложняются, проникают в самые отдалённые и труднодоступные локации планеты, объединяя всё большее количество пользователей и устройств, постепенно формируя многоуровневые информационные комплексы и экосистемы.
Управление современными сетевыми топологиями требует сочетать высокую квалификацию специалиста с набором технологий, которые будут отвечать актуальным проблемам и требованиям. Концепция SD-WAN (Software-Defined WAN, программно определяемые распределённые сети) начала формироваться около 10 лет назад, и на текущий момент решения этого класса включают в себя как ИТ-составляющие, так и базовые элементы обеспечения информационной безопасности при передаче данных.
Рисунок 1. Сравнительный пример построения корпоративной сети с применением SD-WAN
Технические возможности продуктов на базе концепции SD-WAN от Gartner и современные решения различных вендоров позволяют централизовать управление сетевой инфраструктурой и могут обеспечивать:
- интеллектуальную динамическую маршрутизацию трафика;
- VPN-соединение;
- поддержку механизма многопротокольной коммутации по меткам (MPLS);
- межсетевое экранирование;
- комфортное администрирование;
- автоматизацию дистанционного конфигурирования сетевых узлов (Zero-Touch Provisioning, ZTP);
- мониторинг состояния сети;
- отказоустойчивость;
- поддержку всех доступных типов каналов связи.
Также концепция может быть реализована как аппаратно, так и программно.
В российском сегменте технология SD-WAN также представлена разработками нескольких вендоров. «Лаборатория Касперского» на протяжении многих лет развивает решение Kaspersky SD-WAN, которое применяется для автоматической маршрутизации сетевого трафика по каналам передачи данных с применением технологии программно определяемых сетей (SDN).
В данной статье рассмотрим возможности Kaspersky SD-WAN версии 2.1 с позиции практического применения.
Функциональные возможности Kaspersky SD-WAN
У нас опубликован полноценный обзор Kaspersky SD-WAN, где тщательно разобраны характеристики и архитектура, представлены варианты топологий и схемы лицензирования, обозначены системные требования, выделены достоинства и недостатки.
Кратко напомним основные технические и функциональные возможности решения.
- Подключение и управление: поддержка клиентского оборудования (CPE) с производительностью до 10 Гбит/с; управление из частного / публичного облака или локально; поддержка топологий «Hub-and-Spoke», «Full Mesh», «Partial Mesh»; SLA-политики для приложений; динамическая маршрутизация (BGP и OSPF); встроенная глубокая инспекция пакетов (DPI).
- Сервисы SD-WAN: автоматическая настройка параметров (ZTP); контроль качества каналов в настоящем времени; оптимизация каналов (FEC и дупликация пакетов данных); поддержка сервисов P2P, P2M, L2 / L3 VPN; поддержка встроенного высокоскоростного шифрования.
- Виртуальные сетевые функции (VNF): поддержка интеграции комплементарных продуктов Kaspersky; реализация стека ETSI MANO; поддержка VNF сторонних производителей; управление жизненным циклом сервисных цепочек; поддержка универсального клиентского оборудования (uCPE).
- Сервисы: поддержка мультивещания и мультиарендности.
Набор интерфейсов с производительностью передачи данных от 30 Мбит/с до 10 Гбит/с позволяет подобрать устройство как для крупной организации, так и для начинающей свой путь компании.
Многофакторный механизм Zero-Touch Provisioning (с использованием URL-ссылки для активации) повышает безопасность и удобство подключения новых филиалов сети, снижает логистические затраты и экономит время специалистов с обеих сторон.
Также отметим централизованное обновление маршрутизаторов (с поддержкой расписаний обновлений и механизма восстановления конфигурации в случае неудачи) — эта функция обеспечивает удобство работы с большим количеством сетевых объектов и защищает от ошибок.
Kaspersky SD-WAN также поддерживает распознавание приложений до 7-го уровня модели OSI, что помогает гибко управлять трафиком и настраивать гранулярные политики качества обслуживания и фильтрации, предоставляя приоритетный сервис тем приложениям, которые наиболее значимы для бизнес-процессов.
Нельзя не отметить единую панель управления, в которой организовывается удобное взаимодействие с оконечными устройствами (CPE и uCPE), шлюзами в ЦОДах и центральных офисах, а также различными виртуальными сетевыми функциями, что обеспечивает непротиворечивость комплекса сетевых настроек в масштабе всей сетевой инфраструктуры.
Краткое резюме по возможностям Kaspersky SD-WAN:
- Работа на основе проводных и беспроводных сетей любого типа.
- Использование нескольких виртуальных каналов для обеспечения высокой доступности сети и балансировки трафика.
- Коррекция ошибок при передаче данных.
- Интеллектуальное управление трафиком.
- Автоматическая настройка устройств CPE с использованием технологии Zero-Touch Provisioning.
- Централизованное управление и мониторинг.
Новые возможности в релизе 2.1
В новом релизе Kaspersky SD-WAN 2.1, который вышел в октябре 2023 г., вендор сделал ещё один шаг к безопасности по модели SASE (Secure Access Service Edge, безопасный пограничный доступ). Также были внедрены и оптимизированы следующие возможности:
Поддержка OSPF — динамического протокола маршрутизации, который является самым популярным для использования в локальных сетях.
Поддержка высокопроизводительных платформ — CPE с пропускной способностью 10 Гбит/с без необходимости дополнительных настроек.
Настройка IP-адресов контроллера на WAN-интерфейсах CPE — возможность переопределять их или задавать несколько адресов для каждого интерфейса. В предыдущих релизах IP-адрес контроллера устанавливался автоматически при регистрации CPE. В новом релизе можно изменить его или указать несколько адресов. Это позволяет CPE подключаться к контроллеру по резервному каналу, если связь между ними по основному каналу нарушена. Такая возможность наиболее полезна в тех случаях, когда используются изолированные домены маршрутизации (например, интернет и MPLS).
Эта функциональность также обеспечивает поддержку дополнительных сценариев:
- работа CPE с одновременным использованием интернет- и MPLS-каналов(возможность применения WAN-интерфейсов изолированной от контроллера сети (например, L2 VPN) для участия в построении фабрики SD-WAN);
- связанность CPE в случае расположения шлюза SD-WAN за транслятором (NAT).
Шифрование данных мониторинга при их отправке вне туннеля SD-WAN —поддержка TLS-соединений для связи между Zabbix-агентами на устройствах
Kaspersky SD-WAN Edge Service Router (KESR) и Zabbix-сервером позволяет передавать трафик телеметрии в зашифрованном виде, в том числе вне туннелей SD-WAN.
Рассмотрим применение Kaspersky SD-WAN более подробно на практике.
Применение Kaspersky SD-WAN
Для работы будем использовать демостенд вендора с сетевой топологией, которая охватывает большинство современных сценариев работы продукта в реальных сетях заказчиков.
Kaspersky SD-WAN — универсальный продукт, позволяющий решить самые разные сетевые задачи, которые могут ставиться в контексте построения комплексной топологии / управления трафиком или лежать в плоскости массовой работы с CPE-устройствами.
Некоторые примеры практических задач, которые решает Kaspersky SD-WAN:
- Классификация трафика с помощью ACL или DPI с перенаправлением в туннели, соответствующие заданным ограничениям.
- Балансировка нагрузки в режиме «актив — актив» (active — active).
- Резервирование каналов связи в режиме «актив — резерв» (active — standby) или в широковещательном (broadcast).
- Снижение потерь пакетов на сетевом интерфейсе.
- Мониторинг потери пакетов, задержек и отклонений (джиттера) в туннелях.
- Управление трафиком с помощью ограничений.
- Создание топологий «Full-Mesh», «Partial-Mesh» или использование транзитных CPE.
- Централизованное обновление прошивки CPE-устройств.
- Резервирование устройств CPE с использованием протокола VRRP.
Сделаем акцент на кейсах по управлению трафиком (именно это направление наиболее популярно у заказчиков), но сначала опишем практический стенд, на котором будем реализовывать сценарии.
Описание практического стенда
Все компоненты демонстрационного стенда Kaspersky SD-WAN развёрнуты в среде виртуализации VMware.
Рисунок 2. Логическая схема сетевой топологии демостенда
Контур DC имеет сетевые сегменты «dc-lan1» и «oob», подключённые к маршрутизатору R13 (маршрутизатор ядра DC). Виртуальная машина оркестратора SD-WAN «orc1» размещена в сегменте «oob», сервер «srv1» с WWW-службой — в сегменте «dc-lan1».
На границе контура DC стоят два маршрутизатора (R11 и R12), за которыми размещены два шлюза SD-WAN: vGW-11 и vGW-12. Внутренние (LAN) интерфейсы R13, vGW-11 и vGW-12 подключены к сетевому сегменту «dc-perim».
Маршрутизаторы R11 и R12 выполняют функцию SNAT для vGW-11 и vGW-12, а также обеспечивают DNAT.
Маршрутизатор R14 выполняет функцию SNAT и играет роль шлюза по умолчанию для R13, а также обеспечивает выход в интернет и DNAT (для Docker-контейнеров оркестратора и контроллера SD-WAN) хосту «orc1».
Хост ISP эмулирует подключение к интернету / операторам связи ISP1–ISP8. Для подключения CPE-устройств шлюзы SD-WAN должны быть доступны по заранее определённым портам.
Устройство vCPE-3 представляет собой пример удалённой площадки с одним CPE-устройством, подключённым к двум операторам связи.
Шлюзы vCPE-51 и vCPE-52 представляют собой пример подключения удалённой площадки с двумя CPE-устройствами. Для отказоустойчивости используется протокол VRRP.
vCPE-4 представляет собой пример будущего (не рассматриваемого в рамках текущего стенда) подключения удалённой площадки с универсальным (uCPE) устройством.
Балансировка нагрузки в режиме «актив — актив»
Рассмотрим сценарий балансировки нагрузки между интерфейсами устройства vCPE-3.
- На устройстве vCPE-3 используем пару WAN-интерфейсов в режиме «актив — актив».
- Для балансировки нагрузки используем параметр «Cost».
- Для демонстрации балансировки трафика между vCPE-3 и vCPE-4 на рабочих станциях «wst3» и «wst4» применим генератор трафика iPerf.
- Для проверки работы балансировки используем встроенную систему мониторинга.
В меню «Infrastructure» → «SD-WAN Cluster» → «Management» → «Open configuration menu» → «Segments» просмотрим перечень всех сегментов фабрики SD-WAN.
Рисунок 3. Просмотр сегмента между vCPE-4 и vCPE-3
Сегмент между vCPE-4 и vCPE-3 состоит из четырёх транспортных путей (path) типа «Auto SPF». Транспортные пути проходят через CPE c ролью «Gateway»: vGW-11 и vGW-12.
Рисунок 4. Просмотр «стоимости» (Cost)
Мы видим, что стоимость (Cost) всех четырёх путей равна (значение 20000), поэтому трафик равномерно балансируется между всеми транспортными путями в рамках сегмента между vCPE-4 и vCPE-3. Балансировка осуществляется средствами протокола OpenFlow.
Для получения дополнительной информации о параметрах балансировки нажимаем слева кнопку «Management» → «Edit».
Рисунок 5. Подробная информация о параметрах балансировки
Контроллер заранее просчитывает все возможные транспортные пути, в том числе и резервные, даже если их фактическое количество больше, чем задано в параметре «Maximum number of Auto-SPF paths» для конкретного сегмента.
Как только будет обнаружено событие отказа туннеля (линка) между CPE-устройствами, туннель автоматически будет удалён из топологии, а трафик — перенаправлен на резервный транспортный путь.
Для выбора режима балансировки переходим в меню «Infrastructure» → «SD-WAN Controller» → «Management» → «Open configuration menu».
Рисунок 6. Переход в раздел с транспортными сервисами M2M
Для редактирования выбранного транспортного сервиса нажимаем «Management» → «Edit».
Доступные режимы балансировки: по потокам / сессиям, по пакетам и путём передачи одновременно во все туннели для исключения потерь.
Рисунок 7. Выбираем режим балансировки по пакетам
Для нашей цели активируем режим балансировки по пакетам, потому что для генерации трафика используется iPerf, работающий по одному порту.
Для просмотра построенных туннелей переходим в меню CPE.
Рисунок 8. Выбор vCPE-3 из перечня
Из списка построенных туннелей выбираем vCPE-3.
Рисунок 9. Просмотр сводных параметров туннеля vCPE-3
В нашем сценарии балансировка будет производиться между туннелями с одинаковой «стоимостью». Проверим значение «стоимости»: для работы балансировки оно у туннелей должно быть одинаковым. Значение «стоимости» отображается в столбце «Cost» вкладки «Tunnels».
Рисунок 10. Просмотр «стоимости» vCPE-3
Как видим, значения одинаковы.
Искусственно сгенерируем трафик между vCPE-3 и vCPE-4, где на рабочих станциях «wst3» и «wst4» используется iPerf.
Запускаем сервер iPerf на рабочей станции «wst4».
Рисунок 11. Открываем порт на машине «wst4»
Сервер iPerf принимает соединения на порт 5201.
Запускаем клиент iPerf на рабочей станции «wst3».
Рисунок 12. Клиент iPerf на машине «wst3»
Трафик идёт между хостами «wst3» и «wst4».
Проверим балансировку трафика между WAN-интерфейсами CPE с помощью встроенных средств мониторинга.
В меню CPE выбираем из перечня vCPE-3 и переходим на вкладку «Monitoring».
Рисунок 13. Трафик на интерфейсе «eth0»
Выбираем сетевой интерфейс «eth0» и видим, что трафик проходит именно через него.
Данные о всплеске на графике также отображаются снизу как «Interface eth0: Bits sent[avg]». Для отображения данных необходимо подождать накопления статистики в течение 10 минут.
Проверим прохождение трафика через второй WAN-интерфейс CPE. Выбираем интерфейс «eth1».
Рисунок 14. Трафик на интерфейсе «eth1»
Как видим, трафик также успешно циркулирует через этот сетевой интерфейс, следовательно, в работе участвуют оба WAN-интерфейса vCPE-3 и между ними выполняется балансировка трафика.
Резервирование каналов связи в режиме «актив — резерв»
Рассмотрим сценарий резервирования каналов связи в режиме «актив — резерв» (active — standby) для устройства vCPE-3.
- Для приоритизации WAN-интерфейса используем параметр «Cost», на резервном туннеле значение параметра увеличим по сравнению с основным.
- Генерацию трафика на рабочих станциях «wst3» и «wst4» выполним с помощью iPerf.
- Для проверки работы резервирования используем встроенную в решение SD-WAN систему мониторинга.
- Демонстрацию работы резервного канала реализуем путём выключения основного WAN-интерфейса CPE.
Как в предыдущем кейсе, в меню CPE выбираем vCPE-3 и переходим на вкладку «Tunnels», где представлен список построенных туннелей выбранного CPE со смежными устройствами.
Рисунок 15. Проверка значений «Source» и «Destination» туннелей
В столбцах «Source» и «Destination» указаны CPE-устройства источника и назначения однонаправленного туннеля. Номер порта указывает на номер WAN-интерфейса CPE-устройства; он назначается по порядку, начиная с порта 4800, по одному на каждый WAN-интерфейс.
Настроим значения «стоимости» для всех туннелей, построенных через резервный (standby) WAN-интерфейс («sdwan1» / «eth1») устройства vCPE-3.
В решении SD-WAN топологией по умолчанию является «звезда», поэтому трафик между CPE проходит через шлюзы. В нашем сценарии будет увеличена стоимость туннелей, которые проходят через резервный WAN-интерфейс («sdwan1» / «eth1») между vCPE-3 и шлюзами vGW-11 / vGW-12.
Находим все туннели между vCPE-3 и vGW-11 / vGW-12, построенные через второй WAN-интерфейс vCPE-3, порт 4801:
- vCPE-3:4801 ←→ vGW-11:4800
- vCPE-3:4801 ←→ vGW-12:4800
- vGW-11:4800 ←→ vCPE-3:4801
- vGW-12:4800 ←→ vCPE-3:4801
Рисунок 16. Выставляем значение «Cost» для vCPE-3
Поочерёдно выставляем параметр, нажимая «Management» → «Set Cost».
Рисунок 17. Параметры в модальном окне для vCPE-3
Увеличиваем значение стоимости (по умолчанию 10000): задаём значение 900000, выставляем флажки «Override» — переопределить значение стоимости и «Save for both tunnels» — применить к обоим туннелям между парой CPE-устройств. Сохраняем настройки.
Искусственно создадим трафик для демонстрации. По аналогии с предыдущим примером запускаем сервер iPerf на «wst4» и клиент iPerf на «wst3». Переходим в меню CPE и выбираем vCPE-3, открываем вкладку «Monitoring».
Рисунок 18. Проверка трафика на интерфейсе «eth0»
Выбираем интерфейс «eth0» и видим, что трафик проходит через него.
Здесь же выбираем из выпадающего меню интерфейс «eth1».
Рисунок 19. Проверка трафика на интерфейсе «eth1»
На кривой «Interface eth0: Bit sent[avg]» видим, что через этот интерфейс сетевой трафик не идёт.
Создадим имитацию отказа основного WAN-интерфейса. Для этого отключим на маршрутизаторе ISP сетевой интерфейс, к которому подсоединён «sdwan0» («eth0») устройства vCPE-3.
Рисунок 20. Эмуляция отказа WAN
Из-за особенностей работы iPerf, возможно, потребуется перезапустить клиент на «wst3».
Проверим работу резервирования WAN-интерфейсов, как мы это делали выше.
Рисунок 21. Проверка трафика на интерфейсе «eth1» после отключения WAN
Как видно, трафик успешно переключился на резервный сетевой интерфейс «eth1» после отключения основного WAN-интерфейса.
Повышение надёжности каналов с использованием механизма FEC
Корректировочная функция FEC (Forward Error Correction) позволяет восстанавливать принимаемые данные на устройстве CPE при наличии потерь в каналах передачи данных.
Принцип работы FEC
Реставрация данных обеспечивается избыточным кодированием на передающей стороне. Степень избыточности настраивается через параметры контроллера SD-WAN или в отдельном туннеле.
Принимающее устройство CPE буферизирует принятые через туннель пакеты трафика и декодирует их с восстановлением потерянных пакетов, если это возможно.
Рисунок 22. Схема работы FEC
Использование FEC снижает влияние повышенного показателя потерь пакетов в каналах передачи данных, особенно для UDP-приложений, а также уменьшает количество вызывающих задержки повторных передач пакетов для TCP-сессий.
Рекомендуется использовать FEC на так называемых зашумлённых туннелях (noisy links) для уменьшения коэффициента потери пакетов и увеличения скорости TCP-соединений.
Реализация сценария
Рассмотрим сценарий с имитацией потерь на канале, измерением качества работы туннелей и включением FEC для восстановления потерянных пакетов.
- Тестовый трафик будет генерироваться между узлами «wst3» и «srv1» с использованием ICMP-пинга.
- Имитация потерь будет выполняться на хосте ISP с помощью системы Linux Traffic Control (TC).
Для генерации тестового трафика запустим пинг с хоста «wst3» на «srv1».
Рисунок 23. Тестовый трафик на «wst3»
Трафик отправляется.
Создадим имитацию потерь пакетов с помощью TC. Для теста необходимо включить эмуляцию потерь на сетевом интерфейсе хоста ISP, к которому подключён «sdwan0» («eth0») vCPE-3.
Подключаемся к ISP и выполняем команду «tc qdisc add dev ens161 root netem delay 1ms 0ms limit 1250000 loss 5%», которая создаст 5 % потерь (packet loss). Параметр «delay» настраивает задержку в 1 мс с разбросом в 0 мс, «limit» — выделяет буфер в 1250000 байт для обработки данных TC.
Проверим результат.
Рисунок 24. Настройки эмуляции потерь трафика
Настройки успешно применены.
Проверим на рабочей станции «wst3» потери в статистике пинга.
Рисунок 25. Проверка потерь на «wst3»
Как видно по номерам ICMP, присутствуют потери пакетов: 281-й, 290-й, 293-й не дошли до цели.
Активируем мониторинг потерь пакетов в туннелях. По аналогии с предыдущими примерами заходим в меню CPE и выбираем vCPE-3, где переходим на вкладку «Tunnels», нажимаем кнопку «Management» → «Set monitoring thresholds».
Рисунок 26. Настройки мониторинга потери пакетов в туннелях
Устанавливаем флажки «Enable tunnel thresholds monitoring» и «Enable packet loss monitoring», значение параметра «Critical packet loss level» — 2 %.
Нажимаем «Save for both tunnels» для сохранения параметров мониторинга туннелей в обоих направлениях. Повторяем настройки для всех туннелей из перечня.
Проверим отображение статистики потерь в туннелях для vCPE-3.
Рисунок 27. Статистика потери пакетов в туннелях
Красным цветом выделяются значения измеренных параметров, которые не удовлетворяют заданным ранее порогам.
Имитируется задержка в сторону интерфейса «sdwan0» («eth0») vCPE-3, поэтому потери пакетов наблюдаются в соответствующих туннелях к vGW-11 и vGW-12, проходящих через этот интерфейс.
Активируем механизм Forward Error Correction для туннелей. Поочерёдно для каждого из них выбираем «Management» → «Set FEC/reordering».
Рисунок 28. Настройки параметров FEC для туннелей
Выставляем флажок «Override», значение «FEC ratio» — 2:8, «Timeout» — 100 мс. Сохраняем настройки.
Проверим работу FEC в статистике ICMP на «wst3».
Рисунок 29. Проверка работы механизма FEC
На рабочей станции «wst3» в статистике ICMP-ответов видно, что все пакеты проходят по каналам без потерь: в последовательности номеров нет пропусков. Пакеты успешно восстанавливаются с помощью избыточного кодирования, механизм FEC активирован и работает.
Выводы
Мы рассмотрели несколько примеров наиболее «горячих» кейсов, которые максимально приближены к реальным задачам заказчиков в современных многоуровневых программно определяемых сетях.
Шаг за шагом мы реализовали балансировку нагрузки в режиме «актив — актив», осуществили резервирование каналов связи в режиме «актив — резерв», обеспечили повышение надёжности каналов с использованием механизма FEC (Forward Error Correction).
Kaspersky SD-WAN 2.1 показал себя в работе как простой, интуитивно понятный и зрелый инструмент, который лучше всего раскрывается в руках специалиста с высоким уровнем квалификации и опытом работы в современных сетях передачи данных.
Kaspersky SD-WAN обладает набором возможностей для решения широкого спектра самых разных задач, отвечает текущим потребностям бизнеса, оптимален для операторов связи и компаний с крупными филиальными сетями. Kaspersky SD-WAN также обеспечивает базу для формирования надлежащего уровня защиты передачи данных в географически распределённых сетевых топологиях.
Вендор постоянно развивает и совершенствует продукт, реагируя на актуальный ландшафт сетевых угроз и потребности бизнеса. В ближайшей перспективе решения уровня Kaspersky SD-WAN могут занять фундаментальное место в концепции SASE (Secure Access Service Edge, пограничный сервис безопасного доступа).
Разбор практических примеров продемонстрировал, что Kaspersky SD-WAN уже сейчас может применяться как транспортная основа SASE для построения экосистемы комплексной сетевой защиты предприятия любого размера.
