Cisco ACI - инфраструктура, ориентированная на приложения: решаемые задачи, принципы работы, внедрение

Cisco ACI - инфраструктура, ориентированная на приложения Решаемые задачи, принципы работы, внедрение и интеграция

Александр Скороходов

Системный инженер-консультант

[email protected]

Принципы работы Cisco ACI

© 2014 Cisco and/or its affiliates. All rights reserved. Presentation_ID Cisco Public

Application-Centric Infrastructure (ACI): новое поколение инфраструктуры ЦОД

ACI фабрика

Программируемость, масштабируемость, открытость

App DB Web

Внешняя сеть

передачи

данных

(Tenant VRF)

QoS

ACL

QoS

LB

QoS

МСЭ, LB

Application Policy

Infrastructure

Controller

APIC


Сетевой профиль приложения Application Network Profile (ANP)

Входящие/

Исходящие политики

Сетевой профиль приложения

Сетевой профиль - логическое объединение групп EPG и

политик, определяющих правила взаимодействия между EPG

=

Входящие/

Исходящие политики


Сеть и применение политик Определение политик в сегодняшних сетях

8

Элемент Исходное

назначение Реальное использование

VLAN Домен широковещания Домен широковещания

Отражение подсети

Подсеть Адресация

Адресация Применение политик

Идентификация приложений и зон безопасности

Подсеть 192.168.10.1/24

VLAN 200

Подсеть 192.168.11.1/24

VLAN 201

Подсеть 192.168.12.1/24

VLAN 202

Применение политик

Применение политик


Модель политик ACI концепция End-Point Group (EPG)

HTTPS

Service

HTTPS

Service

HTTPS

Service

HTTPS

Service

HTTP

Service

HTTP

Service

HTTP

Service

HTTP

Service

EPG - Web

EPG – логическая группа конечных хостов

представляющих приложение целиком или компоненты

приложения, которая не зависит от сетевых атрибутов


Примеры конечных хостов End Points = EP

• Устройства, подключенные к сети напрямую или косвенно

• Имеют адрес (identity), расположение (location), атрибуты (version, patch level)

• Могут быть физическими или виртуальными

• Возможные критерии отнесения в EPG: - Физический порт

- Логический порт/port group

- VLAN ID

- VXLAN ID (VNID)

- IP адрес

- IP подсеть/префикс

- NVGRE (VSID)*

- DNS имя*

- TCP порт*

Сервер

VM

Виртуальная машина

СХД

Клиент

* - не на момент FCS


Опции политик: действия

Permit

Deny

Redirect

Log … …

Copy Packet

Mark Packet DSCP

Поддерживается 6 опций Permit - разрешить трафик Block – заблокировать трафик Redirect – перенаправить трафик Log – логировать трафик Copy – копировать трафик Mark - маркировать трафик (DSCP/CoS)


Сетевой профиль приложения ACI Управление фабрикой на основе политик и профилей

• Расширение принципов сервисного

профиля Cisco UCS® Manager на

сетевую инфраструктуру

• Определение требований приложения

без привязки к оборудованию и

топологии (stateless принцип):

Уровни приложений (tiers)

Политики взаимодействия

Сервисы 4 – 7 уровня: сервисный граф

• Полная абстракция от сетевой и

вычислительной инфраструктуры

Не зависит от виртуализации

Не зависит от адресации

Не зависит от числа серверов

Переносимость между фабриками

различных ЦОД

## Network Profile: Defines Application Level Metadata

(Pseudo Code Example)

<Network-Profile = Production_Web>

<App-Tier = Web>

<Connected-To = Application_Client>

<Connection-Policy = Secure_Firewall_External>

<Connected-To = Application_Tier>

<Connection-Policy = Secure_Firewall_Internal & High_Priority>

. . .

<App-Tier = DataBase>

<Connected-To = Storage>

<Connection-Policy = NFS_TCP & High_BW_Low_Latency>

. . .

App Tier DB Tier

Storage Storage

Web Tier

Приложение

Сетевой профиль полностью описывает

сетевые и сервисные потребности

приложения


Вся передача данных в фабрике управляется при помощи профилей приложений

• IP адреса полностью переносимы и могут использоваться где угодно внутри фабрики

• Безопасность и передача данных не зависят от физических и логических сетевых атрибутов

• Коммутаторы автономно обновляют свои настройки на основе правил, определенных

профилем приложения, в случае миграции приложения или его компонент

DB Tier

Storage Storage

Клиент


Web

Tier

App Tier

Профиль приложения:

определяет сетевые

требования приложения

(сетевой профиль

приложения)

Применение профиля: каждое

сетевое устройство

динамически производит

изменения настройки,

требуемые профилем VM VM VM

10.2.4.7

VM

10.9.3.37

VM

10.32.3.7

VM VM

APIC

Сетевой профиль приложения ACI Профиль приложения и его применение к сети


Application Policy Infrastructure Controller Централизованная автоматизация и управление фабрикой

• Единая точка управления

полиитиками в сети ЦОД:

• Профили приложений

• Интеграция с сервисами L4-L7

• Открытая модель данных для

управления при помощи внешних

средств оркестрации

• Мониторинг приложений, поиск и

устранение неисправностей фабрики

• Управление образами (Spine / Leaf)

• Кластер APIC поддерживает более

миллиона конечных хостов,

200,000+ портов, 64,000+ логических

организаций (tenant)

• Не принимает непосредственное

участие в передаче данных

• Не занимается детальной настройкой

Сервисы 4..7 Управление

системами

Управление

СХД

Оркестрация

Storage SME Server SME Network SME

Security SME App. SME OS SME

Открытый

RESTful API

Управление при

помощи политик

APIC

Преимущества Cisco ACI для разных подразделений


Application Centric Infrastructure …для администраторов приложений

• Описание логики приложения в терминах

приложения, а не сети

• Нет потребности в «трансляции» в термины

VLAN, адресов и т.д.

• Мобильность политик между ЦОД

• Возможность расширения, миграции P2V и т.д.

• Поддержка полностью или частично

виртуализированных приложений или физических

серверов

• Корпоративные приложения

• Web-сервисы

• Big Data

• Управление инфраструктурой, а не коммутаторами

• Декларативная модель: описание политик для

приложений а не настроек сетевых устройств

• Мониторинг

• Сетевое «здоровье» конкретного приложения

• Точный учёт трафика каждого из компонентов

APIC


Application Centric Infrastructure …для администраторов безопасности

• Управление правилами доступа

• Единая точка контроля политик

взаимодействия

• Структура увязана с сервисами, а не с

адресами

• Нет «накопления» правил МСЭ

• Модель «белого списка»

• Всё, что не разрешено, по умолчанию

запрещено

• Встраивание средств безопасности

• Физические или виртуальные

• Cisco или другие разработчики

• Полная изоляция организаций (tenants)

• Интегрированные возможности аудита

• Протоколирований действий

• API для внешнего анализа

• Безопасность управления ACI

• Контроль доступа и ролевое

управление

ПРИЛОЖЕНИЯ

Web

Tier

App

Tier

DB

Tier

БЕЗОПАСНОСТЬ

Trusted

Zone

DB

Tier DMZ

Внешний мир

ИНФРАСТРУКТУРА

APIC


Application Centric Infrastructure …для облачных архитекторов

• Поддержка разных сред виртуализации и

физических нагрузок

• Интеграция с несколькими гипервизорами

в одном приложении

• Возможность развёртывания

невиртуализированных ландшафтов

• Возможность развёртывания приложений

с виртуальными и физическими

компонентами

• Поддержка изоляции организаций

• Десятки тысяч заказчиков (tenants)

• Автоматизация сервисных цепочек

• Открытый интерфейс для

управления/оркестрации

• Поддержка OpenStack

• Интеграция c OpenStack Neutron

• Интеграция модели политик

ФИЗИЧЕСКИЙ

СЕРВЕР

VLAN

VXLAN

VLAN

NVGRE

VLAN

VXLAN

VLAN

ESX Hyper-V KVM

ACI фабрика APIC


Application Centric Infrastructure …для сетевых администраторов

• Эксплуатация сети как комплекса, а не

набора устройств

• Высокая производительность и

масштабируемость

• Доступ 1/10G

• Внутренний транспорт 40G с эффективной

балансировкой нагрузки

• До миллиона IPv4/IPv6 узлов

• Десятки и сотни тысяч портов

• Оптимизированный транспорт L2+L3

• Распределённая маршрутизация

• Единая среда коммутации для

физических и виртуальных серверов

• Сквозной транспорт P+V

• Поддержка многих гипервизоров

• Детальная телеметрия и диагностика

• Измерение задержки и счётчики

Spine Аппаратная база отображения адресов

До 576 x 40 Gb портов

Высокая плотность за умеренную стоимость

Оптимизация фабрики Использование IEEE 1588 для

измерения задержки

Оптимальная балансировка

ECMP

Масштабирование Интеллектуальное кеширование

Поддержка терминации оверлеев

Улучшенная аналитика

APIC

Архитектура сетевой фабрики Cisco ACI


Обзор ACI фабрики

• Наиболее эффективная фабрика в

индустрии:

‒ 1/10 Gb на границе сети, высокая плотность 40GE

на Spine и возможность перехода на 100GE

‒ 1 миллион+ IPv4 и IPv6 хостов

‒ 64,000+ логических организаций (tenants)

‒ 220K+ 1/10 Gb хостов на одном уровне с

переподпиской 3:1 на уровне фабрики

• Маршрутизируемая фабрика –

оптимальная передача IP трафика

‒ Масштабируемая коммутация (L2) и

маршрутизация (L3) для VXLAN, NVGRE, VLAN

‒ Не требуются x86 шлюзы – физич. или вирт.

‒ Быстрота развертывания приложения – нет

лимитов при выборе точки размещения в фабрике

• Полная прозрачность – физическая или

виртуальная нагрузка

• Общие принципы управления от

гипервизора до сервера, от фабрики до

WAN

Spine Аппаратная база отображения адресов

До 576 x 40 Gb портов на устройство

Высокая плотность за умеренную стоимость

Оптимизация фабрики Использование IEEE 1588 для

измерения задержки

Оптимальная балансировка

ECMP

Масштабирование Интеллектуальное кеширование

Поддержка терминации оверлеев

Улучшенная аналитика

APIC


Application

Policy

Infrastructure

Controller

Обзор ACI фабрики

ACI Spine

устройства

ACI Leaf устройства

• ACI фабрика обеспечивает:

‒ Отделение функций идентификации (адресации конечных хостов) от точки их подключения к фабрике

‒ Независимость политик (правил фильтрации и т.д.) от адресации, топологии/аппаратуры

‒ Полную нормализацию инкапсуляции входящих в фабрику потоков: 802.1Q VLAN, VXLAN, NVGRE

‒ Распределенный «шлюз по умолчанию» для организации оптимальной передачи данных на 2 и 3

уровне

‒ Поддержку возможностей коммутации и маршрутизации на любом порту/устройстве без ограничений

(любой IP адрес в любом месте)

‒ Вставку сервисов и перенаправление трафика на сервисные узлы

‒ Устранение необходимости широковещательной рассылки (ARP, GARP) в IP-сегментах

APIC


ACI фабрика Интегрированные оверлеи

• ACI фабрика базируется на IP сети, обеспечивающей маршрутизацию между

элементами фабрики и интегрированных оверлеях для

маршрутизации/коммутации между хостами фабрики

‒ весь трафик между конечными хостами внутри фабрики передается при помощи оверлеев

• Почему интегрированные оверлеи?

‒ Мобильность, масштабируемость, поддержка multi-tenancy и интеграция с гипервизорами

‒ Вместе с трафиком данных можно передавать мета-данные, необходимые для реализации

распределенных политик

IP фабрика с оверлеями

Каждому узлу

назначается IP

loopback, который

анонсируется IS-IS

IP un-numbered

40 Gb линки

APIC


ACI фабрика Разъединение функций идентификации, расположения и политики

• ACI фабрика производит разъединение функций идентификации конечного хоста “identifier =

IP-адрес” от расположения хоста, для которого используется точка терминации VXLAN

“locator = VTEP-адрес”

• Передача внутри фабрики между VTEP использует преимущества “улучшенного VXLAN”

• Отображение MAC адреса или IP адреса в место расположения производится при помощи

VTEP и распределенной базы соответствия (mapping database)

VTEP VTEP VTEP VTEP VTEP VTEP

Payload IP eVXLAN VTEP

APIC


ACI фабрика Нормализация инкапсуляции

VXLAN

VNID = 5789 VXLAN

VNID = 11348

NVGRE

VSID = 7456

Any to Any

802.1Q

VLAN 50

Нормализация

инкапсуляции

Локализация


IP фабрика

использует

eVXLAN тег

Данные IP eVXLAN VTEP

• Весь трафик инкапсулируется при помощи заголовкаextended VXLAN

(eVXLAN)

• Внешний тег VLAN, VXLAN, NVGRE на входящем порту отображается во

внутренний eVXLAN тег

• Внешние идентификаторы локальны на уровне Leaf устройства или Leaf

порта

• Возможность переиспользования, если требуется

Данные

Данные

Данные

Данные

Данные

Eth

IP VXLAN

Outer

IP

IP NVGRE Outer

IP

IP 802.1Q

Eth

IP

Eth

MAC

Нормализация входящей


APIC


Таблица соответствия фабрики Inline Hardware Mapping DB - 1,000,000+ хостов

Local Station Table –

содержит адреса “всех”

конечных хостов, которые

подключены напрямую к

Leaf коммутатору

10.1.3.11 fe80::462a:60ff:fef7:8e5e 10.1.3.35 fe80::62c5:47ff:fe0a:5b1a

Proxy

10.1.3.11

10.1.3.35

Port 9

Leaf 3

Proxy *

Global Station Table –

содержит локальный кэш

записей для подключенных

к фабрике хостов

10.1.3.35 Leaf 3

10.1.3.11 Leaf 1

Leaf 4

Leaf 6

fe80::8e5e

fe80::5b1a

Proxy Station Table – содержит адреса

«всех» хостов, подключенных к фабрике

• Таблица отображения на коммутаторе Leaf делится между

локальными и глобальными записями

• Глобальная таблица на коммутаторе Leaf кеширует часть полной

глобальной таблицы, которая содержится на каждом коммутаторе

Spine

• Если адрес конечного хоста не найден в локальном кэше, то (по

умолчанию) пакет передается на коммутатор Spine

(1,000,000+ записей в таблице отображения коммутатора Spine)

Proxy Proxy Proxy


Передача данных независимо от расположения На 2-м и 3-м уровне

10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35 10.1.1.10 10.1.3.11 10.6.3.2 10.1.3.35

• ACI фабрика поддерживает семантику 2-го и 3-го уровня

- никаких изменений в приложении не требуется

• ACI фабрика обеспечивает оптимальную передачу трафика 2-го и 3-го уровня

‒ SVI распространяется по всем узлам где требуется, обеспечивая маршрутизацию

‒ Трафик 2-го и 3-го уровней напрямую передается на leaf с хостом назначения

• IP ARP и GARP пакеты передаются напрямую узлу назначения без

широковещательной рассылки

Распределенный шлюз по умолчанию Направленная передача ARP

APIC APIC


Инфраструктура фабрики Важные концепции – Inside и Outside

• Один Data Plane и два Control Plane

• Выбор ‘forwarding space’ происходит в зависимости от сети в которой находится источник

(внешняя/внутренняя) и куда пакет передается (во внешнюю сеть/хосту фабрики)

• Внутренние сети – ассоциированы с tenant-ами и их доменами коммутации (bridge domains –

BD)

• Внешние сети – ассоциированы со внешними маршрутами соответствующих tenant-ов

Маршруты, полученные от

внешних маршрутизаторов

помечаются как ‘outside’

Конечный хост посылает пакет в фабрику

1

Если IP адрес предназначен хосту, который

подключается к фабрике, то пакет пересылается на

TEP адрес коммутатора, к которому подключен хост

2b 2a

Если пакет предназначается внешнему по

отношению к фабрику IP адресу, то он

терминируется на TEP коммутатора, к которому

подключается внешний маршрутизатор (на основе

лучшей метрики маршрута, если фабрика

подключается к внешним сетям в нескольких точках)

APIC


vSwitch

(VMWare) vSwitch (MSFT)

Payload IP

VM, подключенная к Ingress Port

Group или физический сервер

формируют пакет

1

Payload IP VXLAN VTEP

vSwitch инкапсулирует пакет и

передает его в сторону Leaf VTEP 2

Если входящий Leaf коммутатор уже выучил

соответствие IP адреса хоста назначения и

адреса VTEP, то в качестве адреса назначения

для eVXLAN туннеля выбирается известный

VTEP адрес и пакет передается напрямую на

исходящий Leaf коммутатор

4a


Коммутатор Leaf заменяет

заголовок VXLAN на eVXLAN

и применяет политику

3


Исходящий Leaf коммутатор

производит замену eVXLAN

заголовка на требуемую

инкапсуляцию и применяет

политику

5

Payload IP NVGRE GRE IP

Коммутатор Leaf передает пакет

vSwitch-у или физическому

серверу

6

Payload IP

Пакет передается на порт vSwitch

7


Если входящий Leaf коммутатор не имеет записи в кеше о соответствии IP назначения

адресу VTEP, то пакет пересылается на spine-коммутатор на адрес anycast VTEP, где

на уровне ASIC происходит HW lookup и переписывается адрес VTEP назначения.

Дополнительной задержки или снижения производительности при этом не происходит. 4b

VTEP VTEP

VTEP

Передача Unicast пакетов в ACI фабрике

APIC


vSwitch

(VMWare) vSwitch (MSFT)

vSwitch инкапсулирует пакеты,

ассоциированные с EPG при

помощи назначенного

VLAN/VXLAN/NVGRE

идентификатора

2

Если коммутатору Leaf известен

исходящий EPG который

ассоциирован с узлом назначения, то

он реализует политику устанавливая в

соответствующее значение бит в

заголовке eVXLAN, показывающий, что

входящая политика была применена к

пакету

4

На основе классификации

коммутатор Leaf формирует

значение поля Source Group в

eVXLAN заголовке

3

Payload IP NVGRE GRE IP

Коммутатор Leaf пересылает

пакет vSwitch-у или

подключенному напрямую

физическому серверу.

7

Пакет идентифицируется как

принадлежащий определенной end point

group (EPG) на основе входящей

классификации (port group, физический

порт, IP адрес, VLAN)

1

Payload VNID Flags VTEP SRC

Group

Если политика приложения требует передачу пакета через сервисное устройство

или цепочку таких устройств, то фабрика в качестве VTEP узла назначения

указывает адрес коммутатора, в которому подключено сервисное устройство

5

Исходящий Leaf коммутатор

проверяет был ли установлен policy

флаг в заголовке eVXLAN и если

требуется применяет политику

6

Реализация политик в ACI фабрике

Payload VNID Flags VTEP SRC

Group


vPC в ACI фабрике

• ACI поддерживает vPC интерфейсы

(агрегированные каналы 802.3ad,

подключенные к двум разным

устройствам)

• Отличия между ACI vPC и

стандартным vPC

• Не нужен Peer Link

• Связь в паре – через фабрику

• Восстановление при авариях -

через фабрику

• CFS (Cisco Fabric Services)

заменены IFS (ACI Fabric Services)

на основе Zero Message Queue

(ZMQ)

• Внутри фабрики vPC ассоциирован с

anycast VTEP адресом, активным на

обоих устройствах в VPC паре

ACI Fabric Services (ZMQ)

Host or Switch

VTEP VTEP

vPC Anycast

VTEP

vPC Anycast

VTEP


ACI фабрика Зачем нужны новые возможности QoS для ЦОД?

• Изменения в топологии и схеме распределения трафика заставляют пересмотреть традиционные

подходы к управлению перегрузками в ЦОД

• Большая плотность аплинков с большим и пропорционально большим количеством

соединений между коммутаторами приводят к большему числу вариантов возникновения

перегрузок (congestion patterns)

• Динамическое распределение нагрузки добавляет еще одну степень свободы для матрицы

распределения трафика и перегрузок

• Два варианта решения проблемы:

• Проведение постоянного статистического анализа распределения потоков в фабрике и тонкая

настройка имеющихся механизмов QoS - marking, queuing и т.д.

• Системный подход к управлению трафиком в ЦОД

40G каналы фабрики

в сочетании с 10G

каналами доступа

Высокая плотность

многоканальных

соединений

Динамическое

распределение

нагрузки

APIC


ACI фабрика – балансировка нагрузки Фокус на времени отклика приложения

• ACI фабрика отслеживает перегрузки

на всем пути передачи входящим и

исходящим leaf (измерения в

реальном времени)

‒ Перегрузка между внешними

портами коммутаторов (external

wires)

‒ Перегрузка между соединениями

ASIC-to-ASIC (internal wires)

• Фабрика балансирует потоки трафика

по принципу ‘flowlet’

‒ Динамическое перенаправление

активных потоков с загруженного

пути на менее загруженный путь

передачи трафика

• Фабрика приоритезирует небольшие

потоки

‒ Обеспечение поведения как DC-TCP

без модификации на конечном хосте

‒ Увеличение скорости передачи

больших TCP потоков

APIC


Балансировка внутри ACI фабрики Flowlet Switching

H1 H2

TCP поток

• Flowlet switching* обеспечивает

независимую передачу “порций”

пакетов принадлежащих одному

потоку по разным аплинкам

• Без изменения порядка

передаваемых пакетов

Gap ≥ |d1 – d2|

d1 d2

*Flowlet Switching (Kandula et al ’04)


Балансировка внутри ACI фабрики Dynamic Flow Prioritization

Реальный трафик представляет собой

микс больших (elephant) и

малых (mice) потоков.

F1

F2

F3

Стандартный режим

(один приоритет):

Потоки больших размеров

влияют на

производительность

небольших потоков

(задержка и потери).

High

Priority

Dynamic Flow Prioritization:

фабрика автоматически

приоритезирует потоки

малого размера

Standard

Priority

Ключевая идея:

Фабрика обнаруживает первые

несколько “порций” (flowlets)

каждого потока данных и

помещает их в приоритетную

очередь


Улучшение производительности приложений За счёт возможностей фабрики ACI

• Увеличение емкости фабрики (в результате увеличение числа VM на порт)

• Уменьшение времени отклика приложения по сравнению со стандартным ECMP

Динамическая балансировка и динамическая приоритезация

0

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

0.12 0.21 0.20

Нор

ма

ли

зова

нно

е с

ре

дне

е

Flo

w C

om

ple

tio

n T

ime

На 80% улучшение параметра flow completion time у приложения

На 60% улучшение утилизации емкости фабрики

Короткие потоки

(0,100KB)

Средние потоки

(100KB, 5MB)

Большие потоки

(5MB, Inf)

ACI динамическая балансировка

+ приоритезация потоков

Стандартная ECMP сеть


Влияние на производительность Memcached

0

20

40

60

80

100

120

140

160

180

200

0 100 200 300 400 500 600 700

Mem

cach

ed

П

ро

изв

од

ител

ьн

ость

(M

B/s

)

Время (секунды)

Запускается

фоновый трафик

(iperf)

Включается

динамическая

приоритезация

~10x улучшение


ACI фабрика Зачем нужны новые решения по телеметрии в ЦОД?

• Изменения в топологии и схеме распределения трафика заставляют пересмотреть

традиционные подходы к поиску и устранения неисправностей, а так же планирования

емкостей в ЦОД

• Высокая степень разделяемости инфраструктуры объединенная с распределенной

сущность приложений требуют сбора статистки в контексте приложения

• Возможности ACI фабрики

• Atomic Counters

• Измерение задержки (latency Metrics)

Необходимость

мониторинга SLA в

разделяемых

ландшафтах

Фабрика больших размеров

усложняет корреляцию

собираемых статистических

данных со специфическим

приложением/tenant-ом

Увеличение

распределенной

нагрузки VM VM VM VM VM VM

APIC


Телеметрия Atomic Counters

Path 1 Path 2 Path 3 Path 4

Пакеты отправленные с

Leaf 2

на Leaf 5

Path 1 2068

Path 2 2963

Path 3 2866

Path 4 2506

Разница

Path 1 2

Path 2 0

Path 3 -3

Path 4 0

Пакеты полученные на

Leaf 5 отправленные с

Leaf 2

Path 1 2066

Path 2 2963

Path 3 2869

Path 4 2506

APIC


Телеметрия Измерение задержки в фабрике

• Матрица задержки между Leaf создается и поддерживается в актуальном состоянии

на каждом Leaf

• Средняя задержка на порт и вариация задержки в сторону других коммутаторов

доступа (Leaf)

• Измерение задержки для 99% пакетов

Пограничные

часы

Синхронизация

времени при

помощи PTP

Внешний источник точного времени (Pulse

Per Second [PPS]) на каждом супервизоре

шасси с ролью Spine

Коммутаторы Nexus 9000 для фабрики ACI


Одна платформа – два режима использования

Программируемость на

уровне устройства

Программируемая

фабрика

NXOS Policy Controller

1/10/40G

Готовность к 100G

Управление и

автоматизация сети

Автоматизация по политикам,

ориентированная на


Nexus 9000


Коммутаторы Cisco Nexus 9000

Разные форм-факторы для ЦОД разного масштаба

Nexus® 9300 Nexus 9500

48 1/10G SFP+ & 12 QSFP+

Ма

сш

таб

ир

ова

ни

е

1 G

E/1

0 G

bps/4

0 G

bps/1

00

GE

П

ро

изв

од

ите

льно

сть

Производительность Порты Цена Программируемость Питание

96 1/10G-T & 8 QSFP+

12-port QSFP+ GEM

ACI Ready Leaf Line Card

48 1/10G-T & 4 QSFP+

ACI-ready Leaf line card

48 1/10G SFP+ & 4 QSFP+

Aggregation line card

36 40G QSFP+

C9500 8-слотов


Характеристики Nexus 9500 На примере Nexus 9516

Высокая неблокируемая плотность портов

‒ 576 x 40 Gbps

‒ 2,048 x 10 Gbps

Энергоэффективность

‒ 11 W / 40 Gbps порт

‒ Источники питания «платинового» уровня – КПД 90-94%

Первое модульное шасси без бэк/мидплейна

‒ Эффективное охлаждение

Полноценная коммутация и маршрутизация

‒ L2/L3 на скорости канала

‒ Бриджинг и маршрутизация VXLAN

Высокая степень интеграции и эффективности

‒ Только 2 -4 ASIC на модуль

‒ Оптимальная буферизация

‒ Комбинация 28 nm микросхем Cisco® и 40 nm Broadcom

Best of Interop 2014

Data Center


Коммерчески доступные + собственные ASIC Стратегия Merchant+

Merchant ASIC --- NFE (Broadcom Trident II)

Custom ASIC --- Cisco ALE (ACI Leaf Engine), ASE (ACI Spine Engine)

NFE ALE ASE

ASIC

Technology 40 nm 28 nm 28nm

40Gbps Ports 32 (24) 24 (24) 42(42)

Buffer (MB) 12 MB 40 MB 23 MB

L2/ L3 L2/ L3 L2/ L3 L3

Стратегия «Merchant+»:

Лучшая производительность и функциональность

Оптимальная стоимость

+


NO ROUTING AND OVERLAY

BUFFERING

NO VISIBILITY

12 MB Buffer Counters per

Packet and Bytes Visibility per Port VXLAN Bridging

Коммерчески доступные чипы Есть, что улучшить

INDUSTRY

BASELINE

Trident 2


12 MB Buffer Counters per

Packet and Bytes Visibility per Port VXLAN Bridging

Merchant +

VXLAN Routing

Normalized Forwarding VXLAN/NVGRE/VLAN

Incremental 40 MB Buffer, Active Queue

Management

APPLICATION VISIBILITY

Elephant Traps,

VXLAN Aware Trace-route

Atomic

End-end Latency Measurements

INDUSTRY

BASELINE

CISCO ASIC

INNOVATIONS

DYNAMIC LOAD BALANCING

FLOW PRIORITIZATION

MULTICAST MULTIPATH

FAST RE-ROUTE

INLINE HW OVERLAY DB

Trident 2

+


Nexus 9500 Семейство шасси

9504 9508 9516

Высота 7 RU 13 RU 21 RU

Слотов для модулей 4 8 16

Коммутационная емкость 15 Tbps 30 Tbps 60 Tbps

Неблокируемых

10G портов, максимум 576 1,152 2,048

Неблокируемых

40G портов, максимум 144 288 576

Использование в ACI ✔ ✔ ✔

Общие - Супервизор

- Системный контроллер

- Интерфейсные карты

- Блоки питания

- Образ NX-OS

Nexus 9504

Nexus 9508

Nexus 9516


Nexus 9500 Конструкция шасси

2 модуля супервизора

8 слотов для карт

6 модулей фабрики

(за вентиляторами)

3 вентиляторных

модуля

2 системных контроллера

4 блока питания

(3000W AC)

Front to Back Airflow Линейные карты и

модули фабрики

включаются друг в друга

(без midplane)

Front Back


Nexus 9500 Шасси без мидплейна

Эффективность питания и

охлаждения – нет

препятствий охлаждению

Надежность – невозможно

повреждение мидплейна

Будущее расширение

производительности – нет

ограничений по пропускной

способности соединений на

мидплейне


Nexus 9500 Модуль супервизора

• Резервируемый модуль половинной ширины

• Производительность и масштабируемость

• Варианты управляющих интерфейсов

• Внешний вход синхронизации (PPS)

Модуль супервизора

Процессор Romley, 1.8 GHz, 4 core

Память 16 GB, upgradable to 48 GB

Консольные порты Один (RJ-45)

Порты управления

10/100/1000 Один (RJ-45)

Интерфейсы USB 2.0 Два

SSD 64 GB

64 GB SSD

16 GB DRAM

(Upgradable to 48 GB)

10/100/1000 mgmt port

Dual USB ports

Console port PPS clock input

Latest quad-core Intel Sandy Bridge

Processor

Redundant paths to system controllers


Nexus 9500 Системный контроллер

Резервируемый модуль половинной ширины

Освобождает супервизор от управления оборудованием

‒ Повышение стабильности

‒ Увеличение масштабируемости

• Производительность и масштабируемость

‒ Dual core ARM processor, 1.3 GHz

Единая точка управления шасси

Коммутатор Ethernet Out of Band Channel (EOBC) :

‒ 1 Gbps switch for intra-node control plane communication (device

management)

Коммутатор Ethernet Protocol Channel (EPC):

– 1 Gbps switch for intra-node data plane communication (protocol

packets)

Управление источниками питания и вентиляторами


Источники питания

3000W AC PSU

• Один ввод 220V 20A

• Эффективность 92%+

• Набор вариантов конфигураций

– Минимум 1 БП

– 2 БП для полностью заполненного 9508

– Резервирование N+1

– Резервирование N+N

• Запас для роста мощности для будущей

плотности портов, производительности и

трансиверов

– До 8 БП на 9508

– До 10 БП на 9516

* 80 Plus Platinum is equivalent to Climate Saver/ Green Grid Platinum rating


Trid

en

t II

AS

IC

Trid

en

t II

AS

IC

32 x

40G

32 x

40G

Каждый модуль для 9508 содержит

два чипа Broadcom Trident II

(Network Forwarding Engines)

Модули фабрик


Модуль фабрики Nexus 9500 Масштабируемость на примере 8-слотового шасси

Каждый модуль фабрики обеспечивает до 320 Gbps на каждый слот

С 6 модулями на слот приходится до 1.92 Tbps коммутационной ёмкости (в каждом направлении)

NFE

Fabric 1

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 2

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 3

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 4

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 5

NFE

320 Gbps

(8 x 40 Gbps)

NFE

Fabric 6

NFE

320 Gbps

(8 x 40 Gbps)

Line Card Slot

320 Gbps

640 Gbps

960 Gbps

1.28 Tbps

1.60 Tbps

1.92 Tbps


Nexus 9500 Интерфейсные карты

48 ports 10G SFP+ & 4 ports 40G QSFP+

48 ports 1/10G-T & 4 ports 40G QSFP+ (non blocking)

1/10G Access and 10/40G Aggregation

36 ports 40G QSFP+ (Non Blocking)

40G Aggregation

ACI Access Ready

ACI Access Ready

36 ports 40G QSFP+ (Non Blocking)

40G Fabric Spine

ACI Spine

Non-ACI


Интерфейсные карты Nexus 9500 N9K-X9636PQ

A 36-port, 40 Gbps QSFP+ line card needs 6 fabric

modules to operate at line rate on all 36 ports and for all

packet sizes.

36 портов 40 Gbps QSFP

Коммутационная ёмкость 2.88 Tbps (дуплекс)

Неблокируемая производительность L2/L3 на всех размерах пакетов

Поддержка режима 4x10 Gbps на QSFP+ портах

Необходимо 6 модулей фабрики для полной производительности

Не поддерживается (на момент выпуска ACI) в ACI режиме


Интерфейсные карты Nexus 9500 N9K-X9636PQ

Три чипа NFE

Каждый NFE имеет 12 x 40 Gbps каналов на переднюю панель и 12 x 40 Gbps внутренних каналов к

модулям фабрики

NFE 1

12 x 40 Gbps

12 x 40 Gbps Ethernet

NFE 2

12 x 40 Gbps


NFE 3

12 x 40 Gbps


К модулям фабрики

Интерфейсы


Интерфейсные карты Nexus 9500 N9K-X9564PX и N9K-X9564TX

N9K-X9564PX

48 1/10G SFP+ портов + 4 40G QSFP+ порта

N9K-X9564TX

48 1/10GBase-T портов + 4 40G QSFP+ порта

Неблокируемая производительность L2/L3 на всех размерах пакетов

Поддержка режимов Cisco® NX-OS и Applcation Centric Infrastructure (ACI)

48-port 1/10G SFP + 4-port 40G

4 x 40G or 16 x 10G

48-port 1/10G-T + 4-port 40G

4 x 40G or 16 x 10G


Интерфейсные карты Nexus 9500 N9K-X9564PX и N9K-X9564TX

NFE 1

ALE 1

12 x 40 Gbps

48 x 1/10G SFP/SFP+

ALE 2

12 x 40 Gbps

4 x 40G QSFP+

Network Interfaces

NFE 2

Network Interfaces

12 x 40 Gbps 12 x 40 Gbps

12 x 40 Gbps

Ethernet 6 x 40 Gbps

Ethernet

48 x 1/10G Base-T

К модулям фабрики

Интерфейсы

2 чипа Network Forwarding Engine

(NFE)

2 чипа Application Leaf Engines (ALE)

для дополнительной буферизации и

обработки пакетов


Семейство Nexus 9500 Интерфейсные карты

N9K-X9636PQ N9K-X9564PX N9K-X9564TX

Портов 1/10G SFP/SFP+ -- 48 --

Портов 1/10GBase-T -- -- 48

Портов 40G QSFP 36 4 4

Максимальное число 1 G

портов -- 48 48

Максимальное число 10 G

портов 144 64 64

Максимальное число 40G

портов 36 4 4

Minimum Number of Fabric

Modules for Full Line-Rate

Performance

6 3 3


Коммутаторы Nexus 9300

Nexus® 9396PQ

• 960G

• 48 портов 1/10 Gb SFP+ и

12 портов 40G QSFP+

• 2 RU

Nexus 93128TX

• 1,280G

• 96 портов 1/10GBASE-T и

8 портов 40G QSFP+

• 3 RU

Nexus 9300 – общие характеристики

• Зарезервированные вентиляторы и БП

• Поток воздуха «спереди-назад» и «сзади-вперёд»

• Неблокируемая коммутация

• Поддержка коммутации L2/L3, бриджинга и маршрутизации VXLAN, VPC, FEX...

• Богатые возможности программируемости

Общий аплинк-модуль

• 12-port 40 Gb QSFP+

• Дополнительный буфер 40 MB

• Функции шлюза и

маршрутизатора VXLAN


Архитектура Nexus 9300 Nexus 9396PX

• Высота 2 RU

• 48 портов 1 Gb SFP/10 Gbps SFP+

• 12 портов 40 Gbps QSFP (на GEM модуле)

• Порт управления 100/1000baseT

• Консольный порт

• 2 порта USB 2.0

• Варианты охлаждения front-to-back и back-

to-front

• БП с резевированием 1+1

• Вентиляторы с резервированием 2+1

• Неблокируемая коммутация на всех

размерах пакетов

Cisco Nexus® 9396PX

Console

Management Port

USB Ports

48 1Gbps SFP/10Gbps SFP+

ports

GEM module with 12 40 Gbps QSFP+ ports

Power supply Power supply (2+1) fan trays


Архитектура Nexus 9300 Nexus 93128TX

• Высота 3 RU

• 96 1/10 Gbps BaseT ports

• 8 портов 40 Gbps QSFP (на GEM модуле)

• Порт управления 100/1000baseT

• Консольный порт

• 2 порта USB 2.0

• Варианты охлаждения front-to-back и back-

to-front

• БП с резевированием 1+1

• Вентиляторы с резервированием 2+1

Cisco Nexus® 93128TX

Console

management port

USB ports

96 1 GBaseT/10 GBaseT ports

GEM module with 12 40 Gbps QSFP+ ports

(8 active uplinks)

Power supply Power supply (2+1) fan trays


Nexus 9300 Архитектура системы

NFE

ALE

Network Interfaces

12 x 40 Gb

Hi-Gig2

12 x 40 Gb

Ethernet

Front Panel 48 x 1 GE/10 GE Ports

GEM 12 x 40 GE QSFP+ Uplinks

Nexus® 9396PQ/

Nexus 9396TX Nexus

93128TX

NFE

ALE

Network Interfaces

8 x 40 Gb

24 x 40 Gb

Ethernet

Front Panel 96 x 1 GE/10 GE Ports

GEM 12 x 40 GE QSFP+ Uplinks (only 8 ports are active)


Инновации в оптике Устранение барьеров на пути к 40G

Проблема

• Стоимость трансиверов 40 Gb составляет

существенную долю затрат (CAPEX)

• 40 Gb интерфейсы требуют новую каб.

проводку

• Использовать существ. 10 Gb MMF

инфраструктуру

• Использовать существ. патч-корды (LC

коннектор)

Решение

• QSFP, MSA-compliant

• Dual LC коннектор

• Поддержка 100 m на OM3 и до 150m на OM4

• TX/RX на двух длинах волн 20 Gb каждая

Cisco® 40 Gb SR-BiDi QSFP

Доступно и поддерживается на всех Cisco QSFP портах


Экономика трансиверов 10G, 40G, 100G

Сравнение стоимости за единицу пропускной способности:

• 40GBASE-SR4/CSR4 дешевле за 10G линию, чем отдельные 10G трансиверы

• Трансивер 40GBASE-BD лишь на 10% дороже 10G - и работает по такой же оптической линии!

• Трансивер 100G CFP дороже за 10G линию, чем 10G/40G альтернативы – переход на CPAK даёт более экономичное решение

91

0

0.2

0.4

0.6

0.8

1

1.2

1.4

1.6

1.8

$/Gbps, в сравнении с 10GBASE-SR

10GBASE-SR

40GBASE-SR4

40GBASE-CSR4

40GBASE-BD

100GBASE-SR4(CFP)

100GBASE-SR4(CPAK)

Интеграция сервисов и гипервизоров


Фабрика с поддержкой нескольких гипервизоров

• Интегрированный шлюз для

VLAN, VxLAN, NVGRE сетей

• Нормализация для NVGRE,

VXLAN и VLAN сетей

• Заказчик не ограничен в выборе

гипервизора

• Фабрика готова к поддержке

нескольких гипервизоров «из

коробки»

Интеграция с

виртуальным миром

Сетевой

администратор

Администратор


ФИЗИЧЕСКИЙ

СЕРВЕР

VLAN

VXLAN

VLAN

NVGRE

VLAN

VXLAN

VLAN

ESX Hyper-V KVM


гипервизором

ACI фабрика

APIC

APIC


Cisco APIC and

VMWare vCenter

Handshake

ACI

Fabric

Apply Policy

APP

DB

WEB

Application Network Profile

Firewal ADC

Интеграция Cisco ACI и VMWare vSphere

APIC

We

b We

b

We

b

We

b App App

HYPERVISOR HYPERVISOR HYPERVISOR

VIRTUAL DISTRIBUTED SWITCH

WEB PORT

GROUP

APP PORT

GROUP

DB PORT GROUP

DB DB

VI/Server Admin

vCenter

Instantiate

VMs


Instantiate

VMs

Cisco APIC and

Microsoft SCVMM

Handshake

ACI

Fabric

Apply Policy

VI/Server Admin

System Center

Virtual Machine

Manager

APP

DB

WEB

Application Network Profile

LOGICAL SWITCH

VM NETWORK

WEB

VM NETWORK

APP

VM NETWORK

DB

We

b App

HYPERVISOR

App DB

HYPERVISOR

We

b DB

HYPERVISOR

Firewal ADC

Интеграция Cisco ACI и Microsoft Hyper-V

APIC


NOVA

NEUTRON

OpenStack Tenant

We

b We

b

We

b

We

b App App

NETWORK

ROUTING

SECURITY

DB DB

HYPERVISOR HYPERVISOR HYPERVISOR

OPEN VIRTUAL SWITCH OPEN VIRTUAL SWITCH OPEN VIRTUAL SWITCH

Create Network,

Subnet, Security

Groups, Policy

Automatically

Push Network

Profiles to APIC

ACI

Fabric

Apply Policy

Интеграция Cisco ACI и OpenStack

APIC


ACI: интеграция с сервисами 4 - 7 уровня Централизация, автоматизация и поддержка существующей модели

• Эластичность вставки сервиса

физического или виртуального

• Помощь в административном разделении

между уровнями приложения и сервиса

• APIC – центральная точка контроля сети и

согласовании политик

• Автоматизация процесса

развертывания/свертывания сервиса

посредством программируемого

интерфейса

• Поддержка текущей операционной модели

эксплуатации

• Применение сервиса вне зависимости от

места нахождения приложения

• Описание сервиса в виде device package –

может быть создан сторонним

разработчиком

Web

Server

App Tier

A

Web

сервер

Web

Server

App Tier

B

App

сервер

Сервисная

цепочка

“Security 5”

Политика

перенаправления

Администратор


Администрато

р сервиса

Серв.

граф

begi

n end Stage 1

…..

Stage N

Pro

vid

ers

inst

inst

…

МСЭ

inst

inst

…

Балансировка

……..

Сер

ви

сны

й

пр

оф

ил

ь

Определение “Security 5”


• Сервисный граф настраивается в

APIC

• Определяет модель

взаимодействия между EPG

• В сервисной цепочке доступны

следующие операции - split, join,

tap и т.д.*

• Типичные сервисы:

- Firewall

- IPS

- TAP/Packet mirror

- ADC/SLB

Cервисная архитектура Определение сервисного графа

IPS EPG

Outside EPG Web

TAP EPG App EPG DB

ADC EPG Web

EPG

Desktop

EPG

Mobile

ADC

EPG

Web2

EPG

AppA

EPG

Web1

FW EPG App ADC EPG DB

*Straight Graph only at FCS


Tenant X

Автоматизация сервисных цепочек Роли и обязанности

Администратор приложения

• Создание сервисного графа

• Применение сервисного графа

• Загружает device package

• Подключает оборудование

• Регистрирует сервисные

устройства и назначает их

группам пользователей (tenants)

• Публикует сервисный граф

Device Package

A

Device Package

B

Device Package

C

Объекты управления:

• Сервисный граф

• Конфигурация устройства и сервиса

Device A Device B Device C Device C Device A Device A

Сетевой администратор

APIC

Открытость архитектуры ACI


Открытая экосистема ACI Все возможности доступны благодаря открытому API и модели данных

Объектно-ориентированная

Автоматизация

RESTful XML / JSON

Открытая

экосистема

Программируемость

Полный доступ к системе

посредством API

Northbound API

• Быстрая интеграция с

существующими средствами

управления

• Поддержка приложений и орг.

cтруктуры (tenant)

• Поддержка OpenStack

Southbound API

• Опубликованная модель

данных

• Протокол OpFlex для

открытой интеграции

элементов в ACI

• Open source реализация DME

• Встраивание L4-L7 сервисов *На момент FCS есть ограничения, обращайтесь за уточнениями

Системное

управление


гипервизорами

Средства

автоматизации

Средства

оркестрации

http://www.hsvsummit.com/images/sponsor_logos/CA_Technologies.JPG

http://www.siia.net/codies/2009/finalists/logos/2-SolarWinds_Logo.JPG


APIC

Представляем Opflex – открытое управление элементами фабрики ACI

ПРОТОКОЛ OPFLEX + ЭКОСИСТЕМА

OPEN SOURCE Открытый код, доступный всем

ЭКОСИСТЕМА Широкая и постоянно расширяющаяся

поддержка производителей включая

гипервизоры, сетевые устройства L4-7

СТАНДАРТ Стандартизация Opflex в IETF OPFLEX

ЗАЩИТА ИНВЕСТИЦИИ ЗА СЧЕТ ВОЗМОЖНОСТИ ЛЮБОМУ УСТРОЙСТВУ

ИНТЕГРИРОВАТЬСЯ В ФАБРИКУ CISCO ACI

L4-7 DEVICE

КОММУТАТОР ГИПЕРВИЗОРА


APIC

Opflex: открытый расширяемый протокол для описания политик

OPFLEX СОЗДАН,

ЧТОБЫ ОБЕСПЕЧИТЬ:

Policies:

• Who can talk to

whom

• What about

• Ops requirements

Абстрактное описание политик а не

настройки конкретного устройства 1.

Гибкое, расширяемое описание с

использованием XML / JSON 2.

Поддержка любых устройств, включая

виртуальные коммутаторы, физические

коммутаторыи и сетевые сервисы с

обеспечением интероперабельности

между вендорами

3.

Открытый, стандартизованный API с

эталонной open source реализацией 4.

OPFLEX

PROXY

OPFLEX

AGENT

OPFLEX

AGENT

OPFLEX

AGENT

HYPERVISOR SWITCH ADC FIREWALL

120

Миграция на ACI традиционных ЦОД


Backbone

Внедрение ACI в существующем ЦОД физическое и виртуальное

AVS OVS Hyper-V AVS vSwitch

Directory/Proxy

Service Nodes

Border

Leaves

APIC Policy

Controller

ACI Services

extended in to any

existing IP enabled

Data Center

ACI Enabled L4-7

Virtual and Physical

Services (Support for

Existing and New

Services Instances)

ACI Policy and Automation

Extended to Virtual Servers

via Cisco AVS (OVS and

Hyper-V)

ACI Policy and Automation

Extended to Physical and

Existing Virtual Servers via

Cisco Nexus 9000

Extending ACI Policy and Automation into the Existing Data Center

ACI Leaf

Nexus 9000


Application Virtual Switch with OpFlex in ACI Fabric

OpFlex

AVS

vCenter

Hypervisor Manager

• AVS: First Virtual Leaf to implement OpFlex

• Network policy communicated from APIC to AVS through N9k using OpFlex

• Increased control plane scale through APIC Cluster and Leaf Node

• APIC communicates with vCenter Server for Port Group creation

VM VM VM VM VM VM VM VM

OpFlex OpFlex

OpFlex

AVS


AVS supports OpFlex to integrate with APIC

Supports a Full Layer 2 Network (Nexus 7k/6k/5k/3k/2k/FI) between Nexus 9k and AVS: Investment Protection

VMware DVS can only support a single L2 switch between N9k and DVS

LLDP and NOT OpFlex Integration

Layer 2 network is required to support OpFlex bootstrapping in this phase

Extending ACI to Existing Virtual & Physical Network

AVS

AVS

AVS

Op

Fle

x

Op

Fle

x

Op

Fle

x

Phase 1: Layer 2 Existing

Network/Local Switching


Backbone

Extending ACI in to Current Data Center’s Leverage ACI enabled remote 9300 & AVS leaf (1HCY15)

APIC Policy

Controller

Directory/Proxy

Service Nodes

Border

Leaves

Remote 9300 ACI full

policy enabled leaf

1. Enabled IP routing

between ACI service

block infrastructure

address space and

existing network

2. Install Nexus 9300 ACI

remote leaf nodes

3. Upgrade to full

switching enabled

vSwitch (AVS, OVS,

Hyper-V)

AVS OVS Hyper-V AVS vSwitch

ACI Policy based

forwarding, automation,

service insertion and

counters extended to the

edge of existing networks


Ссылки по теме

Cisco ACI http://www.cisco.com/go/aci

Скрипты для программного взаимодействия с

продуктами Cisco для ЦОД https://github.com/datacenter/

Проект Open Daylight http://www.opendaylight.org

Материалы конференций Cisco Live!

http://www.ciscolive365.com

OpenStack http://www.openstack.org/

132

http://www.cisco.com/go/aci

https://github.com/datacenter/



http://www.opendalylight.org/

http://www.ciscolive365.com/

http://www.openstack.org/

http://www.openstack.org/

Q & A