Современный ЦОД с точки зрения ИТ-архитектора

© 2011 Cisco and/or its affiliates. All rights reserved. 1

Cisco Expo 2012

Виктор Подкорытов инженер-консультант Cisco [email protected] +380 44 3913600

Современный ЦОД с точки зрения ИТ-архитектора


Cisco’s Commitment to Data

Center

3 © 2011 Cisco and/or its affiliates. All rights reserved.


•  Higher loads of East-West traffic types

•  Higher 10G and 40G switch density per RU

•  Denser Tier 2 switching layer

•  Flexible L2/L3 Boundary Placement

•  Redundancy from 1+1 to N+1: better HA and lower fate sharing

•  Migration to 40G Fabric

•  Early Integration of 100G north-south focused – DC edge

•  Selection of Rack network model: ToR to ToMR

•  Selection of Row network model: EoR to EoMR

Сеть


•  Hypervisors at Scale

•  DVS orchestration and Integration

•  Virtual Machine / bare metal mobility

•  Fabric & cross-fabric mobility

•  Segmentation at Scale

Виртуализация Приложения

•  App logical isolation at scale

•  App processing closer to the wire

•  Apps to handle unstructured data

•  APIs for high performance & time sensitive ops

Сервера •  CPU: SandyBridge

•  10G LOMs

•  Server Migration to 10G

•  Uplinks 10G or 40G



От 48x10G к 12, 24, 32x40G /слот

Больше ToR на коммутаторы Агрегации Меньше коммутаторов Агрегации Серверная мощность значительно выше

От 48xGE + 4x10G к 48x10G + 4x40G

RU-коммутатор Модульный коммутатор

Horizontal Cabling

Vertical Cabling

Main X-Connect

EoR X-Connect


Data Center Row 1

Data Center Row 2

  Серверная виртуализация и функциональность (vMotion, Live Migration,….) меняет множество аспектов дизайна ЦОД

  Где сервер в настоящее время?

  Где порт доступа?

  Где должен существовать VLAN?

  Любой VLAN везде?

  Насколько Масштабируемый домен L2?

  Как планировать ресурсы для гибко меняющейся нагрузки? (в тч Питание, Охлаждение…)

  Как планировать Политики(Security, QoS,) для гибко меняющейся нагрузки?


3 Малых Блока c Ядром : 2880 серверных портов

60

6

2

48+4

48

64

Boxes Ports

60

2

0

48+4

128

XX Boxes Ports

384

4

0

48+4

384

XX

1 Большой Блок, лучше HA – 18,432 серверных портов



Moving to a fully virtualized Data Center, with Any to Any Connectivity


LAN/SAN SAN LAN

Nexus 7000

Nexus 1000V

Nexus 1100

Nexus 5500

Nexus 2000 Nexus 3000 Nexus 3548

MDS 9500

MDS 9100

MDS 9200

Nexus 4000 Nexus B22HP B22F

Unified

40Gb

Cisco NX-OS: Единая операционная система от Гипервизора до Ядра ЦОД

Конвергентность Гранулированость до уровня VM

Коммутация 10 GbE

Расширение Фабрики Облачная Мобильность

Масштабируемость

550Gb

FCoE

10/40/ 100Gb ports

B22 Fujitsu

HP 200 ns

Servers x86


10/40/ 100Gb


ASR 9000

Routing Core

CRS-3

SP Edge

Campus Core

Nexus 3k/5k UCS

Catalyst 6500

Access

100G

100G

10/40G

10/4

0G

© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 15

Агрегация Доступ

Агрегация Доступ

M2-Карты ЦОД и Кампус

LAN

Ядро

M-Серия

F-Серия

•  Много-функциональное Ядро •  До 240 Gb/слот (1/10/40/100GbE) •  Большие Буфера и Таблицы (1M IPv4,

128K MAC, 128K TCAM) •  Сервисы OTV, MPLS, LISP*, FEX

•  До 480 Gb/слот (1/10 Gb SFP+, 10GT) •  До 768x10Gb •  Агрегация Доступ (32K IPv4, 16K MAC) •  Сервисы FabricPath, FCoE, FEX


VDC (Virtual Device Context) Изоляция программных компонент и протоколов Изоляция аппаратных ресурсов и данных

Полная изоляция доменов управления обеспечивает безопасность

Infrastructure

Layer-2 Protocols Layer-3 Protocols

VLAN mgr

STP

OSPF

BGP

EIGRP

GLBP

HSRP

VRRP

UDLD

CDP

802.1X IGMP sn.

LACP PIM CTS SNMP

RIB RIB

Protocol Stack (IPv4 / IPv6 / L2)

Layer-2 Protocols Layer-3 Protocols

VLAN mgr

STP

OSPF

BGP

EIGRP

GLBP

HSRP

VRRP

UDLD

CDP

802.1X IGMP sn.

LACP PIM CTS SNMP

RIB RIB

Protocol Stack (IPv4 / IPv6 / L2)

Kernel

VDC A VDC B

A B C

D

A B

C D

Sup 1,2 – 4+1 VDC Sup2E – 8+1 VDC


  Совмещение Ядра/Агрегации/Доступа без смешения функциональности каждого уровня

  Управление политиками Безопасности, QoS, BW ..

  Изоляция уровней, Управления

Сервисы

VSS

Агрегация

Ядро

L3

Доступ

VDC 1

VDC 2

VDC 3

VSS



Control Plane

Data Plane

Обновление ПО без остановки сервиса!

Sup&Fabric

5x Fabric = N+1 = 550Gb/Slot

2x Sup = 1+1 = ISSU


Traditional STP Based Network Nexus VPC Based Network

Blocked Links

L2

L3

L2

L3

Virtual Port Channel

Physical Topology Logical Topology


© 2011 Cisco and/or its affiliates. All rights reserved. 22 22

LAN LAN Порт коммутатора на вынесенной из шасси Удаленного I/O карте

Switch

Switch

Традиционное решение FEX Архитектура

Switch

FEX

Сетевые Уровни объединены, единая точка управления

4-8x10Gb Eth


= Распределенный Коммутатор

+ Cisco Nexus® 2000 FEX

M2/F2 N55k

23

Более 13000 заказчиков

10М+ Nexus 2k портов внедрены

#1

#48


Rack-‐2 Rack-‐3

Virtual Modular System

Servers

Уровень Агрегации

L3 L2

vPC

Rack-‐N

Nexus 2000 Fabric

Extender

GE Rack

Servers

vPC Nexus 7k/5K

10GE Rack

Servers 10GE Blade Servers

STP-Free


•  RU-, Блейд- сервера

•  100Mb, 1/10G, FCoE, Медь, Оптика

•  Уровни 2/L3, Виртуализация

Nexus 2000

100M/1GE Rack Mount Servers

Nexus 2000

1/10GE/FCoE Rack Mount

Servers

Cisco UCS

Nexus 7000

Униф

ицир

ован

ный

уров

ень

Дост

упа

Nexus 5000/5500

1/10GE/FCoE UCS Compute

Blade

1/10GE/FCoE Third Party

Blade Servers

Nexus 2000

Род

ител

ьски

й ко

ммут

атор

1/10G/FCoE UCS Compute

Rack

Nexus 2000

UCS

FCoE!



•  До 116 виртуальных адаптеров.

•  Виртуальные адаптеры подключены в vEth порты N55k и UCS Фабрики.

•  Презентуются как аппаратные адаптеры Eth и FC для OS.

SAN LAN

vNIC

Host OS

Host OS

VIC 1240/1280

OS Limits Max PCIe Int Max vNICs Max vHBAs

Win 2008 20 20 16

RHEL 5.4 32 32 16

ESX 26 16

vHBA

vNIC

vNIC

vHBA

vHBA

Классический Ethernet Классический FC Унифицированая Фабрика Унифицированая Фабрика


•  Используются оставшиеся виртуальные интерфейсы для VM.

•  vmNIC подключается на прямую в UCS Фабрику.

•  Интеграция с vCenter и VMM.

•  Поддержка VMotion.

SAN LAN

vNIC

vHBA

vNIC

Host OS

vNIC

vHBA

Host OS

vHBA

VIC 1240/1280

P81E VIC 1255 VIC

VM

VM

Унификация Кабелирования!

Классический Ethernet Классический FC Унифицированая Фабрика Унифицированая Фабрика

VM

VM



Приложение получает необходимые ресурсы без привязки к конкретному шкафу

VLAN 1, 2, 3 VLAN 1 Rack 1

VLAN 2 Rack 2

VLAN 3 Rack 3

FabricPath

  Простой дизайн: Любой VLAN, в любом месте – Фабрика Ethernet

  Эффективность: Балансировка аплинков

  Сходимость: L3 протокол для L2

  Масштабируемость: наращивание агрегации, управление переподпиской

STP-Free


FabricPath Топология

‘1’


‘0’


‘2’

VLAN 20 (Весь ЦОД)

VLAN 20 – Весь ЦОД VLAN 30 – POD Локальный (и не уникальный) VLAN 10 – POD Локальный (и уникальный)

VLAN 20 – Весь ЦОД VLAN 30 – POD Локальный (и не уникальный) VLAN 40 – POD Локальный (и уникальный)

F1 F2 N55k


Традиционные топологии

+VPC

100 – 1,000 Серверных портов

Масштабируемость FEX+VPC

10,000 Серверных портов

Фабрика

FABRIC PATH+VPC

100,000 Серверных портов

L2 / L3

Простота Эффективность




•  Работа поверх любого транспорта (IP, MPLS)

•  Изоляция доменов сбоев

•  Независимость сайтов

•  Оптимальное использование полосы

•  Встроенная отказоустойчивость

•  Встроенная защита от «петель»

•  Связь многих сайтов

•  Масштабируемость   VLANs, сайты, MACs   ARP, broadcasts/floods

•  Простота настройки

•  Легкость добавления сайтов South Data Center

North Data Center

Fault Domain

Fault Domain

Only 6 CLI commands

LAN Extension

Fault Domain

Fault Domain


Eth 4

Eth 3

MAC TABLE

VLAN MAC IF 100 MAC 1 Eth 2

100 MAC 2 Eth 1

100 MAC 3 IP B

100 MAC 4 IP B

MAC 2

MAC 1

Core

MAC 4

MAC 3

OTV

External IP A

External IP B

West East

L2 L3 L3 L2

Ani

mat

ed S

lide

!

OTV Inter-Site Traffic

MAC Table contains MAC addresses reachable through

IP addresses

OTV

Encap 2

Layer 2 Lookup

1

  No Pseudo-Wire state is maintained.   The encapsulation is done based on a Layer 2 destination lookup.

3 Decap 4 MAC 1 MAC 3

6

MAC TABLE

VLAN MAC IF 100 MAC 1 IP A

100 MAC 2 IP A

100 MAC 3 Eth 3

100 MAC 4 Eth 4

Eth 1

Eth 2

Layer 2 Lookup

5

MAC 1 MAC 3

IP A IP B MAC 1 MAC 3 MAC 1 MAC 3 IP A IP B MAC 1 MAC 3



  Транспорт фреймов FC через Ethernet

  Поволяет FC работать через сеть Ethernet без потерь

  Меньше кабелей

  FC и Ethernet на одном кабеле

  Меньше адаптеров

  Меньше энергопотребление

  Совместимость с существующими SAN

  Сохранение модели управления FC

  Сохранение всей логики FC

FCoE Достоинства

Трафик Fibre Channel

Ethernet


MDS 9506, 9509, 9513

Nexus 7009, 7010, 7018

Nexus 5596UP

Nexus 2232 Nexus 4000

Nexus 5548UP

FCoE

, iSCSI, N

AS

FCoE – New

FCoE – New

Cisco NX-OS: Единая OS от Hypervisor , Server, Network, Storage Access

HP, FS FEX

UCS 6296UP UCS 6248UP


End-To-End FCoE

Host Access AggregaDon Core Storage

N2232 N5XXX (SW or NPV) FCoE MDS95XX (FC-‐SW)

N2232 FCoE

MDS95XX (FC-‐SW) N5XXX (SW or NPV) N70XX (FC-‐SW)

N2232 N5XXX (SW or NPV) N5XXX (FC-‐SW) MDS95XX (FC-‐SW) FCoE

N2232 N5XXX (SW) FCoE

FCoE N70XX (FC-‐SW)

FCoE MDS95XX (FC-‐SW) N70XX (FC-‐SW)

FCoE N70XX (FC-‐SW) N70XX (FC-‐SW)


By End of 2012 (non-exhaustive) Host Access AggregaDon Core Storage

FCoE

N5XXX (FC-‐SW)

FC

FCoE

N4000 (FSB) FCoE N70XX (FC-‐SW)

N70XX (FC-‐SW)

N70XX (FC-‐SW) N2232

N61XX/62XX FI

N70XX (FC-‐SW) MDS95XX (FC-‐SW)

FC

FCoE N61XX/62XX FI

MDS95XX (FC-‐SW)

FC

FCoE N61XX/62XX FI

FC

FCoE N61XX/62XX FI


41

Presentation_ID © 2010 Cisco and/or its affiliates. All rights reserved. Cisco Confidential

•  Унифицированные Порты  Небывалая гибкость – упрощение инфраструктуры

•  Полное, законченое решение от сервера до сторадж

 UCS: FCoE на «наружу»  Nexus:

• F1, F2 карты • FEX • vPC на разделяемых линках Eth+FCoE • До 30км FCoE на F2 картах, (До 3км N55k) • 10Gb T – технически возможен с технологией 40нм

 MDS: FCoE карты 8х10Gb FCoE •  40Gb FCoE: На горизонте

41



10G Servers 40G Links

10GE Hosts

10GE

10GE Агрегация

10GE Hosts

40GE

40GE Агрегация

Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки <200 нсек (Биржи, HPC, WEB2.0) Режим Быстрой коммутации cut-through Line Rate L3, NAT Меньшее кол-во устройств, меньше портов 40Гб RU коммутаторы против Модульных для 10Гб… Идеальный Коммутатор для Агрегации - 96x40G Идеальный Коммутатор для Доступа - 48x10G + 4x40G Технологии VPC, FEX, FabricPath, FCoE


N3064-X 48xSFP+ 1G/10G 4x40G

N3016 – 16х 40Gb

N3064-T 48x10GT 4x40G

Nexus 3016 – 16х 40Gb

40GE

40GE

Почему некоторые предпочитают дизайны 40G? Не нужна агрегации множества 10G каналов Больше пропускная полоса Низкие задержки Режим Быстрой коммутации cut-through Меньшее кол-во устройств, 40Гб RU коммутаторы против Модульных для 10Гб Технологии VPC, FEX, FabricPath, FCoE для 40Gb? – ДА!

40G


6-port 40Gb Модуль •  До 96х40G портов/шасси

•  40G QSFP+ Оптика:

•  40GBASE-SR4 (100m MMF)

•  40GBASE-CR4 (7 and 10m copper)

•  40GBASE-LR4 (10km SMF)

•  QSFP+ to 4x SFP+ Twinax Breakout cable

40G

N7K-M206FQ-23L


 Line rate L2/L3  40GE или 4 x10GE (патчкорд)

Функциональность  7-9W на порт   Layer 2 multipath (FabricPath и TRILL)   FEX, FCoE, VNTag, NAT…

96x40G / 4RU… 48х10Gb +4x40Gb 1RU…



WAN Switches Servers

Виртуальный ЦОД #1...

ASA 1000V CSR

1000V

Департамент B Департамент A

Nexus 1000V

vPath

Физический ЦОД

vWAAS

AppNav

VSG VSG

Nexus 1000V

•  Distributed switch •  NX-OS

consistency

VSG

•  VM-level controls

•  Zone-based FW

ASA 1000V

•  Edge firewall, VPN

•  Protocol Inspection

vWAAS

•  WAN optimization

•  Application traffic

Multi-Hypervisor (VMware, Microsoft*, RedHat*, Citrix*)

vPath VXLAN

6000+ Customers

CSR 1000V (Cloud Router)

•  WAN L3 gateway

•  Routing and VPN

(Limited Availability)

* MSFT currently in beta; RedHat/Citrix announced

Free Essential



© 2012 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 51

•  До 640x 10G Серверных порта •  160 Серверов на Блок UCS •  UCS Central – управление множеством UCS


•  Централизованный Менеджмент

•  Layer 2 •  Layer 3* •  FabricPath* •  A-FEX •  VM-FEX •  FCoE •  FabricFailover •  Интеграция vCenter/VMM

Функциональность

•  До 18500 vEth/vFC •  Сервисные профили •  Пулы МАС, WWWN, UUID… •  Управление политиками

Гибкость

•  10G 1-10м -Twinax Медь/Oптика •  10G FET 100м Оптика

Эффективность



Унифицированный Менеджмент Единая Унифицированная Система

для блейд- и RU- серверов UCS

Manager

C-Серия RU- Сервера

B-Серия Блейд Сервера

Service Profile: HR_App1 VNIC1 MAC: 08:00:69:02:01:2E HR_WEB_VLAN (ID=50) VNIC2 MAC: 08:00:69:02:01:2F HR_DB_VLAN (ID=210) HBA 1 and 2 WWN: 5080020000075740 WWN: 5080020000075741 VSAN ID: 12 Boot Order: SAN BIOS Settings: Turbo On HyperThreading On

UCS Service Profile Unified Device Management

Network Policy

Storage Policy

Server Policy

•  Тренд по трансформации к унифицированному менеджменту серверов.

•  Выгоды UCS Менеджер и Сервис Профайлов для RU-серверов

•  Новые Nexus 2k позволяют уменьшить стоимость и увеличить масштабируемость подключения RU-серверов к Унифицированной Фабрике

© 2011 Cisco and/or its affiliates. All rights reserved. 54 This is an upcoming product—Feature set for first release subject to change

Унифицированный Менеджмент для

множества Cisco UCS

UCS Manager UCS Manager ЦОД 1

UCS Manager UCS Manager ЦОД 2

UCS Manager ЦОД 3

Multi-UCS Manager

Multi-UCS Manager

•  Упрощает эксплуатацию, централизует инвентаризацию, обработку ошибок, логов, серверных консолей UCS в нескольких ЦОД

•  Глобальные политики, сервисные профили и шаблоны

•  Основа для построения высокой доступности, восстановления от катастроф, мобильности

•  Предоставление API для большого масштаба автоматизации


Deploy 2x Capacity

No Staff Increase

30% Less Cost

90% Less Time

30% Faster

60% Less Cost

Thank you.

Заполните Анкету!

Technology

Современный ЦОД с точки зрения ИТ-архитектора