Диагностика проблем настройки конвергентных подключений

Cisco Confidential © 2013 Cisco and/or its affiliates. All rights reserved. 1

Диагностика проблем настройки конвергентных подключений Игорь Гиркин системный инженер-консультант

25 апреля 2013 года

© 2013 Cisco and/or its affiliates. All rights reserved. Cisco Confidential 2

• Стандарт FCoE

• Поддержка конвергентного транспорта в оборудовании Cisco

• Сетевые дизайны с использованием конвергентного транспорта

• Настройка FCoE

• Диагностика проблем настройки

Cisco Confidential 3 © 2013 Cisco and/or its affiliates. All rights reserved.


• Метод передачи фреймов FC по Ethernet

Выглядит как FC для серверов и сети

Сохраняет текущую инфраструктуру и управление FC

Фрейм FC остается неизменным

• Стандарт утвержден 3 июня 2009 года (ANSI T11 FC-BB-5)

• Семейство стандартов IEEE DCB для «улучшенного» Ethernet

Priority Flow Control: отсутствие потерь (аналог BB_Credits в FC)

Enhanced Transmission Selection: выделение полосы

DCB Exchange: согласование настроек и логическое состояние

Fibre

Channel

Ethernet

Cisco первой представила основанный на стандартах

коммутатор FCoE Cisco Nexus 5000


• Канал 10GE с поддержкой DCB

• Виртуальные каналы FC поверх сети с DCB

• Инкапсуляция фрейма FC в Jumbo-фрейм ethernet без изменений

• Гарантированная доставка фреймов FCoE

• Соответствие между FC pWWN и Ethernet MAC

• QoS

• FCoE Initialization Protocol (FIP)

10 Gigabit DCB

Ethernet Link

FCoE

IP

IP

Стандартный фрейм Fibre Channel - 2148 байт

Ethernet

(14) FC (24) CRC (4) SCSI Payload FCoE (20) CRC (4) EOF


• IEEE 802.1Qbb Priority Flow Control (PFC):

Механизм управления потоками данных, использующий PAUSE-фреймы и биты приоритета CoS для селективного управления передачей трафика определенного класса

• IEEE 802.1Qaz Enhanced Transmission Selection (ETS):

Управление полосой пропускания для виртуальных каналов на основе битов приоритета CoS

• IEEE 802.1Qaz Data Center Bridging Exchange (DCBX):

Обмен информацией между DCB-устройствами

• IEEE 802.1AB Link Layer Discovery Protocol (LLDP):

Используется для работы DCBX

• IEEE 802.1Qau Quantized Congestion Notification (QCN):

Сквозное управление перегрузками в сети (опция)


• Новые сущности

ENode – FC Node

FCoE Forwarder (FCF) – FC switch

• Виртуальные каналы

Порты VN, VF, VE

• Знакомые механизмы

Zoning, FSPF

• Выделенные каналы для ISL

Нет зависимости от STP, L2, L3

• Дизайны сети

Разделение фабрик SAN A / SAN B

• Схожая масштабируемость

FC

E

E

FCoE

VE

VE

F N

VF VN

N F

VN VF


VLAN

Discovery

FLOGI/FDISC FLOGI/FDISC

Accept

FC command FC command

responses

FIP

FCOE

VLAN Discovery

FCF Discovery FCF Discovery

CNA 10 Gigabit DCB

Ethernet Link

FIP

VN_Port VF_Port


• MAC-адрес

• CNA не использует «вшитый» MAC для передачи фреймов FC

Адрес для передачи FCoE должен быть увязан с адресом pWWN

Fabric Provided MAC Address – FPMA

Server Provided MAC Address – SPMA

• В коммутаторах Cisco реализован метод FPMA

Консистентность с традиционной моделью FC: адреса раздает фабрика

• По умолчанию FC-MAP = 0e:fc:00

N5548-3(config)# fcoe fcmap ?

<0xefc00-0xefcff> Enter FCMAP

24 bit OUI 24 bit device ID

3 byte FC-MAP

(from FIP solicitation)

3 byte FC-ID

(from FIP FLOGI)

48 bit FCoE MAC Address



NX-OS 4.1 NX-OS 4.2

1K Cisco Nexus 1000V

2008

x86

Nexus 2000

Fabric

Extender Nexus 4000

Nexus 5500

Nexus 7000

Nexus 1000V

Virtual Switch

Nexus 3000

Nexus 6000

• На рынке с 2008 года

• Единая операционная система NX-OS для всего семейства Nexus и MDS: модульность и высокая доступность

• Безусловный лидер рынка коммутации в ЦОД

• Более 11 000 000 10GE портов семейства Nexus

• Более 40 000 заказчиков используют NX-OS

• 30% портов на Nexus 5000 поставляются с лицензиями FCoE


Nexus 4000

Nexus 2232

FCoE

Nexus 5548

Nexus 5596

MDS 9500 Nexus 7000

F1 32-port

F2 48-port

FCoE 8-port

Директорный класс

Фиксированная

конфигурация

Nexus 6004

Nexus B22 Nexus 6001


• Однократная кроссировка

• Настройка логический подключений

• Необходимое количество нужных типов адаптера

20G на шасси 40G на шасси 80G на шасси 160G на шасси


• Сервер с конвергентным адаптером, например:

Cisco UCS B-series – VIC 1240/1280, Emulex, Qlogic

Cisco UCS C-series – VIC 1225 (SFP+/UTP), Emulex, Qlogic, Broadcom

• Коммутатор и лицензия FCoE

Nexus 5500 – 8 портов или все порты

Nexus 6004 – 16x10G или 4x40G, 48x10G или 12x40G портов

Nexus 7000 – интерфейсный модуль F1/F2/F2E, лицензия на каждый модуль

MDS 9500 – интерфейсный модуль 8xFCoE

Nexus 2232/B22 – лицензируются только магистральные порты



Выделенные LAN и SAN

• Полное разделение сетей Отдельные домены эксплуатации

Неэффективное масштабирование

• Ethernet – основная технология передачи данных

Допускает потери

• Fibre Channel – стандарт для корпоративных SAN

Отсутствие потерь

Высокая доступность благодаря изоляции фабрик

• Увеличение числа интерфейсов сервера

Минимум 2xHBAs + 2xNICs

Native

Ethernet

LAN

FibreChannel

SAN

L3 AGGREGATION

CORE

L3

L2

FC

Ethernet

A B

iSCSI FC FC


Ethernet and Storage traffic

EVERYWHERE

Нежелательная крайность

• Единая сеть ЦОД

• Все соединения несут все виды трафика

Протоколы передачи и хранения данных

• Максимальное сокращение числа устройств и соединений

• Уход от фабрик A/B

Единая фабрика с резервированием сервисов

L2

L3

Core

Aggregation

Access

Virtual Port-

Channel (VPC)


Консолидация технологий

• LAN и SAN используют те же элементы: коммутаторы, кабели, адаптеры, трансиверы...

• Полная изоляция построения и эксплуатации

• Использование эволюции Ethernet (10G40G100G)

L2

L3

Core

Aggregation

Access

Core

Edge

Fabric ‘A’ Fabric ‘B’

Ether-channel Multi-pathing

Virtual Port-

Channel (VPC)

CNA CNA

Fibre Channel over Ethernet

SAN Native Ethernet LAN

FCoE


• Единая СКС и топология доступа

• Подключение к существующим SAN

К FC сети или к FCoE по VE портам

• Плавная миграция к конвергентной сети

• Сохранение изоляции SAN фабрик

• Обеспечение совместимости с использованием NPV режима

Shared

Access

AGG

CORE

L3

L2

FC FCoE

Ethernet

DCB

Nexus5000

FCoE FC

iSCSI


• Транспорт сети хранения через

высокопроизводительный конвергентный коммутатор высокой доступности

• Аналог традиционных SAN топологий «Edge-Core-Edge»

• Повышение производительности на уровне агрегирования

Построение крупных FCoE сетей с сохранением доступа к СХД с подключением по Fibre Channel

• Сохранение изоляции для трафика хранения

Выделенные FCoE соединения

Выделенные Storage VDC на Nexus 7000

Shared

Access

AGG

CORE

L3

L2

FC FCoE

Ethernet

DCB

FCoE FC

iSCSI


Storage

VDC

LAN

VDC

FCoE &

FIP

Ethernet

Процессы, связанные с FC

Только один VDC на N7k

Модель для ISL

*FCoE на F2 требует SUP2

SAN LAN

LAN

VDC

Storage

VDC

Nexus7000

Nexus7000

LAN

VDC

Storage

VDC

Выделенный

Storage VDC,

выделенный

интерфейс

Модель для подключений CNA

Входящий трафик рапределяется по

VDC на основе EtherType

Трафик СХД обрабатывается в Storage

VDC

LAN

VDC

Storage

VDC

Converged I/O

FCoE &

FIP Ethernet

Выделенный

Storage VDC,

разделяемый

интерфейс


• Nexus 5500+2232 в режиме EVPC

• Nexus 5500+2232 в режиме straigh-through

• Nexus 5500

Enhanced vPC vPC vPC

FCoE + Ethernet traffic FCoE + Ethernet traffic Ethernet only traffic


• Администратор указывает какой из FEX-ов, подключенных к конкретному N5k, будет

обрабатывать FCoE

• Используется только для режима подключения Active-Active

Enhanced vPC

N5548-3(config)# fex 101

N5548-3(config-fex)# fcoe

N5548-4(config)# fex 102

N5548-4(config-fex)# fcoe

SAN-A SAN-B



• Убедиться в наличии лицензии на FCoE

• Включить функциональность FCoE

N5548-4# sh license usage

Feature Ins Lic Status Expiry Date Comments

Count

--------------------------------------------------------------------------------

FC_FEATURES_PKG Yes - In use Never -

N5548-4(config)# feature fcoe

N5548-4(config)# show feature

Feature Name Instance State

-------------------- -------- --------

fcoe 1 enabled


• Включить политику QoS с поддержкой FCoE

• Создать необходимый FCoE VSAN

• Создать FCoE VLAN и связать его с FCoE VSAN

system qos

service-policy type queuing input fcoe-default-in-policy

service-policy type queuing output fcoe-default-out-policy

service-policy type network-qos fcoe-default-nq-policy

service-policy type qos input fcoe-default-in-policy

N5548-4(config)# vsan database

N5548-4(config-vsan-db)# vsan 78

N5548-4(config)# vlan 78

N5548-4(config-vlan)# fcoe vsan 78


• Настроить физический интерфейс ethernet

• Настроить виртуальный интерфейс VFC

• Дальнейшая настройка не отличается от настройки FC

vsan 78 interface vfc130

device-alias database

zone

zoneset

interface Ethernet1/30

switchport mode trunk

spanning-tree port type edge trunk

interface vfc130

bind interface Ethernet1/30

switchport trunk allowed vsan 78

no shutdown



• Необходимо использовать уникальный VLAN для каждого VSAN

• Для разделения фабрик SAN A/B нужно использовать разные номера VLAN

• Порты FCoE должны быть транковыми с включенным режимом STP Edge Port

• Рекомендуется фильтровать номера VSAN, неиспользуемых на интерфейсе vfc

• FCoE VLAN не должен быть Native VLAN

• Рекомендуется исключать FCoE VLAN из традиционных ethernet-транков

• Для FCoE VLAN необходимо использовать выделенный MSTP Instance, если используется протокол MSTP


• feature lldp

• feature fcoe

Опционально:

• feature lacp


N5548-4# sh fcoe database

-------------------------------------------------------------------------------

INTERFACE FCID PORT NAME MAC ADDRESS

-------------------------------------------------------------------------------

vfc130 0x8b0000 24:ea:00:0d:ec:e2:8f:bf 00:0d:ec:e2:8f:81

vfc130 0x8b0001 20:00:00:25:b5:0b:01:05 00:0d:ec:e2:8f:81

Total number of flogi count from FCoE devices = 2.

N5548-4# sh zoneset active vsan 78

zoneset name VSAN78 vsan 78

zone name UCS-FCOE vsan 78

* fcid 0x8b00ef [pwwn 50:06:01:6e:46:e0:0f:13] [NS120_PortB-6]

* fcid 0x8b0001 [pwwn 20:00:00:25:b5:0b:01:05] [UCS-B]


N5548-4# show vlan fcoe

Original VLAN ID Translated VSAN ID Association State

---------------- ------------------ -----------------

78 78 Operational

N5548-4# show vsan 78 membership

vsan 78 interfaces:

fc1/47 vfc130


N5548-4# sh int vfc130

vfc130 is trunking

Bound interface is Ethernet1/30

Hardware is Ethernet

Port WWN is 20:81:54:7f:ee:31:f4:3f

Admin port mode is F, trunk mode is on

snmp link state traps are enabled

Port mode is TF

Port vsan is 78

Trunk vsans (admin allowed and active) (78)

Trunk vsans (up) (78)

Trunk vsans (isolated) ()

Trunk vsans (initializing) ()

…


• Пропущена команда no shutdown

sh int vfc 114

vfc114 is down (Administratively down)


• FCoE VLAN в режиме Native или требуется принудить сервер залогиниться в фабрику

sh int vfc 110

vfc110 is trunking


Hardware is Ethernet

Port WWN is 20:6d:00:05:73:e2:fd:3f

Admin port mode is E, trunk mode is on

snmp link state traps are enabled

Port mode is TE

Port vsan is 78

Trunk vsans (admin allowed and active) (78)

Trunk vsans (up) ()

Trunk vsans (isolated) ()

Trunk vsans (initializing) (78)


• Используйте политику QoS с классом class-fcoe

show run ipqos

…

system qos

service-policy type queuing input fcoe-default-in-policy

service-policy type queuing output fcoe-default-out-policy

service-policy type qos input fcoe-default-in-policy

service-policy type network-qos fcoe-default-nq-policy

sh policy-map system

Type network-qos policy-maps

===============================

policy-map type network-qos fcoe-default-nq-policy

class type network-qos class-fcoe

match qos-group 1

pause no-drop

mtu 2158

class type network-qos class-default

match qos-group 0

mtu 1500

multicast-optimize

Service-policy (qos) input: fcoe-default-in-policy

policy statistics status: disabled

Class-map (qos): class-fcoe (match-any)

Match: cos 3

set qos-group 1

Class-map (qos): class-default (match-any)

Match: any

set qos-group 0

Service-policy (queuing) input: fcoe-default-in-policy


Class-map (queuing): class-fcoe (match-any)

Match: qos-group 1

bandwidth percent 50

Class-map (queuing): class-default (match-any)

Match: qos-group 0


Service-policy (queuing) output: fcoe-default-out-policy


Class-map (queuing): class-fcoe (match-any)

Match: qos-group 1


Class-map (queuing): class-default (match-any)

Match: qos-group 0


…


• Priority flow control (PFC) включен по умолчанию в режиме auto

• CNA может не поддерживать DCBX

show interface ethernet 1/4 priority-flow-control

============================================================

Port Mode Oper(VL bmap) RxPPP TxPPP

============================================================

Ethernet1/4 Auto On (8) 0 0

show running-config interface ethernet 1/4 all | include flow

priority-flow-control mode auto

flowcontrol receive off

flowcontrol send off

N5K-1(config)# interface ethernet 1/4

N5K-1(config-if)# priority-flow-control mode on

N5K-1(config-if)# end

N5K-1#


• EMC FCoE book

http://www.emc.com/collateral/hardware/technical-documentation/h6290-fibre-channel-over-ethernet-techbook.pdf

• NetApp FCoE SAN Solutions

http://www.netapp.com/us/products/protocols/fcoe/

• IBM Redbook

http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg247986.html

• Стандарт FC-BB-5

http://www.fcoe.com/09-056v5.pdf

• Cisco FCoE site

http://www.cisco.com/go/fcoe














http://www.netapp.com/us/products/protocols/fcoe/

http://www.redbooks.ibm.com/Redbooks.nsf/RedbookAbstracts/sg247986.html




http://www.cisco.com/go/fcoe

Technology

Диагностика проблем настройки конвергентных подключений