Lenovo Flex System EN4093R 10Gb Ethernet Scalable Switch

Application GuideFor Lenovo Enterprise Network Operating System 8.4

Note:  Before using this information and the product it supports, read the general information in the Safety information and Environmental Notices and User Guide documents on the Lenovo Documentation CD and the Warranty Information document that comes with the product.

Fourth Edition (October 2017)

© Copyright Lenovo 2017Portions © Copyright IBM Corporation 2014.

LIMITED AND RESTRICTED RIGHTS NOTICE: If data or software is delivered pursuant a General Services Administration “GSA” contract, use, reproduction, or disclosure is subject to restrictions set forth in Contract No. GS‐35F‐05925.

Lenovo and the Lenovo logo are trademarks of Lenovo in the United States, other countries, or both.

© Copyright Lenovo 2017 3

ContentsPreface . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23Who Should Use This Guide  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .23What You’ll Find in This Guide .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .23

Part 1: Getting Started  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .23Part 2: Securing the Switch  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .23Part 3: Switch Basics .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .24Part 4: Advanced Switching Features    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .24Part 5: IP Routing  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .25Part 6: High Availability Fundamentals    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .26Part 7: Network Management .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .26Part 8: Monitoring.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .26Part 9: Appendices    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .26

Additional References .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .27Typographic Conventions  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .28

Part 1:. Getting Started. . . . . . . . . . . . . . . . . . . . . . 29

Chapter 1. Switch Administration . . . . . . . . . . . . . . . . . 31Administration Interfaces   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .32

Chassis Management Module.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .32Industry Standard Command Line Interface   .   .   .   .   .   .   .   .   .   .   .   .   .   .32Browser‐Based Interface  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .33

Establishing a Connection  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .34Using the Chassis Management Module  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .34

Factory‐Default vs. CMM‐Assigned IP Addresses   .   .   .   .   .   .   .   .   .   .34Using Telnet   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .35Using Secure Shell.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .35

Using SSH with Password Authentication    .   .   .   .   .   .   .   .   .   .   .   .   .37Using SSH with Public Key Authentication  .   .   .   .   .   .   .   .   .   .   .   .   .37

Using a Web Browser   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .38Configuring HTTP Access to the BBI .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .38Configuring HTTPS Access to the BBI   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .39BBI Summary .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .40

Using Simple Network Management Protocol.   .   .   .   .   .   .   .   .   .   .   .   .   .41BOOTP/DHCP Client IP Address Services  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .42

Host Name Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .42SYSLOG Server .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .43DHCP Snooping    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .43

Easy Connect Wizard  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .44Configuring the Easy Connect Wizard  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .44

Basic System Mode Configuration Example .   .   .   .   .   .   .   .   .   .   .   .   .45Transparent Mode Configuration Example  .   .   .   .   .   .   .   .   .   .   .   .   .46Redundant Mode Configuration Example    .   .   .   .   .   .   .   .   .   .   .   .   .47

Switch Login Levels .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .49Administrator Password Recovery   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .51Secure FTP.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .53

4 EN4093R Application Guide for N/OS 8.4

Boot Strict Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 54Acceptable Cipher Suites    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 57Configuring Strict Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 58Limitations.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 58

Configuring No‐Prompt Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 59

Chapter 2. Initial Setup . . . . . . . . . . . . . . . . . . . . . 61Information Needed for Setup  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 62Default Setup Options    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 63

Stopping Setup .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 63Restarting Setup   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 63

Setup Part 1: Basic System Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 64Setup Part 2: Port Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 66Setup Part 3: VLANs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 68Setup Part 4: IP Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 69

IP Interfaces   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 69Default Gateways .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 70IP Routing .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 71

Setup Part 5: Final Steps .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 72Optional Setup for Telnet Support   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 73

Chapter 3. Switch Software Management . . . . . . . . . . . . . . 75Loading New Software to Your Switch   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 76

Loading Software via the ISCLI .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 76Loading Software via BBI   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 78Updating Software on vLAG Switches .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 79

The Boot Management Menu    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 81Boot Recovery Mode    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 82Recover from a Failed Image Upgrade using TFTP    .   .   .   .   .   .   .   .   .   .   . 83Recovering from a Failed Image Upgrade using XModem Download   .   .   . 85Physical Presence .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 87

Part 2:. Securing the Switch . . . . . . . . . . . . . . . . . . . 89

Chapter 4. Securing Administration . . . . . . . . . . . . . . . . 91Changing the Switch Passwords   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 92

Changing the Default Administrator Password  .   .   .   .   .   .   .   .   .   .   .   .   . 92Changing the Default User Password   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   . 92

© Copyright Lenovo 2017 Contents 5

Secure Shell and Secure Copy    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .93Configuring SSH/SCP Features on the Switch .   .   .   .   .   .   .   .   .   .   .   .   .   .94

To Enable or Disable the SSH Feature    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .94To Enable or Disable SCP .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .94

Configuring the SCP Administrator Password    .   .   .   .   .   .   .   .   .   .   .   .   .94Using SSH and SCP Client Commands .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .94

To Log In to the Switch from the Client .   .   .   .   .   .   .   .   .   .   .   .   .   .   .94To Copy the Switch Configuration File to the SCP Host .   .   .   .   .   .   .   .95To Load a Switch Configuration File from the SCP Host    .   .   .   .   .   .   .95To Apply and Save the Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .95To Copy the Switch Image and Boot Files to the SCP Host    .   .   .   .   .   .96To Load Switch Configuration Files from the SCP Host .   .   .   .   .   .   .   .96

SSH and SCP Encryption of Management Messages  .   .   .   .   .   .   .   .   .   .   .97Generating an RSA Host Key for SSH Access  .   .   .   .   .   .   .   .   .   .   .   .   .   .97SSH/SCP Integration with RADIUS Authentication   .   .   .   .   .   .   .   .   .   .   .97SSH/SCP Integration with TACACS+ Authentication    .   .   .   .   .   .   .   .   .   .97

End User Access Control.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .98Considerations for Configuring End User Accounts  .   .   .   .   .   .   .   .   .   .   .98Strong Passwords .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .98User Access Control Menu  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99

Setting Up User IDs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99Defining a User’s Access Level    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99Validating a User’s Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99Enabling or Disabling a User   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99Locking Accounts  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .99Re‐enabling Locked Accounts .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  100

Listing Current Users   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  100Logging In to an End User Account  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  100

Protected Mode    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  101Stacking Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  102Maintenance Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  103

Chapter 5. Authentication & Authorization Protocols . . . . . . . . . 105RADIUS Authentication and Authorization   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  106

How RADIUS Authentication Works    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  106Configuring RADIUS on the Switch  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  107RADIUS Authentication Features in Enterprise NOS.   .   .   .   .   .   .   .   .   .  107Switch User Accounts  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  108RADIUS Attributes for Enterprise NOS User Privileges    .   .   .   .   .   .   .   .  109

TACACS+ Authentication  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  110How TACACS+ Authentication Works.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  110TACACS+ Authentication Features in Enterprise NOS  .   .   .   .   .   .   .   .   .  111

Authorization .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  111Local Access   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  112Accounting .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  112

Command Authorization and Logging.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  113TACACS+ Password Change  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  115Configuring TACACS+ Authentication on the Switch   .   .   .   .   .   .   .   .   .  115

6 EN4093R Application Guide for N/OS 8.4

LDAP Authentication and Authorization   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   116Configuring the LDAP Server    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   116Configuring LDAP Authentication on the Switch  .   .   .   .   .   .   .   .   .   .   .   117

Chapter 6. 802.1X Port-Based Network Access Control . . . . . . . . 119Extensible Authentication Protocol over LAN   .   .   .   .   .   .   .   .   .   .   .   .   .   .   120

EAPoL Authentication Process  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   121EAPoL Message Exchange  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   122EAPoL Port States    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   122

Guest VLAN.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   123Supported RADIUS Attributes  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   124EAPoL Configuration Guidelines .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   126

Chapter 7. Access Control Lists. . . . . . . . . . . . . . . . . . 127Summary of Packet Classifiers  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   128Summary of ACL Actions  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   130Assigning Individual ACLs to a Port   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   130ACL Order of Precedence  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   130ACL Groups .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   131

Assigning ACL Groups to a Port   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   131ACL Metering and Re‐Marking .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   132

Metering .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   132Re‐Marking    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   132

ACL Port Mirroring.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   133Viewing ACL Statistics   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   133ACL Logging    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   134

Enabling ACL Logging   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   134Logged Information .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   134Rate Limiting Behavior   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   135Log Interval   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   135ACL Logging Limitations   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   135

ACL Configuration Examples   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   136ACL Example 1.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   136ACL Example 2.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   136ACL Example 3.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   137

VLAN Maps .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   138VMap Example .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   139

Management ACLs .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   140

Part 3:. Switch Basics . . . . . . . . . . . . . . . . . . . . . . 141

Chapter 8. VLANs. . . . . . . . . . . . . . . . . . . . . . . . 143VLANs Overview    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   144VLANs and Port VLAN ID Numbers  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   145

VLAN Numbers   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   145PVID/Native VLAN Numbers   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   146

VLAN Tagging/Trunk Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   148Ingress VLAN Tagging   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   152

Limitations .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   152

© Copyright Lenovo 2017 Contents 7

VLAN Topologies and Design Considerations   .   .   .   .   .   .   .   .   .   .   .   .   .   .  153VLAN Configuration Rules.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  153Example: Multiple VLANs with Tagging Adapters    .   .   .   .   .   .   .   .   .   .  154

Protocol‐Based VLANs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  156Port‐Based vs. Protocol‐Based VLANs  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  156PVLAN Priority Levels    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  157PVLAN Tagging   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  157PVLAN Configuration Guidelines .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  157Configuring PVLAN    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  158

Private VLANs .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  159Private VLAN Ports  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  159Configuration Guidelines    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  160Configuration Example    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  160

Chapter 9. Ports and Link Aggregation (LAG) . . . . . . . . . . . . 163Configuring Port Modes .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  164Configuring QSFP+ Ports   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  166Aggregation Overview    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  167Static LAGs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  168

Before Configuring Static LAGs .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  168Static LAG Configuration Rules .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  168Configuring a Static LAG    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  169

Configurable LAG Hash Algorithm .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  171Link Aggregation Control Protocol   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  173

LACP Modes .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  174LACP individual   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  175Configuring LACP    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  176

Chapter 10. Spanning Tree Protocols. . . . . . . . . . . . . . . . 177Spanning Tree Protocol Modes  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  178

Global STP Control   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  178PVRST Mode.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  179

Port States  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  179Bridge Protocol Data Units  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  180

Determining the Path for Forwarding BPDUs  .   .   .   .   .   .   .   .   .   .   .  180Bridge Priority    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  180Port Priority    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  181Root Guard .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  181Loop Guard.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  181Port Path Cost.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  182

Simple STP Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  182Per‐VLAN Spanning Tree Groups .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  184

Using Multiple STGs to Eliminate False Loops.   .   .   .   .   .   .   .   .   .   .  184VLAN and STG Assignment   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  185Manually Assigning STGs    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  186Guidelines for Creating VLANs  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  186Rules for VLAN Tagged Ports .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  186Adding and Removing Ports from STGs   .   .   .   .   .   .   .   .   .   .   .   .   .  187Switch‐Centric Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  188

Configuring Multiple STGs .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  189

8 EN4093R Application Guide for N/OS 8.4

Rapid Spanning Tree Protocol   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   191Port States  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   191RSTP Configuration Guidelines.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   191RSTP Configuration Example.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   192

Multiple Spanning Tree Protocol  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   193MSTP Region.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   193Common Internal Spanning Tree  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   193MSTP Configuration Guidelines   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   194MSTP Configuration Examples  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   194

MSTP Configuration Example 1 .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   194MSTP Configuration Example 2 .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   195

Port Type and Link Type   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   197Edge/Portfast Port    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   197Link Type  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   197

Chapter 11. Virtual Link Aggregation Groups . . . . . . . . . . . . 199VLAG Capacities .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   202VLAGs versus Port LAGs  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   203Configuring VLAGs    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   204

Basic VLAG Configuration .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   205Configure the ISL  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   206Configure the VLAG.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   207

VLAG Configuration ‐ VLANs Mapped to MSTI   .   .   .   .   .   .   .   .   .   .   .   208Configure the ISL  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   208Configure the VLAG.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   209

Configuring Health Check  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   210VLAGs with VRRP   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   211

Configure VLAG Peer 1   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   211Configure VLAG Peer 2   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   214

Two‐tier vLAGs with VRRP   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   217Configuring VLAGs in Multiple Layers   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   218

Configure Layer 2/3 Border Switches    .   .   .   .   .   .   .   .   .   .   .   .   .   .   218Configure Switches in the Layer 2 Region    .   .   .   .   .   .   .   .   .   .   .   .   218

Chapter 12. Quality of Service . . . . . . . . . . . . . . . . . . 221QoS Overview  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   221Using ACL Filters    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   223

Summary of ACL Actions   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   223ACL Metering and Re‐Marking .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   223

Metering .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   224Re‐Marking    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   224

Using DSCP Values to Provide QoS .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   225Differentiated Services Concepts   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   225Per‐Hop Behavior.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   226QoS Levels .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   227DSCP Re‐Marking and Mapping   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   227

DSCP Re‐Marking Configuration Example 1   .   .   .   .   .   .   .   .   .   .   .   228DSCP Re‐Marking Configuration Example 2   .   .   .   .   .   .   .   .   .   .   .   228

Using 802.1p Priorities to Provide QoS    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   230Queuing and Scheduling    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   231

© Copyright Lenovo 2017 Contents 9

Control Plane Protection .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  232Packet Drop Logging   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  233

Chapter 13. Precision Time Protocol . . . . . . . . . . . . . . . . 235Ordinary Clock Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  236Transparent Clock Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  236Tracing PTP Packets .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  237Viewing PTP Information    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  237

Part 4:. Advanced Switching Features . . . . . . . . . . . . . . . 239

Chapter 14. OpenFlow . . . . . . . . . . . . . . . . . . . . . . 241OpenFlow Overview   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  242

Switch Profiles   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  242OpenFlow Versions  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  242OpenFlow Instance   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  243Flow Tables    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  243

Static Flows .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  245Table‐Miss   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  250

Fail Secure Mode   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  251Emergency Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  251OpenFlow Ports.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  253

OpenFlow Edge Ports   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  253Link Aggregation   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  254Data Path ID   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  254

sFlow Compatibility .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  255OpenFlow Groups    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  255

Configuring OpenFlow   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  256Configuration Example 1 ‐ OpenFlow Boot Profile  .   .   .   .   .   .   .   .   .   .   .  257Configuration Example 2 ‐ Default Boot Profile   .   .   .   .   .   .   .   .   .   .   .   .  262Feature Limitations  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  267

Chapter 15. Stacking . . . . . . . . . . . . . . . . . . . . . . 269Stacking Overview   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  270

Stacking Requirements.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  271Stacking Limitations .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  271

Stack Membership   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  273The Master Switch    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  273

Splitting and Merging One Stack    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  274Merging Independent Stacks   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  275

Backup Switch Selection  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  276Master Failover  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  276Secondary Backup .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  276Master Recovery    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  276No Backup  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  277

Stack Member Identification   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  277

10 EN4093R Application Guide for N/OS 8.4

Configuring a Stack.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   278Configuration Overview .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   278Best Configuration Practices   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   278

Stacking VLANs    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   279Configuring Each Switch in a Stack  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   279Configuring a Management IP Interface  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   281Additional Master Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   282

Viewing Stack Connections .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   282Binding Members to the Stack    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   283Assigning a Stack Backup Switch   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   283

Managing a Stack.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   284Connecting to Stack Switches via the Master  .   .   .   .   .   .   .   .   .   .   .   .   .   284Rebooting Stacked Switches via the Master .   .   .   .   .   .   .   .   .   .   .   .   .   .   284

Rebooting Stacked Switches using the ISCLI   .   .   .   .   .   .   .   .   .   .   .   284Rebooting Stacked Switches using the BBI   .   .   .   .   .   .   .   .   .   .   .   .   285

Upgrading Software in an Existing Stack    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   286Replacing or Removing Stacked Switches   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   288

Removing a Switch from the Stack    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   288Installing the New Switch or Healing the Topology  .   .   .   .   .   .   .   .   .   .   288Binding the New Switch to the Stack    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   290Performing a Rolling Reload or Upgrade.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   291

Starting a Rolling Reload .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   291Starting a Rolling Upgrade  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   291

Saving Syslog Messages  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   293Flexible Port Mapping in Stacking    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   295ISCLI Stacking Commands    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   297

Chapter 16. Virtualization . . . . . . . . . . . . . . . . . . . . 299

Chapter 17. Virtual NICs . . . . . . . . . . . . . . . . . . . . . 301vNIC IDs on the Switch  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   302vNIC Interface Names on the Server    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   303vNIC Uplink Modes    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   306vNIC Bandwidth Metering    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   308vNIC Groups    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   309

vNIC Groups in Dedicated Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   310vNIC Groups in Shared Mode   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   311

vNIC Teaming Failover  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   312vNIC Configuration Example   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   314

vNICs for iSCSI on Emulex Virtual Fabric Adapter   .   .   .   .   .   .   .   .   .   .   317vNICs for FCoE Using the Emulex VFA  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   318

Chapter 18. VMready . . . . . . . . . . . . . . . . . . . . . . 319VE Capacity  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   320

© Copyright Lenovo 2017 Contents 11

VM Group Types .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  320Local VM Groups  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  320

Configuring a Local VM Group  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  321Distributed VM Groups   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  322VM Profiles    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  323Initializing a Distributed VM Group .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  323Assigning Members  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  324Synchronizing the Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  324Removing Member VEs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  324

VMcheck    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  325Basic Validation.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  325Advanced Validation   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  326

Virtual Distributed Switch  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  327Prerequisites  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  327Guidelines  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  327Migrating to vDS  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  328

Virtualization Management Servers .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  329Assigning a vCenter .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  329vCenter Scans    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  330Deleting the vCenter.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  330Exporting Profiles .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  330VMware Operational Commands  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  331

Pre‐Provisioning VEs  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  331VLAN Maps  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  332VM Policy Bandwidth Control  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  333

VM Policy Bandwidth Control Commands  .   .   .   .   .   .   .   .   .   .   .   .   .   .  333Bandwidth Policies vs. Bandwidth Shaping.   .   .   .   .   .   .   .   .   .   .   .   .   .  334

VMready Information Displays .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  334Local VE Information   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  334vCenter Hypervisor Hosts  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  335vCenter VEs   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  336vCenter VE Details   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  337

VMready Configuration Example .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  338

Chapter 19. Fibre Channel over Ethernet . . . . . . . . . . . . . . 339The FCoE Topology .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  340FCoE Requirements .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  341Converged Enhanced Ethernet  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  342

Turning CEE On or Off    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  342Effects on Link Layer Discovery Protocol .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  342Effects on 802.1p Quality of Service   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  343Effects on Flow Control   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  344

12 EN4093R Application Guide for N/OS 8.4

FCoE Initialization Protocol Snooping .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   345FIP Snooping Requirements   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   345Port Aggregation  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   346Global FIP Snooping Settings .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   346FIP Snooping for Specific Ports  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   347FIPS LAG Support on Server Ports   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   347Port FCF and ENode Detection  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   348FCoE Connection Timeout  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   348FCoE ACL Rules   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   348FCoE VLANs.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   349Viewing FIP Snooping Information  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   350Operational Commands  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   350FIP Snooping Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   351

Priority‐Based Flow Control  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   352Global vs. Port‐by‐Port PFC Configuration .   .   .   .   .   .   .   .   .   .   .   .   .   .   353PFC Configuration Example   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   354

Enhanced Transmission Selection.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   356802.1p Priority Values .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   356Priority Groups.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   357

PGID   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   357Assigning Priority Values to a Priority Group .   .   .   .   .   .   .   .   .   .   .   358Deleting a Priority Group    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   358Allocating Bandwidth  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   358

Configuring ETS   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   360Data Center Bridging Capability Exchange.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   362

DCBX Settings  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   362Enabling and Disabling DCBX    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   363Peer Configuration Negotiation .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   363

Configuring DCBX   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   364FCoE Example Configuration    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   366

Chapter 20. Edge Virtual Bridging . . . . . . . . . . . . . . . . . 369EVB Operations Overview.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   370

VSIDB Synchronization   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   370VLAN Behavior    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   371

Deleting a VLAN  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   371Manual Reflective Relay .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   372

EVB Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   373Configuring EVB in Stacking Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   375Limitations   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   376

Unsupported features  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   376

Chapter 21. Static Multicast ARP . . . . . . . . . . . . . . . . . 377Configuring Static Multicast ARP.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   378

Configuration Example   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   378Limitations   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   380

Chapter 22. Unified Fabric Port . . . . . . . . . . . . . . . . . . 381UFP Limitations   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   382

© Copyright Lenovo 2017 Contents 13

Virtual Ports Modes.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  383vPort‐S‐Tag Mapping   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  383vPort‐VLAN Mapping .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  383UFP vPort Mode   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  383

Tunnel Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  384802.1Q Trunk Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  384Access Mode   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  385FCoE Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  385Auto‐VLAN Mode.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  385

UFP Bandwidth Provisioning    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  386Enhanced Transmission Selection mode   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  386UFP Strict Bandwidth Provisioning mode    .   .   .   .   .   .   .   .   .   .   .   .   .   .  387

Using UFP with Other EN4093R 10Gb Ethernet Scalable Switch Features.   .   .  388Layer 2 Failover.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  388Increased VLAN Limits   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  388Private VLANs  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  388VMReady   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  389802.1Qbg.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  389

UFP Configuration Examples.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  390Example 1: Access Mode .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  390Example 2: Trunk Mode  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  391Example 3: Auto‐VLAN Mode with VMready    .   .   .   .   .   .   .   .   .   .   .   .  393Example 4: Auto‐VLAN Mode with Edge Virtual Bridging  .   .   .   .   .   .   .  394Example 5: Tunnel Mode.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  395Example 6: FCoE Mode    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  396Example 7: Private VLAN Configuration .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  397Example 8: Layer 2 Failover Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .  399Example 9: 8 vPorts with ETS bandwidth provisioning mode  .   .   .   .   .   .  400

Chapter 23. Switch Partition . . . . . . . . . . . . . . . . . . . 403SPAR Processing Modes .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  404

Local Domain Processing.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  404Pass‐Through Domain Processing .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  405

Limitations    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  406Unsupported Features .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  407

SPAR VLAN Management .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  408Example Configurations .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  409

Pass Through Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  409Local Domain Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  409

Part 5:. IP Routing. . . . . . . . . . . . . . . . . . . . . . . .411

Chapter 24. Basic IP Routing . . . . . . . . . . . . . . . . . . . 413IP Routing Benefits  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  413Routing Between IP Subnets  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  413

Subnet Routing Example .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  415Using VLANs to Segregate Broadcast Domains  .   .   .   .   .   .   .   .   .   .   .   .  417

BOOTP Relay Agent    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  419BOOTP Relay Agent Configuration   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .  419Domain‐Specific BOOTP Relay Agent Configuration.   .   .   .   .   .   .   .   .   .  420

14 EN4093R Application Guide for N/OS 8.4

Dynamic Host Configuration Protocol.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   421DHCP Relay Agent  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   421DHCP Relay Agent Configuration    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   422

Chapter 25. Internet Protocol Version 6 . . . . . . . . . . . . . . 423IPv6 Limitations  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   424IPv6 Address Format  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   425IPv6 Address Types    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   426

Unicast Address   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   426Multicast Address    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   426Anycast Address  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   427

IPv6 Address Auto‐configuration.   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   428IPv6 Interfaces  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   429Neighbor Discovery    .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   430

Host vs. Router .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   431Supported Applications .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   432IPv6 Configuration  .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   434

Configuration Guidelines   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .   .