Supported by: Project consortium: Módulo 5 Equipos de redes Versión 1.0 6 de octubre de 2011

Supported by:

Project consortium:

www.efficient-datacenter.eu

Módulo 5Equipos de redes

Versión 1.06 de octubre de 2011

Supported by: 2www.efficient-datacenter.eu

Estructura técnica y operativaEquipos de redes y consumo de energía

Arquitectura y componentes básicos de redes


Situación actualEquipos de red y consumo de energía

Redes de centros de datos: Representan aproximadamente entre el 8 y 12% del consumo de energía de los

equipos informáticos

Se suelen utilizar sin cambios durante un período de tiempo más largo (4-7 años)

Son un cuello de botella potencial para el rendimiento general y la eficiencia energética

Monitoring & Control

Cooling & Air Flow

Power Supply & UPS

Server Room / Data Center

InfrastructureNetwork Equipment

Architecture & Topology

Components & Cabling

Virtualization & Configuration


Atributos de redExigencias de los clientes

Parámetros básicos de rendimiento:

Gran ancho de banda, baja latencia (selección de la tecnología de la red)

Escalabilidad y agilidad (arquitectura y gestión de la red) Flexibilidad para soportar diferentes servicios (consolidación, requisitos

de los sistemas legados) Seguridad (cada vez más importante e influye en los gastos generales) Alta disponibilidad y redundancia (requisitos de calidad del servicio) Capacidad de gestión y transparencia (este aspecto se apoya en las

soluciones de virtualización) Viabilidad a largo plazo Optimización de los costes (reducción del CAPEX y el OPEX)



Cooling & Air Flow

Power Supply & UPS






Rendimiento técnico Rendimiento energético

Objetivo de mejoraEncontrar el balance adecuado

alto

bajo

Equilibrar el rendimiento técnico y el consumo de energía


Redes de centros de datosModelo funcional


Cooling & Air Flow

Power Supply & UPS






Ethernet Switch Fiber Channel Switch

Access

Aggregation

Core

Routers

Firewall /Security Firewall /Security

Core Switches

LAN SAN

N

W E

S


Redes del centro de datosArquitectura y componentes de red básicos


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

S


Rendimiento energético de la redes

Elementos que influyen en el rendimiento energético de la red:

Arquitectura de la red (tecnología, número de capas, atributos) Topología de la red (incluyendo topología del cableado y del

conmutador) Especificaciones del equipo (componentes, funciones y configuraciones) Virtualización, gestión de carga adaptable (normas adecuadas,

protocolos)


Mejora de la estrategia y objetivos

Tres objetivos de mejora básicos:

1. Reducción de los componentes físicos (número de equipos)

2. Reducción del consumo energético de los equipos

3. Optimización del sistema a nivel del rack y de la sala


Mejora de la estrategia y objetivosReducción de los componentes físicos (número de equipos)


Reducción de los componentes físicos

1. Reducción de los componentes físicos (número de equipos): Router, conmutador, consolidación de puertos (virtualización,

multifunción, servicios) Menor número de capas de red a través de tecnologías IP

integrales (por ejemplo, FCoE) Creación de una estructura de red unificada Puesta en marcha de la última tecnología de banda ancha

(10/40Gbit/s)


Access

Aggregation

Core

RoutersN

W E

S


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

S


Virtualización de la red

La virtualización del sistema, incluyendo las redes, supone: Enrutador virtual (software con funcionalidad de enrutamiento, sistemas

múltiples en una máquina real) Enlaces virtuales (interconexión lógica del router virtual) Redes virtuales (routers virtuales conectados por enlaces virtuales)

Ventajas de la virtualización de la red Las interfaces de gestión son más flexibles Reducción del coste de adquisición por el uso de software Aumento del rendimiento de la aplicación mediante la extensión y la

asignación simplificada del servicio Posible disminución del consumo de energía mediante la consolidación

de equipos


Virtualicación de la redLas mejores prácticas

Virtualización de la red combinada con la consolidación

Router: Reducción en más de un 50% de los routers físicos Descenso del consumo de energía de hasta aproximadamente un 60%

Firewall: Los cortafuegos centralizados basados en mallas de red lógicas reducen el

consumo de energía del cortafuegos relacionado en hasta un 60%

Classic Environment

Untrusted Network

Cortafuegos centralizado con máquinas virtuales

Red no fiable

VM

VM

VM


Consolidación a nivel de equiposFusión de las clases de tráfico

Processor Memory

HCA NIC HBA

Processor Memory

Storage Network(SAN)

Inter Processor

(IPC)

Local Area Network (LAN)

IPC LANSAN

Fiber Channel / InfinibandEthernet 10G/40G/100G Ethernet

CNA

FC SwitchEN Switch EN Switch

Server

La aplicación de tecnología de banda ancha alta y de gran velocidad y del Adaptador de Red convergente (CAN) conduce a :

Reducción del equipo de red, del cableado y de las puertas de entrada Da como resultado un consumo de energía general más bajo



Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

SInitial Situation: Two separate network technologies with respective hardware (switches)


Access

Aggregation

Core

Routers


Core Switches

LAN SAN

N

W E

SMejora: tecnología de red unificada (basada en IP) con hardware reducido (conmutadores)

Consolidación de LAN y SANProtocolo unificado


Situación inicial:SAN (FC o IB) clásico

Fiber Channel (FC) Infiniband (IB) (lossy) Ethernet

FCP (FC Protocol)

SRP(SCSI RDMA Protocol)

IP (Internet Protocol)

TCP (Transmission Control)

FCIP (FC over IP)

FCP (FC Protocol)

Small Computer System Interface (SCSI)

Application

• Posible caída del paquete• Gastos generales elevados Eficiencia de transmisión más baja

• Sin pérdidas• Gastos generales reducidos Eficiencia de transmisión elevada


Lossless EthernetFiber Channel (FC) Infiniband (IB) (lossy) Ethernet

FCP (FC Protocol)

SRP(SCSI RDMA Protocol)

FCP (FC Protocol)

FCoE (FC over Ethernet)

IP (Internet Protocol)

TCP (Transmission Control)

iSCSI (internet SCSI)

Small Computer System Interface (SCSI)

Application

Opción de mejora:Consolidación de la red (basada en IP)

Basada en IP (Ethernet)


Arquitectura de red plenamente consolidada


Access

Aggregation

Core

RoutersN

W E

S


Mejora de la estrategia y objetivosReducción del consumo de energía del equipo


Consumo de energía del equipo

2. Reducción del consumo de energía del equipo: Consumo medio de energía (Ley de Moore) Gestión de la energía (todavía no disponible) Fuente de alimentación (eficiencia, redundancia) Refrigeración pasiva y activa (sumideros de calor de cobre,

ventiladores de velocidad variable)


Efectos positivos de la dinámica de alta tecnología Micro/Nanoelectrónica (Moore), tecnología de la comunicación

(Shannon), ... Pero: costes y brechas tecnológicas Implementar interfaces (AVT / MST), materiales valiosos (poco

frecuente) …

0

20

40

60

80

100

2008 2010 2012 2014 2016 2018 2020

Inte

rcon

nect

Siz

e (A

tom

s)

Roadmap der Halbleiter-Technologie (phyiskalischen und ökonomische Grenzen)

45 nm Technologie

32 nm

22 nm

16 nm

11 nm

Mapa de la tecnología de semiconductores

Leyes de Moore


175

150

125

100

75

50

25

Initial Boot

Idle no Link

Idle w / Link

70% Load

100% Load

Uplink Modules

35.1

56.9

104.3 107.4 108.5

136.5

58.8 60.3 60.9

88.9

Power (W)

3Com Switch4800G 48-Port

3Com Switch4800G 24-Port

Transceptor 10G XFP de enlaces 2x y 1x

Comparación entre el perfil de energía 3Com Switch 4800G 24 y 48-Port

Selección del equipoTopología y dimensionamiento adecuado del conmutador


Características: 8 W por interfaz de 10GE, Solución de baja energía para 10GE Mejorar la eficiencia del enfriamiento

mediante el uso de ventiladores redundantes de velocidad variable que ajustan automáticamente la velocidad según las condiciones existentes.

Divulgación de informaciónAdquisición de equipos (Eficiencia Energética)

Juniper Switch-EX4500Fuente: Juniper 2011


Eficiencia del PSU

Situación inicial:– La mayoría de las fuentes de alimentación de los

equipos de red operan con una eficiencia inferior al 80%– 90% de eficiencia de las fuentes de alimentación ya

existentes

Energy Star y 80 Plus– Energy Star para fuentes de alimentación con

requisitos fijados por encima del 90%– 80 Plus Program fija requisitos superiores– Recomendación de 80 Plus Gold/Plantinum

Efectos– Consumo de energía reducido– Menos trabajo de refrigeración – Menor TCO

% of Rated Load

20% 50% 100%

80 PLUS Bronze

81% 85% 81%

80 PLUS Silver

85% 89% 85%

80 PLUS Gold

88% 92% 88%

80 PLUS Platinum

90% 94% 91%

Source: Cisco 2011


Gestión de la energía Ethernet energéticamente eficiente

Apague los transceptores Ethernet (FIT) en periodos de baja velocidad de datos

Se han definido nuevos modos LPI para transceptores 1000BASE-T y 10GBASE-T

Sus características fundamentales son : Permiten apagar los transmisores y tres de los cuatro receptores Incluyen un ciclo de actualización Definición de una señal de alerta para activarlos rápidamente

Actualmente no disponibles para los equipos de red de centros de datos


Mejores prácticasComparación de equipos de red EE

Fuente: (Lippis 2011)

IBM BNT RackSwitch

G8264

IBM BNT RackSwitch

G8124

Force 10 Voltaire Vantage 6048

Apresia 15k0

1

2

3

4

5

6

WattsATIS /10GbE Port

IBM BNT RackSwitch

G8264

IBM BNT RackSwitch

G8124

Force 10 Voltaire Vantage 6048

Apresia 15k0

50

100

150

200

250

300

TEER

bette

rbe

tter


Mejora de la estrategia y objetivosOptimización del sistema a nivel del rack y de la sala


Optimización del sistema a nivel del rack y de la sala

3. Optimización del sistema a nivel del rack y de la sala: Topología del conmutador (ToR, EoR) Cableado adecuado (flujo del aire, tipo de cable, interfaz) Posición en el Rack (concepto de refrigeración) Virtualización y control


Topología del conmutador al final de la hilera Utilización de recursos

10 Server

Rack #1

14 Server

Rack #2

16 Server

Rack #3

8 Server

Rack #4

Suboptimal EoR utilization

Rack #1 Rack #2

Optimal End-of-Row switching

large amount of cabling

Line

Car

d

EoRSwitch

good scalability & flexibility


48 Port Switch

10 Server

Rack #1

48 Port Switch

14 Server

Rack #2

48 Port Switch

16 Server

Rack #3

48 Port Switch

8 Server

Rack #4

Optimal ToR switching

48 Port

Rack #1

suboptimal server configuration

Unused ports

Suboptimal ToR utilization

all ports used

Simple cabling

48 Port

Rack #2

Topología del conmutador en la parte superior del rack Utilización de recursos


Topología del conmutador ToR Ventaja y desventaja

En la parte superior del rack (TdR): cada rack tiene un interruptor especializado

Ventaja: un conmutador descentralizado para entornos de servidores densos (consolidación I / O ) que reduce el esfuerzo de cableado. La distancia más corta del cableado entre el servidor y el conmutador mejora la velocidad de transmisión y reduce el consumo de energía de esta transmisión.

Desventaja: Si el ToR se utiliza en una computación menos densa (pocos servidores en un rack), el sistema estará sobredimensionado. La eficiencia energética es baja debido a la utilización subóptima de los puertos disponibles.


Cableado adecuadiMejora el flujo del aire y la refrigeración


CableadoCobre

Par de cobre trenzado: Menores costes en comparación con la fibra Un alcance limitado: por ejemplo, la distancia práctica, para 10GE

es de unos 10 metros Menor consumo de energía: por ejemplo, 10GE conectable de

tamaño reducido (SFP), sólo 0,1 W (a 10 m) 10 GbE cable de cobre PHY consume hoy en día 10 W por puerto Menos resistentes: por ejemplo, durante la instalación, el cable se

puede romper (abolladuras) con más facilidad en comparación con la fibra


Cableado Fibra óptica

Fibra óptica: OPEX (gastos iniciales) elevado: componentes activos (fotónica) Mayor rendimiento: velocidad, ancho de banda a larga distancia

(300 m) Consumo de energía: con fibras de puerto óptico de 10 GbE

consume 1-2W Muy accidentado: sin embargo, debe considerar el aislamiento, el

radio de curvatura, los equipos de red Aplicable a capas de conmutación centrales, aunque el cobre

sigue siendo la primera opción para conectar el servidor con los conmutadores de la parte superior del rack


Cableado Comparación entre la fibra y el cobre

10 GbE Media Fibra (SR/LRM) Cobre (Base-T)

Consumo de energía (PHY + Adaptador)

1 - 3 vatios 14 - 17 vatios

Distancia 300 metros 100 metros

Índice de datos futuro 40 - 100 Gb/seg 10 Gb/seg

Densidad por unidad de rack

32 24

Densidad del cable 10% 100%


Proceso de mejora


Proceso de mejoraPaso a paso

Pasos: Establecimiento de objetivos de mejora (eficiente, convergente e

inteligente) Planificación de la arquitectura de la red (tecnología) Adquisición de equipos eficientes (administración de energía) Funcionamiento y cableado adecuados (impacto en el flujo de aire y

refrigeración) Equilibrio de carga y virtualización


Proceso de mejoraEstablecimiento de objetivos de mejora

Tareas: Medición / supervisión del consumo de energía específico (condición

previa): Componentes individuales Parámetros térmicos y técnicos respectivos (flujo del aire,

temperatura, velocidad del ventilador) Definir los valores objetivo:

Eficiencia energética (objetivo TEER/ECR) Gestión de la energía(no disponible todavía, objetivo a largo plazo) Umbral de temperatura (p. ej. Fijar un límite según la ASHRAE)


Proceso de mejoraPlanificación de la arquitectura de red

Tareas: Definir una lista de parámetros objetivo para:

Rendimiento técnico (la interoperatibidad y las cuestiones legales son muy importantes)

Rendimiento de la energía (ecológico) Proyección de estos parámetros de rendimiento en las

especificaciones técnicas orientadas al equipo: En este punto, debe tomarse una decisión sobre la tecnología de

red básica de las redes individuales (SAN, LAN, Access) Tipo y número de puertos de red Transmisión de datos Funcionabilidad y servicios adicionales (virtualización y control)


Proceso de mejora Adquisición de equipos eficientes

Tareas: Estudio del mercado según las especificaciones identificadas Orientación sobre contratación pública (Fraunhofer CC LAN) Solicitar una prueba relacionada con la energía / datos de referencia

(TEER) Comparar las ofertas (si hay una guía de evaluación / selección)


Perspectiva

Ejemplos específicos de las mejores prácticas (datos reales / casos prácticos)

Ejemplos para la reducción de hardware (virtualización) Gestión de la energía de la red (modo de espera e inactividad baja) Más allá de la vanguardia (íntegramente óptico, tunelización) Clasificación de opciones de mejora


DebateCuestiones relacionadas con el módulo


Cuestiones/debates relacionados con el módulo

¿Cuál cree usted que son los principales obstáculos para alcanzar una eficiencia energética en los equipos de red?

¿Cuáles son los principales aspectos que influyen en la eficiencia energética de los equipos de red?

¿Cuáles son los tres objetivos de mejora básicos en la eficiencia energética de los equipos de red?

¿Cuál es la principal ventaja y desventaja del uso de la topología del conmutador Top-of-Rack?


Sugerencias de lecturas complementariasLibros blancos

Publicaciones en línea

Etc.


Sugerencias de lecturas complementarias

Energy Consumption Rating Initiative– www.ecrinitiative.org

Cisco Efficiency Assurance Program– www.cisco.com/assets/cdc_content_elements/flash/dataCenter/eap

IBM, Network solutions– http://www-03.ibm.com/systems/networking/

Energy Proportional Datacenter NetworksAbts D. y otros (2010), Proceedings of the International Symposium on Computer Architecture, Saint-Malo– http://static.googleusercontent.com/external_content/untrusted_dlcp/research.go

ogle.com/de//pubs/archive/36462.pdf

http://www.ecrinitiative.org/

http://www.cisco.com/assets/cdc_content_%0Belements/flash/dataCenter/eap





http://www-03.ibm.com/systems/networking/

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de/pubs/archive/36462.pdf

http://static.googleusercontent.com/external_content/untrusted_dlcp/research.google.com/de/pubs/archive/36462.pdf


Sugerencias de lecturas complementarias

Government Data Center Network Reference Architecture, Using a High-Performance Network Backbone to Meet the Requirements of the Modern Government Data Center, Juniper (2010) – http://www.buynetscreen.com/us/en/local/pdf

/reference-architectures/8030004-en.pdf

ElasticTree: Saving Energy in Data Center NetworksHeller B. y otros (2010)– http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf

http://www.buynetscreen.com/us%0B/en/local/pdf/reference-architectures/8030004-en.pdf




http://www.usenix.org/event/nsdi10/tech/full_papers/heller.pdf

Documents

Supported by: Project consortium: Módulo 5 Equipos de redes Versión 1.0 6 de octubre de 2011