© 2010 IBM Corporation IBM Systems and Technology Group IBM Innovation & Infrastructure | Deep Computing IBM en Deep Computing/HPC Sevilla o ctubre 2011

© 2010 IBM Corporation

IBM Systems and Technology Group

IBM Innovation & Infrastructure | Deep Computing

IBM en Deep Computing/HPC

Sevilla octubre 2011

Mariano GarridoCTAIBM STG

IBM Deep Computing

Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation

Agenda

Qué es DC/HPC? Factores claves para abordar un proyecto Soluciones IBM Consideraciones de explotación Alternativas

– System P

– Linux clusters

– Bluegene

iDataPlex

IBM Deep Computing


Business Applications

Transaction Processing and Database

Entender las cargas de trabajo que estamos usando es un prerequisito importante

Characteristics vary: Application Usage Pattern SLA Data Structure

Web, Collaboration and Infrastructure

WorkloadOptimization

Analytics and High Performance

One size DOES NOT fit all

IBM Deep Computing


Qué es Deep Computing o High Performance Computing

Realización de miles de billones de cálculos matemáticos en un corto espacio de tiempo para la resolución de problemas complejos. Especialmente útil en aquellas problemáticas que manejan gran volumen de datos o que realizan múltiples iteraciones con una muestra de datos mas acotada y donde los cálculos manuales harían inabordable ese determinado problema.

Medida típica TeraFlop = Millón de millones de operaciones, en doble precisión (64bit), de coma flotante por segundo (los sistemas que aparecen en el ranking de TOP500 se miden ya en miles de TeraFlops. IBM es líder en TOP500 )

– Kilo < Mega < Giga < Tera < Peta < Exa = 1018

IBM Deep Computing


Puntos críticos para abordar un proyecto DC/HPC viable

Necesidades de memoria principal del sistema. – Un factor limitante puede ser el tamaño de memória máximo que puede emplear un núcleo

de procesamiento => 32/64GB en los sistemas High End de la serie pSystems y 48GB en los sistemas High End eX5 en de IBM (con velocidades de acceso a memoria de 1,6Ghz en los inminentes Sandy Bridge de Intel que mitiga el desfase entre la velocidad de la CPU vs RAM)

Capacidad individual de los procesadores de los nodos de cálculo.– Existen aplicaciones que consumen todos los recursos de CPU disponibles, es decir el

factor limitante no es el tamaño o la velocidad de la memoria principal => Para estos casos es vital el tipo de procesador (conjunto de instrucciones reducido o complejo) RISC/CISC/x86 y su velocidad de reloj. Actualmente alrededor de 2-3Ghz.

– Se ha llegado a una frontera física en el diseño de microprocesadores de velocidad cada vez mayor. Se producen efectos físicos (corriente de perdida en las puertas de los transistores) que impiden aumentar la frecuencia de operación de los chips =>

– Intel/AMD han optado por incluir varios núcleos en un mismo chip reduciendo la velocidad de estos núcleos. Opción divide y vencerás. IBM dispone de tecnología Multicore en su gama POWER desde 2001 (9 núcleos en PowerXcell8i 2007, 8 core en POWER 7 2010)

– Asimismo IBM invierte en investigación de tecnología de fabricación de microprocesadores para mitigar estos efectos (High-K metal) y poder proporcionar CPUs a >4Ghz desde 1H07.

– Introducción de las nuevas GPUs (coprocesadores matemáticos)

LeakageSource Drain

Gate

IBM Deep Computing


Un proyecto DC/HPC viable (cont.) Escalabilidad de las aplicaciones y capacidad de crecimiento de las redes

de interconexión en sistemas cluster.– El concepto de escalabilidad implica:

– A) que la aplicación es capaz de repartir carga entre varios nodos y – B) que a mayor número de nodos mayor rendimiento bien en tiempo de respuesta o en

capacidad de resolución de problemas mas complejos.(Evitar efecto saturación)– Pueden existir aplicaciones muy sensibles a parámetros de esta red (latencia, ancho de banda)

=>

– Las redes de interconexión para estos sistemas son equipamiento de extremada especialización.

– Estas redes deben permitir un crecimiento, sin detrimento del rendimiento, hasta varios miles de nodos. IBM dispone de tecnología aplicada en su producto Bluegene/P que permite crear un sistema de hasta 131.072 procesadores.

Los requerimientos físicos de espacio, alimentación y refrigeración deben ser asumibles– Ej: construcción de un sistema de 360 TFlps

– Espacio– BG/L ~100 m2– Linux Cluster ~1000 m2 (extrapolación)

– Consumo– BG/L ~1.5 MW– Linux Cluster ~15 MW (extrapolación)

– Implicación en costes:– 1 MW/yr = $1M

IBM Deep Computing


La oferta de IBMDado que el tipo de problemática/aplicación condiciona el tipo de

arquitectura adecuada, IBM dispone de una oferta completa:

Sistemas SMP de memoria compartida. System p– Grandes sistemas de hasta 32, 64 procesadores con una única

imagen de sistema operativo y un vólumen de memoria de hasta 4TB

Cluster de sistemas de memoria distribuida. Cluster 1350 iDataPleX y cluster 1600

– Máquinas lógicas de miles de procesadores en base a la interconexión física, mediante redes especializadas, de sistemas “modestos” de 2, 4, 8,16 y hasta 32 procesadores con memoria por nodo de hasta 256GB.

– Procesadores “comodity”: IBM POWER, Cell, Intel Xeon o AMD Opteron.

Sistemas de propósito específico. BlueGene– Agregación de hasta 131.072 procesadores mediante tecnología

propietaria y encaminados a la resolución de determinados tipos de problemas. Procesadores modestos: PowerPC450.

IBM Deep Computing


Memoria compartida (= BIG SMP) vs Memoria distribuida (=clusters) vs Bluegene (MPP Massive Paralel Processing) para sistemas de

High Performance Computing

Memoria compartida

Modelo de administración y programación más sencillo (una única imagen de sistema)

Escalabilidad limitada (el sistema SMP/NUMA construible tiene límites)

Típicamente bloques constructivos más caros y menos granulares

Tienden a ser sistemas de infraestructura propietaria

Dificultad/costoso de expandir

Focalizados en rendimineto de pico (problemas con más variables de entrada o tiempos de respuesta menores)

Massive Parallel Processing

Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“)

Escalabilidad excelente (limitada sólo por MTBFs, …)

Excelente ratio rendimiento/consumo

Excelente ratio rendimiento/espacio

El punto de entrada de un sistema BG/L es de 1024 CPUs.

Arquitectura con el crecimiento máximo posible (65536 CPUs)

Enfocado a aplicaciones que puedan escalar sin restricciones con el número de CPUs

Memoria Distribuida

Modelo de administración y programación mas Complejo (Imagen de sistema única “virtual“)

Escalabilidad excelente (limitada sólo por MTBFs, puertos de switch, espacio físico, consumo …)

Típicamente bloques constructivos más baratos y granulares

Tienden a ser arquitecturas basadas en estandares abiertos

Permiten un crecimiento simple y orgánico

Focalizados en rendimiento agregado sostenido

IBM Deep Computing


Control de utilización de recursos ( Accounting/ Billing)

Licencias de aplicaciones comerciales

Acceso de administración al sistema

Administración y reparto de trabajos/ tareas y control de utilización de recursos (acounting)

Administración y mantenimiento del sistema (reparación de componentes HW/SW)

Instalación física y lógica del sistema (HW/SW)

Librerías de comunicaciones (MPI) para coordinación de procesos en un entorno distribuido.

Herramientas de compilación (optimización de código para HW subyacente) + Librerías matemáticas paralelas

Sistema de respaldo, backup de datos

Sistema especializado de almacenamiento: General Parallel File System (GPFS) para proporcionar rendimiento, alta disponibilidad y escalabilidad

Sistema de reparto de cargas/gestión de colas de trabajos (Loadleveler, Platform LSF, PBS Pro, Torque, MAUI…)

Sistema de gestión y control, despliegue de imágenes de sistema en los nodos (CSM, xCAT, DIM,…)

Licencias de sistema operativo: Linux, UNIX o Windows

Nodos y dispositivos de almacenamiento

Nodos de cálculo (núcleo del sistema)

Nodo/s de control, entrada/salida del sistema, reparto de carga,

Redes de interconexión (especializada) y gestión (commodity)

Ubicación= Sala (m2) consideraciones de seguridad

Alimentación del sistema y del equipo de refrigeración (Mwatt)

Equipo de refrigeración: Maquinária interna a la sala y dispositivos externos (Frigorias)

Infraestructura y consideraciones de explotación

Hardware

Servicios

Software Middleware

Aplicaciones

Data Center:

Site + cooling


Smarter Systems for a Smarter Planet

Solución pre-integrada• Servidores, switches, PDU’s, cableado• Listo para colocarlo en su sitio, enchufar

corriente, conectarlo a la red y empezar a trabajar.

o…

iDataPlex – Solución pre-integrada

¿Montarlo uno mismo?

IBM Deep Computing


IBM supercomputing leadership

Source: www.top500.org

Semiannual independent ranking of the top 500

supercomputers in the world

June 2011 Aggregate PerformanceIBM leads with 15.29 of 58.93 PF

Dawning2,5%

NUDT4,4%

Cray15,4%

Oracle3,0%

Dell2,0%

Bull3,6%

HP16,9%

SGI4,6%

IBM25,95%

Other21,7%IBM supercomputing leadership ...

Most installed aggregate throughput with over 15,294 out of 58,930 Teraflops (25.9%)(CRAY: 9,081 / 15.4%, HP: 9,975 / 16.9%)

Leader for 24 Lists in a row

Most systems in TOP500 with 212 (HP: 156, Cray: 29, SGI: 19)

Most energy-efficient system

(Blue Gene/Q Prototype2: 2097 MF/w)

6 of 10 most energy-efficient systems

June 2011 TOP500 EntriesIBM leads, followed by HP

Other; 60

Cray; 29

Oracle; 12

Dell; 12

HP; 156

SGI; 19

IBM; 212

IBM Deep Computing

Deep Computing | IBM Innovation & Infrastructure © 2010 IBM Corporation12

iDataPlex



iDataPlex (Internet + Data Center + Large Scale) Rack 100U 84U para Nodos x86 y 16U verticales para switches y PDUs Optimizado con servidores la mitad de profundosmitad de profundos que los estándares y con unos componentes

diseñados para obtener máxima eficiencia de la energía y refrigeración máxima eficiencia de la energía y refrigeración Diseñado para maximizar usomaximizar uso del espacio y la infraestructura de alimentación y refrigeración del

centro processo de datos con unos servidores con componentes estándares de la industria. Solución fácil de mantenerfácil de mantener con servidores accesibles de forma individual por la parte frontal. Configurable par necesidades de cada clientede cada cliente cálculo, almacenamiento o I/O y entregable pre-pre-

configuradoconfigurado fpara rápido despliegue44

4 x

750m

m

640mm

105

0mm

Vista SuperiorRack Estándar 19” Rack iDataPlex

600

mm

(7

20

mm

w

/RD

Hx)

1200mm

446

x 40

0mm

446

x 40

0mm

RDHX

Vista Superior

Flujo Aire

Flujo AireFlujo Aire



System x iDataPlex dx360 M3 iDataPlex flexibilidad con mayor rendimiento, eficiencia y más opciones

1U Bandeja Discos

1U Nodo Cálculo

3U Chasis AlmacenamientoMáxima Densidad Almacenamiento

3U, 1 Nodo Cálculo & Bandeja DiscosHDD: 12 (3.5”) hasta 24TB

I/O: PCIe para red + PCIe para RAID

Cálculo + AlmacenamientoBalance Alamacenamiento y Proceso2U, 1 Nodo Cálculo & Bandeja Discos

HDD: hasta 5 (3.5”)

Cálculo intensivoMáxima Capacidad Proceso

2U, 2 Nodos Cálculo

750W N+N Fuente

AlimentaciónRedundante

900W Fuente

Alimentación

1U Bandeja Dual GPU I/O

550W Fuente

Alimentación

Cálculo + I/OMáxima Flexibilidad Componentes

2U, 1 Nodo CálculoI/O: hasta 2 PCIe, HDD hasta 8 (2.5”)



iDataPlex (Rear Door Heat Exchanger, RDHX) Aumenta la densidad en el centro proceso de

datos eliminando pasillos fríos/calientes

Elimina calor generado por el rack

Mismas dimensiones que la puerta trasera del rack iDataPlex y 4” ancho

Refrigeración mediante líquido en un rack es 75%-95% más eficiente que la refrigeración por aire

No hay elementos móviles o eléctricos

No hay condensación

Agua helada

Proporciona hasta 115% extracción de calor y puede incluso refrigerar centro proceso datos!



Aumento densidad y reducción costes de energía

44 TeraFlops >44 TeraFlops

Reducción ocupación 4:1

Reducción costes de energía y refrigeración > 65%

Casi 4x más rendimiento por rack(1)

336 servidores dx360 M3 (Procesador Xeon 5600)

4 Racks, 16 Switches InfiniBand

42 servidores dx360 M3

(Procesador Xeon 5600)

1 Rack, 2 Switches InfiniBand

84 NVIDIA Tesla GPU’s

(1) Based on 2.93GHz Intel with NVidia performance data, 2010



Go Beyond your limits - 5x Compute density

Scale compute capacity to match accelerated growth

Increase 15% more servers, with 58% less Computer Room Air Conditioning IBM Lab Services

Provide 50%+ more density to customers running out of data center space and budgets

Increase computing demand within same space constraints

Go Green – 40% Better Energy Efficiency Improve airflow efficiency with shorter depth servers

Lower energy consumption by 40% with shared power & cooling

Remove 100% server heat exhaust and even cool the room with a Rear Door Heat eXchanger

Reduce the need for air conditioning

Cool 70% more efficiently with rack liquid cooling than air cooling

Go Faster – Fully Integrated for quick deployment Deploy and operate quickly with customized fully configured rack solutions

Save time by managing at the rack level

Modular, tool-less design and front access provide simple serviceability

Simplified building blocks for flexible customized configurations

Go for lower TCO – Lower Capital and Operation Costs Reduces costs of unnecessary redundant hardware for running parallel applications

Save up to $1.2M/year on datacenter power, cooling and management costs

Increase speed and accuracy without increasing power costs

You can relax! IBM helps with the planning and implementation of iDataPlex with STG Lab Services

IBM System x iDataPlex – La Revolución x86 en Eficiencia



43 iDataPlex en TOP500 del 2010

Noviembre 2010 http://www.top500.org/lists/2010/11



GRACIAS

Documents

© 2010 IBM Corporation IBM Systems and Technology Group IBM Innovation & Infrastructure | Deep Computing IBM en Deep Computing/HPC Sevilla o ctubre 2011