Escalabilidad “ilimitada” con SQL Server

Eladio Rincón Director Depto. Relacional, SolidQ SQL Server MVP eladio@solidq.com

2

Producto

Hardware

Aplicaciones

Combinación

Factores que Limitan la Escalabilidad

Baseline

Identify bottlenecks

Make Changes

Measure Performance

Agenda

Casos más Impactantes y sus Retos

El Caso de la Servilleta

… y la otra servilleta

En qué te podemos ayudar

3

4

Los números… VLDB Mission Critical HA/DR DW High OLTP

> 30,000 DB tx/Second

100% uptime (2008)

100% uptime (2009)

100% uptime (2010)

180M incremental

fact rows/day

7x24x365 Synchronous

Mirroring Solution >15B

tx/yr

> peta-byte

≈ 1 trillion rows

Asynch Mirroring > 400 miles

< 60 sec. recovery

>1 peta-byte

>10B rows in 1 table

>80GB daily growth

>50 TB by end of 2010

>90GB daily growth

Critical operations

at > 2200 facilities

Critical operations

with > 15,000 users

Mission Critical

database > 4 TB

Critical operations

with > 1,000,000,000 tx/day

Large U.S. Financial Organization

Mission Critical

table > 1.9 billion rows

COMING SOON!

(10+1 Clusters)

Centipede

490TB

9 data nodes

70GB daily growth

<= 3s query response (80%)

700 million rows/day

Incremental growth

5TB Analysis Services data

50TB federated environment

> 3,000 tx/Second

> 2B CLR calculations/day

12.4M users (2.7M regular)

> 23k batch requests/sec

> 125K tx/second

< 50ms latency

Large U.S. Financial Organization

4.4M concurrent users

130M monthly users

SAP | geo-cluster > 5 miles

No Data Loss | No Down Time

5

…traducido en Caracteristicas Necesidad Característica Versión SQL Server

VLDB Particionado 2000 – 2012

Compresión 2005 – 2012

BD en Memoria 2013+

HA / Tier – 1 Hadron / AlwaysON 2008 – 2012

Utilizar los

secundarios

2005 – 2012

DW Scale Scale Out (2008) – 2012

FTDW, Vertipaq (2008) – 2012

6

Servidores

Apps

Usuarios

Listener

Scale Out – El Caso de la Servilleta

Scale Out – La otra Servilleta Protección y escalabilidad a nivel de grupos de bases de datos

Mejora la Productividad y ROI

• Multi-database

distribuir la carga entre los secundarios , Reportings y backups

Mejor Disponibilidad

Sin dependencia de aplicaciones

A A

A A

A Application A

Primary Replica

Application A

Secondary Replica

Synch. Data

Movement

Asynch. Data

Movement

A

Scale Out – Caso Práctico

• Grupo de bases de datos que gestionamos conjuntamente (e.g. failover conjunto)

• Definimos la replicación conjuntamente

Availability Group (AG)

• Copia fisica del conjunto de bases de datos definidas en el Availability Group

Availability Replica (AR)

• Permite escritura y lectura

Nodo Primario

• Permite conexiones solo lectura

• Es la copia de backup de los datos

Nodo Secundario

Dimensiones: Replicadas TD

SD

PD

MD

SF

01-08 Time Dim

Date Dim ID

Calendar Year

Calendar Qtr

Calendar Mo

Calendar Day

Store Dim

Store Dim ID

Store Name

Store Mgr

Store Size

Product Dim

Prod Dim ID

Prod Category

Prod Sub Cat

Prod Desc

Sales Facts

Date Dim ID

Store Dim ID

Prod Dim ID

Mktg Camp Id

Qty Sold

Dollars Sold

Mktg Campaign

Dim

Mktg Camp ID

Camp Name

Camp Mgr

Camp Start

Camp End

TD

SD

PD

MD

SF

09-16

TD

SD

PD

MD

SF

17-24

TD

SD

PD

MD

SF

25-32

TD

SD

PD

MD

SF

33-40

Scale Out – SQL Server 2012 PDW

Scale Out – SQL Server 2012 PDW Hechos: Distribuidos

TD

SD

PD

MD

SF

01-08 Time Dim

Date Dim ID

Calendar Year

Calendar Qtr

Calendar Mo

Calendar Day

Store Dim

Store Dim ID

Store Name

Store Mgr

Store Size

Product Dim

Prod Dim ID

Prod Category

Prod Sub Cat

Prod Desc

Sales Facts

Date Dim ID

Store Dim ID

Prod Dim ID

Mktg Camp Id

Qty Sold

Dollars Sold

Mktg Campaign

Dim

Mktg Camp ID

Camp Name

Camp Mgr

Camp Start

Camp End

TD

SD

PD

MD

SF

09-16

TD

SD

PD

MD

SF

17-24

TD

SD

PD

MD

SF

25-32

TD

SD

PD

MD

SF

33-40

Compresión / Almacenamiento Columnar

Disponible en SQL 2012 y PDW

VertiPaq

C1 C2 C3 C5 C6 C4

…

Páginas

Almacenamiento

Tradicional

(row store)

Almacenamiento

Columnar

SELECT key2, key3, SUM (measure1) Ventas FROM tabla GROUP BY key2, key3;

Almacenamiento Columnar – Menos E/S

Disponible en SQL 2012 y PDW

• Se recupera sólo las columnas necesarias

• Datos comprimidos

• Menos E/S

• Mejor ratio de acierto en caché

key1

key2

key4 key5 key6

key3

-- -- columnstore index -- CREATE COLUMNSTORE INDEX idx_cs_fact ON dbo.Fact ( key1, key2, key3, key4, key5, key6, key7, key8, measure1, measure2, measure3);

Tecnología en Memoria Proyecto Heckaton

• Objetivo cuando el hardware no da más

>= 15.000 reqs/sec

• Soporte Completo ACID

Tablas en Memoria SPs en Memoria

15

Repaso de los números… VLDB Mission Critical HA/DR DW High OLTP

> 30,000 DB tx/Second

100% uptime (2008)

100% uptime (2009)

100% uptime (2010)

180M incremental

fact rows/day

7x24x365 Synchronous

Mirroring Solution >15B

tx/yr

> peta-byte

≈ 1 trillion rows

Asynch Mirroring > 400 miles

< 60 sec. recovery

>1 peta-byte

>10B rows in 1 table

>80GB daily growth

>50 TB by end of 2010

>90GB daily growth

Critical operations

at > 2200 facilities

Critical operations

with > 15,000 users

Mission Critical

database > 4 TB

Critical operations

with > 1,000,000,000 tx/day

Large U.S. Financial Organization

Mission Critical

table > 1.9 billion rows

COMING SOON!

(10+1 Clusters)

Centipede

490TB

9 data nodes

70GB daily growth

<= 3s query response (80%)

700 million rows/day

Incremental growth

5TB Analysis Services data

50TB federated environment

> 3,000 tx/Second

> 2B CLR calculations/day

12.4M users (2.7M regular)

> 23k batch requests/sec

> 125K tx/second

< 50ms latency

Large U.S. Financial Organization

4.4M concurrent users

130M monthly users

SAP | geo-cluster > 5 miles

No Data Loss | No Down Time

Qué proponemos para acercarte a

esos números

Baseline

Identify bottlenecks

Make Changes

Measure Performance

4 Medidas

• Sintéticas

• Unitarias

• Concurrencia

• Vida Real

“Cuando quieres realmente una cosa, todo el Universo conspira para ayudarte a conseguirla”

Autor: Tú (con permiso de Paulo Coelho)

Medidas Sintéticas

• Recursos:

Arquitecturas de

Referencia FTDW

• Herramientas:

Fabricantes de

hardware y software

(SQLIO, IOMeter)

• Busca los

límites

• No es Barato

Pruebas Unitarias

• Funcionales del software Visual Studio, Telerik, Nunit, xUnit, Pex: MS Research

• Las cosas no van mal

• …pero pueden ir

Pruebas de Concurrencia

• Cómo se comporta el software con otros al lado ERPs, CRMs, Transaccionales, Analíticos, Reporting, …

• Analizar (S y H) Profilers

PerfMon

• Concluir

• Medidas

Vida Real • Seguir

midiendo Tools

• Entender

la realidad Cruzar datos

• Reaccionar

rápido Proactivo

© SolidQ 2013 22

• Replicación para mejorar rendimiento

• Migraciones

• Rápidas

• Seguras

• Escalables

Pinceladas de Casos de Estudio

© SolidQ 2013 23

Usando Replicación de Datos para mejorar Rendimiento

© SolidQ 2013 24

Migración a 2008 Muy Rápida

© SolidQ 2013 25

Migraciones Medidas y Seguras…

© SolidQ 2013 26

… en Sistemas Seguros …

© SolidQ 2013 27

… y Escalables y con Fast Track

© SolidQ 2013 28

• Los números están ahí

• Ayudan a asustar fantasmas

• Outside – In

• Comprende lo que ves fuera y ajústalo a tu Organización

Resumen

Eladio Rincón

eladio@solidq.com

© SolidQ 2013 30

Agenda

9:30: 10:00 Una nueva plataforma de gestión de

la información: SQL Server 2012

10:00 – 11:00 ¿Sabes hasta dónde puede llegar

SQL Server?

11:00 – 11:30 Coffee – Break

11:30 – 12:15 Enterprise Information Management:

Jugando con SSIS, DQS y MDS

12:15- 13:00 ¿Cómo de Big son tus datos?:

HDInsight

© SolidQ 2013 31

Túneles de viento

http://www.rectademeta.com/primer-tunel-de-viento-en-espana.html

http://angelesenlacabeza.blogspot.com.es/2012/10/tuneles-de-viento-ese-gran-desconocido.html

http://www.autobild.es/reportajes/ferrari-una-factor%C3%AD-de-sue%C3%B1os

Entrenamientos

http://www.lasprovincias.es/20110203/deportes/motor/vida-kilometros-hora-201102030951.html

http://www.elmundo.es/albumes/2013/02/08/delarosa_ferrari_estreno/index.tml

Entrenos oficiales

http://www.abc.es/20121102/deportes-f1/abci-libres1-abudabi-201211021156.html

Carrera

http://www.flickr.com/photos/97302051@N00/155461458/sizes/z/in/photostream/

http://beyondtheredline.org/formula-1-fernando-alonso-the-rain-master/

Créditos imágenes

Si quieres disfrutar de las mejores sesiones de

nuestros mentores de España y Latino América,

ésta es tu oportunidad.

http://summit.solidq.com/madrid/

Síguenos:

© SolidQ 2013 32