Servicios de storage de AWS

© 2016, Amazon Web Services, Inc. or its Affiliates. All rights reserved.

Alejandro Flores, Arquitecto de Soluciones

Abril 06, 2016

Servicios de Storage en AWS

En el mundo …

… constantemente generamos más datos

En AWS …

… constantemente innovamos

Opciones de Almacenamieto

Opciones de almacenamiento

Amazon

EFS

Amazon

EBS

Amazon EC2

Instance

storage

Amazon

S3Amazon

Glacier

AWS

Storage

Gateway

Archivos Bloque Objetos Híbrido

Integración con otros servicios

Amazon EC2

Amazon VPC

Amazon

CloudFront

AWS CloudTrail

Amazon

CloudWatch

alarms AWS Trusted

Advisor

AWS

IAM

AWS LambdaAmazon Redshift

Amazon

EMR

Amazon

Kinesis

Amazon SQS

AWS

CloudFormationAmazon SNS

Variedad para todos los clientes

Cumplimiento con certificaciones importantes

Acelera el acceso a tu información

AWS Import\Export Snowball

• Accelerate PBs with AWS

provided appliances

AWS Storage Gateway

• Up to 120 MB/s cloud upload rate

(4x improvement), and

• 10 Gb networking for VMware

Amazon Kinesis Firehose

• Ingest data streams directly into

AWS data stores (S3, Redshift)

AWS Direct Connect2015

20152015

Amazon S3Simple Storage Service

Demanda de uso

2012 2013 2014 2015

102% de crecimiento por año en

transferencia de/hacia S3

99.999999999%durability

Buen intento!

S3 Buckets / Objetos

S3 Sitio Web : Contenido estático

Paga solo por lo que uses

1 PB espacio crudo

800 TB espacio usable

600 TB espacio asignado

400 TB datos de la aplicación

Amazon S3

Reducción continua de precios

8 reducciones de precio desde su lanzamiento

Amazon S3Nuevas características

S3-IA (Infrequent Access)

11 9’s de durabilidad Diseñado para

99.9% disponibilidad

Durabilidad Disponibilidad

Mismo desempeño que

S3 Standard

Desempeño

• Encripción en el servidor

• Usa tus llaves de encripción

• Llaves administradas desde KMS

Seguro

• Reglas de transición

• Control de versiones

• Notificación de eventos

• Métricas

Integración

• Misma experiencia de

usuario

• REST API simple

Fácil de usar

Notificaciones por Eventos

Notificaciones a Amazon SNS, Amazon SQS, AWS

Lambda cuando un evento ocurre en S3

Events

SNS topic

SQS queue

Lambda

function

Control de versiones

• Mantén, recupera y restaura cada versión de

cada objecto almacenado en tus buckets

• S3 automáticamente agrega nuevas versiones

y matiene los objetos borrados with

marcadores

• Controla fácilmente el número de versiones a

guardar usando políticas de expiración

• Fácil configuración desde la consola

Replicación entre regiones

Replicación asíncrona de datos automatizada, rápida y

confiable entre regiones

• Replicación de nuevas peticiones

PUT únicamente

• Replicación 1:1 entre 2 regiones

• Versioning requerido

Amazon GlacierServicio de archivado

$0.007Por GB / al mes

Última actualización: Marzo 2016

Región: US East

$84Por TB / al año

Última actualización: Marzo 2016

Región: US East

99.999999999 %Durabilidad

3 – 5 horasRecuperación de datos

Beneficios

• Bajos costos para archivado a largo plazo

• Capacidad de almacenamiento ilimitada

• Mejora la durabilidad

• Sustitución de Cintotecas

Integración S3 - Glacier

→

Políticas de transición (lifecycle) →

<LifecycleConfiguration>

<Rule>

<ID>archive-in-30-days</ID>

<Prefix>logs/</Prefix>

<Status>Enabled</Status>

<Transition>

<Days>30</Days>

<StorageClass>GLACIER</StorageClass>

</Transition>

<Expiration>

<Days>365</Days>

</Expiration>

</Rule>

</LifecycleConfiguration

Amazon GlacierNuevas características

Glacier – Vault Lock

• Almacenamiento para cumplimiento de normas

• No sobre escritura, registro no borrables

• Retención por tiempo <ArchiveAgeInDays>

• Bloqueo de política

• Retención basada en etiquetas

Ejemplo: Retención por tiempo

{

"Version" : "2012-10-17",

"Statement" : [

{

"Effect" : "Deny",

"Principal" : {

"AWS" : "*"

},

"Action" : "glacier:DeleteArchive",

"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",

"Condition" : {

"NumericLessThanEquals" : {

"glacier:ArchiveAgeInDays" : 365

}

}

}

]

}

Política

Ejemplo: Retención por etiqueta

{

"Version" : "2012-10-17",

"Statement" : [

{

"Effect" : "Deny",

"Principal" : {

"AWS" : "*"

},

"Action" : "glacier:DeleteArchive",

"Resource" : "arn:aws:glacier:us-east-1:XXXXXXXXX:vaults/BusinessCritical",

"Condition" : {

"StringEquals" : {

"glacier:ResourceTag/LegalHold" : "True"

}

}

}

]

}

Política

Amazon EBSAlmacenamiento de Bloque

Almacenamiento no persistente

• Almacenamiento temporal

• Persistente durante el

tiempo de vida de la

instancia (encendida,

reinicio)

• Se destruye si la instancia

se detiene o se destruye

Almacenamiento persistente

• Almacenamiento de bloque

persistente

• Volúmen replicado dentro

de las AZ’s para protección

contra fallas

• Escalamiento vertical hacia

arriba y hacia abajo

Reasigna el volúmen a otra instancia

Agrupa múltiples volúmenes

Baja latencia, alto desempeño

General Purpose (SSD)

Up to 16 TB

10,000 IOPS

Up to 160 Mbps

Provisioned IOPS (SSD)

Up to 16 TB

20,000 IOPS

Up to 320 Mbps

Variedad para cualquier tipo de carga

Precio Desempeño

Magnético Propósito

General

IOPS

Provisionados

Caso de usoAcceso a información

no tan frecuente

Volúmenes de Boot

Peq. a Med. BDs

Des y Pruebas

I/O Intensivo

BDs Relacionales

BDs NoSQL

Medio Disco Magnético SSD SSD

Max IOPS 40–200 IOPS 10,000 IOPS 20,000 IOPS

Latencia

(escrituras

aleatorias)

20–40 ms 1–2 ms 1–2 ms

Disponibilidad Diseñado para 99.999%Diseñado para 99.999% Diseñado para 99.999%

Amazon EBSSnapshots

EBS Snapshots

• Regresa a una versión

anterior

• Almacenados en S3

• Útiles para protección

contra fallas, restauración

en otra region,

redimensionamiento de

volúmenes actuales

AWS Storage Gateway

Qué es AWS Storage Gateway ?

Trabaja con aplicaciones existentes

Seguro, gran durabilidad

Baja latencia para datos frecuentes

Escalable y de bajo costo

Servicio que conecta almacenamiento de nube con un

dispositivo de software ubicado en un centro de datos

local

Configuraciones

iSCSI

Bloque

Gateway-stored volumesBaja latencia para todos tus datos con respaldos

en AWS

Sustitución de librerías físicas con AWS para

respaldos y archivado

Gateway-cached volumes

Gateway-virtual tape library (VTL)

Baja latencia para los datos usados

frecuentemente con toda la información en

almacenada en AWS

iSCSI

VTL

Gateway-stored Volumes (GW-Stored)

• Datos primarios almacenados on-prem

• Respaldo asíncrono hacia AWS

• Respaldos almacenados como EBS Snapshots

Gateway-cached Volumes (GW-Cached)

• Datos primarios almacenados en AWS

• Datos accesados frecuentemente almacenados on-prem

• Respaldos almacenados como EBS Snapshots

Gateway-Virtual Tape Library (GW-VTL)

• Cintas virtuales almacenadas en AWS

• Datos accesados frecuentemente “cacheados” on-prem

• Cintas ilimitadas en VTS (Virtual Tape Shelf)

Amazon EFSElastic File System

Qué es EFS ?

• FS administrado para instancias

• Escalabilidad hasta 1PB

• Desempeño para diferentes cargas

• Altamente disponible y durable

simple elastic scalable

1 2 3

Diseñado para diferentes casos de uso

• Repositorio de contenido

• Ambientes de desarrollo

• Directorios de usuario

• Big Data

Cómo funciona ?

• Para accesar a FS dentro

de la VPC, se crean “Mount

Targets”

• Un “Mount Target” es un

punto de acceso NFSv4

dentro de la VPC

• Un “Mount Target” consiste

de una IP y un nombre de

DNS

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Mount

target

Cómo funciona ?

AVAILABILITY ZONE 1

REGION

AVAILABILITY ZONE 2

AVAILABILITY ZONE 3

VPC

EC2EC2

EC2

EC2

Customer’s file

system

EFS es simple

• Totalmente administrado

• No hardware, red

• Integración transparente

con herramientas y

aplicaciones

• NFSv4

• Funciona con APIs de

archivos de Sistemas

Operativos estándares

EFS es elástico

• FS crecen y decrecen

automáticamente conforme

se agregan o remueven

archivos

• No es necesario asignar

espacio

• Costo por uso, sin cuota

mínima inicial

EFS es escalable

• Pueden crecer a PB

• Rendimiento y IOPS

escalan automáticamente

conforme crece el FS

• Latencia baja, consistente,

sin importar el tamaño del

archivo

• Soporta miles de

conexiones NFS

concurrentes

EFS es altamente disponible y durable

• Cada objeto del

FS (directorio,

archivo, link) es

almacenado

redundantemente

en múltiples AZ’s

dentro de la

región

AVAILABILITY

ZONE 1

REGION

AVAILABILITY

ZONE 2

AVAILABILITY

ZONE 3

Amazon

EFS

EFS es consistente

• Las instancias se pueden conectar al FS desde cualquier AZ de la región

• Todas las lecturas y escrituras son consistentes en todas las AZ’s (Ej. una lectura en una AZ garantiza que tendrá la información más reciente, aún si los datos son escritos en otra AZ

AVAILABILITY

ZONE 1

REGIONVPC

EC2EC2

EC2

AVAILABILITY

ZONE 2

AVAILABILITY

ZONE 3

EC2

Write

Read

Tres opciones de administración

AWS

Console

AWS

CLI

AWS

SDK

Resumen: Portafolio de Almacenamiento en AWS

S3

EFS

Glacier

Storage

Gateway

EBS

• Almacenamiento de Objetos: datos representados por buckets/objects

• Acceso usando APIs sobre internet

• Almacenamiento de archivado: datos representados por vaults/archives

• Almacenamiento de bajo costo, acceso usando APIs sobre internet

• Almacenamiento de bloque (tipo SAN): datos representados como volúmenes

• Baja latencia de acceso desde las instancias EC2

• Almacenamiento de archivo (tipo NAS): datos representados como file system

• Baja latencia de acceso compartido entre múltiples instancias EC2

• Almacenamiento de respaldos y archivado en S3 y Glacier

Gracias !