Objekt Speicher

IBM Cloud Object Storage

Kurt Gerecke

IT-Berater Tech Data GmbH & Co. OHGibm-azlan@techdata.demail@kurtgerecke.de

www.azlan.de

WW Ausgaben für Infrastruktur YoY

Storage: + 50%Server Workload: + 10%IO/Performance: + 75%Power Cost: + 20%

Gartner beschreibt es als „Bi-modale IT“

Mode1: “Legacy”

ZuverlässigkeitLatenz

KonsistenzStatisch

DB – CRM – StrukturierteDaten

Anwendungs-zentrisch

Silos von Systemen

IT- und Daten-Schutz+20%

... und „Mode 2“- Entstehen neuer Workloads

Mode2: “Neue

Applikationen”

Web-ScaleKostenAgilität

On/off-DeploymentCloud ready

Internet of ThingsUnstrukturierte Daten

Erschließung neuerGeschäftswelten

+80% oder +800% ?

5Page© 2015 IBM Corporation

TV.5K

HD4X

UHD4X

Genomes: Terabytes

Medical

Consumer

Research

201812MB

$10M

In 2006

$3B

In 2003

$1K

In 2014*

Digital Cameras

Phone Cameras

20105MB

20082MB

5

Images: Megabytes

Wachstum über Wachstum

* Illumina HiSeq X Ten

Lidar, Satellites, Microscopes, Seismographs, MRIs, X-Rays, Telescopes, Radio Telescopes, Spectrum Observatories, Cars, Aircraft Engines, IoT-Devices etc. etc. etc.

UHD-28X

Video: Gigabytes

Digital Video

Phone Video

6Page© 2015 IBM Corporation

Rapider Bedarf für neue Online Speicherarchitekturen

Online Speicherlösungen

Uneingeschränkte Skalierungsmöglichkeiten- in Speicherkapazitäten (Petabytes und Exabytes)- in Leistungsfähigkeit

Höchste Security Anforderungen

Höchste Verfügbarkeit- Objekte müssen immer verfügbar sein- Nondisruptive in allen Dingen

Niedere Kosten

Minimale Engpässe heutiger Daten Transfer Bandbreiten

RAID 6 + ReplicationRAID 6 und Replikation

$$70% +

TCO Einsparungen

1 PB

3.6 PB900

3.6x3.6x

3 FTEReplication/backup

Usable Storage

Raw Storage4TB DisksRacks RequiredFloor SpaceOps StaffingExtra Software

1 PB

1.7 PB4321.7x1.7x.5 FTENone

Original1.20 PB Raw

Onsite mirror1.20 PB Raw

Remote copy1.20 PB Raw

567 TB Raw 567 TB Raw567 TB Raw

IBM Cloud Object Storage

RAID 6 und Spiegelung vs. IBM COS (aka Cleversafe) – 1 PB nutzbar

Originale DatenVerschlüsselung

der Daten

Schreiben auf IBM COS

Jedes Segment ist verschlüsseltEncryption-Key ist generiertJedes Segment ist verschlüsseltEncryption-Key ist generiert

1

$Jedes Objektwird in 4MB Segmenteunterteilt

Jedes Objektwird in 4MB Segmenteunterteilt

Originale Daten

VerschlüsselteDatensegmente

werden in “Slices”

aufgeteilt

Schreiben auf IBM COS

1211109876543

12

Erasure Coded Slices

76543

12

Erasure coding generiert “inline” zusätzliche Slices zur Absicherung

Erasure coding generiert “inline” zusätzliche Slices zur Absicherung

2

$

7:12 IDA

(InformationDispersalAlgorithm)

$

Originale DatenVerschlüsselte

Daten

Erasure Coded Slices

SITE 1 SITE 2 SITE 3Storage Nodes

Jedes Slice wird auf eineseparate Storage Node geschrieben. In diesem

Beispiel sind die Storage Nodes geografisch auf drei

Lokationen verteilt

Jedes Slice wird auf eineseparate Storage Node geschrieben. In diesem

Beispiel sind die Storage Nodes geografisch auf drei

Lokationen verteilt

3

Schreiben auf IBM COS

12

11

10

9

8

7

6

5

4

3

2

1

1211109876543

12

Zum Lesen werden nur 7 Slices benötigt, unabhängig davon welche

• Anzahl aller Slices hier sind 12 (Width), Anzahl Slices zum Lesen sind 7 (Threshold)• Dieses Beispiel zeigt einen “7 of 12” Information Dispersal Algorithm (IDA)

Zum Lesen werden nur 7 Slices benötigt, unabhängig davon welche

• Anzahl aller Slices hier sind 12 (Width), Anzahl Slices zum Lesen sind 7 (Threshold)• Dieses Beispiel zeigt einen “7 of 12” Information Dispersal Algorithm (IDA)

Lesen von IBM COS

SITE 1 SITE 2 SITE 3Storage Nodes

76543

12

1

3 7

25

6

4

$$SITE 1 SITE 2 SITE 3

Lesen von IBM COS

SITE 1 SITE 2 SITE 3Storage Nodes

76543

12

1

3 72

5

6

4

Mit diesem IDA erfolgtein problemloses Lesenauch wenn 5 Storage Nodes nicht verfügbar

sind

Mit diesem IDA erfolgtein problemloses Lesenauch wenn 5 Storage Nodes nicht verfügbar

sind

$

RAID 6 + ReplicationRAID 6 und Replikation

$$70% +

TCO Einsparungen

1 PB

3.6 PB900

3.6x3.6x

3 FTEReplication/backup

Usable Storage

Raw Storage4TB DisksRacks RequiredFloor SpaceOps StaffingExtra Software

1 PB

1.7 PB4321.7x1.7x.5 FTENone

Original1.20 PB Raw

Onsite mirror1.20 PB Raw

Remote copy1.20 PB Raw

567 TB Raw 567 TB Raw567 TB Raw

IBM Cloud Object Storage

RAID 6 und Spiegelung vs. IBM COS

7:12 IDA(InformationDispersalAlgorithm)

Expansion Factor & Kapazität

= Expansion Factor

= Expansion Factor

Width = 12Read Threshold = 7Expansion Factor = 1.71

Width = 32Read Threshold = 20Expansion Factor = 1.6

= Usable Capacity

= Usable Capacity

Raw Capacity = 1.71 PBExpansion Factor = 1.71Usable Capacity = 1 PB

X- (Y) -Z Information Dispersal Algorithm (IDA): flexible Wahl der Slice-Anzahl

X = Read Threshold = Anzahl benötigter Slices, um die „get“ Instruktion des Objekts durchzuführenY = Write Threshold = Anzahl geschriebener Slices, um „put“ Instruktion zur Applikation als erledigt zu meldenZ = Width = Anzahl aller Slices, die auf SliceStor Nodes geschrieben werden (Redundanz-Faktor)

7:12 IDAWrite Threshold

must be between 8-12

20:32 IDAWrite Threshold

must be between 21-32

Raw Capacity = 1.6 PBExpansion Factor = 1.6Usable Capacity = 1 PB

IBM COS Building Blocks

DATA SOURCES

OROR 2Accessersmanagen Zugriffund Verteilung der Slices auf die Slicestors

ACCESSER® LAYER

DATA SOURCES DATA SOURCES

dsNet® Managerkonfiguriert und managed die Infrastruktur(Erweiterungen, Updates, Reporting)

1

OR OR

MANAGER®

SLICESTOR® LAYER

OR OR

3 Slicestorsspeichern die Daten (Slices)und managenVerfügbarkeit

Manager • Fehler Management• Reporting• Provisioning• Performance Monitoring• Storage Konfigurationen

Accesser®

• Provides S3/Swift Zugriff• Hashing • Verschlüsselung• Daten Slices• Erasure Coding• Verteilt Daten• Holt Daten

Slicestor®

• Storage für Slices• Single Site oder Multi-Site• Kapazität basierendes Pricing• Daten Integrity Management

ist unterstützt auf IBM zertifizierten Industrie Standard Plattformen

Software Defined &Hardware Aware

Planbare PerformanceSchnell in ProductionFreie Wahl der LaufwerkstechnologieSingle Pane Management von HW & SW

IBM COS Building Blocks

Zugriffsmethoden

DIREKTER API ZUGRIFF

Die Accesser Software verwendet drei REST APIs furs Schreiben und Lesen. Anwendungen, die diese API’s unterstützenkönnen direct IBM COS einsetzen.

Data

Site 1 Site 2 Site 3

S3 Compatible API Openstack Swift Compatible API

Simple Object API

Slicestor Software

Accesser Software

ZugriffsmethodenData

Site 1 Site 2 Site 3

S3 Compatible API Openstack Swift Compatible API

Simple Object API

PARTNER BASIEREND

Eine Vielzahl zertifizierter Technologiepartnerkönnen diesen flexiblen Support verwendenund IBM COS als zentrale Instanz nutzen.

Slicestor Software

Accesser Software

NAS (CIFS/NFS) Backup/Archive General Applications

DIREKTER API ZUGRIFF

Die Accesser Software verwendet drei REST APIs furs Schreiben und Lesen. Anwendungen, die diese API’s unterstützenkönnen direct IBM COS einsetzen.

Skalierbarkeit

Site 1 Site 2 Site 3

S3 Compatible API Openstack Swift Compatible API

Simple Object API

Slicestor Software

Accesser Software

Single N

amespace

Skalierbarkeit – Skaliertohne Einschränkungen in Leistung und/oder Kapatzitätzu jeder Zeit ohne“Downtime” der Operationen

Scanning und Rebuilding – Prozesse zum Datenschutz

IBM COS verwendet ein “distributed Rebuilder Modell• Rebuild Events werden auf die Slicestors verteilt.• Rebuilding wir noch effektiver wenn mehr Slicestors dem System zugefügt werden.• Planbarkeit – Rebuilder ist “immer eingeschaltet” (bei vertretbare IO Raten) und erlauben die

Vorhersehbarkeit der Gesamt- I/O –Leistung des Systems.

IBM Confidential

Entire Namespace wird konstant gescannt• Slice Integrity Check – Slicestors checken sich selber nach korrupten Slices.• Missing Slice Check – Slicestors prüfen sich gegenseitig, um sicher zu stellen, dass alle

Slices geschrieben wurden.• Werden korrupte oder fehlende Slices entdeckt, arbeiten alle Slicestors zusammen, den

Rebuild durchzuführen.Vorteile: Rebuild Performance verbessert sich, wenn die Kapazitätsteigt, um das System bei jederSkalierung verfügbar zu halten.

Disk Lifecycle Management (DLM)

• Failing Disk Migration• versucht preventiv Disk-Fehler zu entdecken, bevor sie auftreten• verlagert Slice Daten temporär auf andere Disks innerhalb eines Slicestors• kann die Rebuilder Workload um bis zu 70% reduzieren

• Schnelleres Recovery und Reduktion des Netzwerk-Traffics

• Alerting und Management durch IBM COS UI und APIs

• Externes Monitoring durch email, SMNP, Syslog und IBM COS APIs

Vorteile: Software defined & Hardware aware.

Zuverlässigkeit und Verfügbarkeit

IBM COS Systeme liefern bis über 10 9’s konstanter Verfügbarkeitund Zuverlässigkeit

0.0000000029% Datenverlust in einem gesamten Jahr

Das sind 34,633,083,744.1 Jahre “mean time to data loss”

Deployment Optionen – Traditionell “on Premise”

Single Site

Site B

Two Site

Geo Dispersed

Site A

Site B

Site C

Site ASehr effektiv für Kunden, die keine “Site”-

Spiegelung benötigen Traditionelle Spiegelung über zwei Lokationen

Beste Mischungvon Effektivität

und Verfügbarkeit

Viele IBM COS(Cleversafe)

Kunden habendas System überdrei oder mehr

Lokationenaufgesetzt

Initiale Deployment Optionen

On-premise Dedicated/Hybrid Public

• IBM COS basierendeProduktangebote mit S3 und Swift Zugriff administriert und managed durch den Endkunden

• Dedicated: IBM COS basierendeProduktangebote mit S3 und Swift Zugriffin IBM Softlayer Rechenzentrenadministriert und managed durch IBM.

• Hybrid: IBM COS basierendeProduktangebote mit S3 und Swift Zugriffin Kombination mit On-Premise und Softlayer Deployments managed durchden Endkunden und IBM SoftlayerRessourcen

• Standard: Swift basierendes “Shared” Angebot mit Swift Zugriff und Standard Object Price/SLA

• Nearline: IBM COS basierendes “Shared” Angebot mit Swift Zugriff und NearlinePrice/SLA

• Select: IBM COS basierendes “Shared” Angebot mit teilweisem S3 und Swift Zugriffund Standard Object Price/SLA

IBM Spectrum Familie

StorageManagement

Policy Automation

Analytics & Optimization

Snapshot & Replication

ManagementIntegration & API Services

Self ServiceStorage

Data B/R

Virtualized SANsVirtualized SANs Hyperscale BlockHyperscale Block Global AccessFile & Object

Global AccessFile & Object Protect-ArchiveProtect-Archive ObjectObject

TPC (Total Productivity Center), VSC (Virtual Storage Center) TSM (Tivoli Storage Manager)

GPFSXIVSVC (San Volume Controller)

als Hardwareals Software

IBM COS (Cleversafe)

als Cloud Service

als Hardwareals Softwareals Cloud Service

als Hardwareals Softwareals Cloud Service

als Hardwareals Softwareals Cloud Service

IBM Storage Awards und Auszeichnungen

| 26

IBM Tape Library 2014 - 2016

Market Leader

IBM Spectrum Scale 2015

Product of the Year Finalist:Storage System Software

IBM Spectrum Control Storage Insights

2015Product of the Year Finalist: Storage Management Tools

IBM Storwize, XIV, DS80002012 - 2015

Magic Quadrant Leader:General Purpose Arrays

IBM FlashSystem2014

#1 in Units & Capacity Shippedfor Solid-State Arrays

IBM FlashSystem2014 & 2015

Magic Quadrant Leader:Solid State Arrays

IBM Storwize V7000 withIBM Spectrum Virtualize

2015 Tech Innovator Award –Virtualization Category (Runner Up)

IBM FlashSystem2015-2016

Major Player: All-Flash Array Marketscape

IBM Spectrum Storage2014 & 2015

#1 Software Defined Storage*

IBM FlashSystem V90002015

Tech Innovator Award –Storage Category (Runner Up)

IBM Spectrum Protect2011 - 2016

Magic Quadrant Leader:Data Center Backup & Recovery Software

IBM2015

#1 Market ShareBig Data

IBM Cleversafe2016

Market Leader Scale-Out Object Storage

Software

IBM COS (Cleversafe)2016

#1 in Object Storage

IBM Spectrum Protect2011 - 2016 Magic Quadrant Leader

Data Center Backup & Recovery Software

IBM Spectrum Control2012 Magic Quadrant Leader:

Storage Resource Management and SAN Management Software

IBM Spectrum Storage2014 & 2015 #1 Software Defined Storage*

IBM Spectrum Scale2013 Best Storage Innovation

System X GPFS Storage Server

IBM Spectrum Archive2011 Engineering Emmy® Award

for Innovation

Fragen ?