Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
1. September 2017
2
Agenda10.00 – 10.30 Begrüßung & aktuelle Entwicklungen bei der QUNIS GmbH
10.30 – 11.15 Megatrend DigitalisierungIoT, Industrie 4.0, Mobilität, Produktindividualisierung & Prozessdigitalisierung –Auswirkungen auf Datenmanagementstrategien & die Unternehmensorganisation
Track I: Business Intelligence & Data Warehouse
Track II: Big Data & Advanced Analytics
11.30 – 12.00 BI Strategie EntwicklungVorgehen & Lessons Learned aus über 100 Beratungsprojekten
Big Data & Advanced Analytics AnwendungsfälleBeispiele für Analysen auf Basis strukturierter & unstrukturierter Daten
12.00 – 13.00 Mittagspause
13.00 – 13.30 Data Warehouse Automation Metadatengetriebene Data-Warehouse-Entwicklung mit der QUNIS Automation Engine (QAE)
Advanced Analytics in ActionBildanalyse & Sensordatenverarbeitung in Echtzeit
13.30 – 14.00 Praxisbeispiel (Kundenvortrag)Data Warehouse in der Cloud
Data Lake – Modernisierung von DatenarchitekturenArchitektur & relevante Technologien beim Aufbau
14.00 – 14.30 Microsoft Power BI – Self-Service für UnternehmenDatenmodellierung, Analyse & Reporting in der Cloud & On-Premises
Praxisbeispiel (Kundenvortrag)GAPTEQ FORMS in Action
14.30 – 15.00 Kaffeepause
15.00 – 15.30 Pyramid Analytics „BI Office“Eine moderne, webbasierte Unternehmensplattform für Business Intelligence
Erweiterte Analysen auf Data-Warehouse-DatenVorgehen & Best Practices zur erweiterten Informationsgewinnung
15.30 – 16.00 GAPTEQ FORMS – Update und Projektbeispiele
16.00 – 16.30 Forum – Fragen & Antworten
copyright by3
Typische Situation in UnternehmenÜbersicht aktueller Treiber für eine modernisierung der analytischen Datenarchitekturen
§ Historisch gewachsene Datenstrukturen erschweren den weiteren Ausbau von Datenmodellen und den Betrieb von bestehenden Applikationen.
§ Business Logiken sind an unterschiedlichen Stellen der Architektur realisiert
§ Unterschiedlichste Entwicklungsmethoden im Rahmen der Umsetzungen
§ Keine Dokumentation der Logiken und der Transformationen
§ Die etablierten Datenmodelle sind zu „starr“ und erlauben keine agile Weiterentwicklung.
§ Die Verarbeitung der gestiegenen Datenmengen (strukturiert) ist für die etablierten Data Warehouses nicht mehr performant zu verarbeiten.
§ Unterstützung von explorativen Analyseszenarien
§ Umsetzung von Big Data Use Cases
§ Polystrukturierte Daten werden analysiert
§ Streaming-Szenarien werden verstärkt umgesetzt
§ Zeitkritische Analysen auf Basis von unterschiedlichen Datenformaten
copyright by4
Welche Daten sind für analytischen Fragestellungen in Zukunft relevant?
0 5 10 15 20 25 30 35 40
Daten aus sozialen Medien, Rezensionen und Blogs
Transaktionale Geschäftsdaten (ERP Systeme, CRM, etc.)
Maschinengenerierte Daten (Sensoren, RFID, etc.)
Wetterdaten
Weblogdaten (eigene Website, Webshop, etc.)
Bilder, Sprache oder Videos
Prio 5 Prio 4 Prio3 Pro 2 Prio 1Quelle: QUNIS, Umfrage „Big Data & Advanced Analytics“, n = 69, Mehrfachnennungen möglich
Ergebnis der QUNIS Umfrage „Big Data & Advanced Analytics“
copyright by5
Was wir unter Big Data verstehenAbgrenzung von BI zu Big Data
§ Big Databezeichnet Methoden und Technologien für die hochskalier-bare Erfassung, Speicherung und Analyse polystrukturierter Daten
§ VolumeDatenmenge – immer größere Datenvolumina werden angesammelt – Größenordnungen von mehreren Petabytes sind keine Seltenheit mehr
§ VarietyDatenvielfalt – immer mehr Daten liegen in unstrukturierterund semistrukturierter Form vor – z. B. aus den sozialenNetzwerken
§ VelocityGeschwindigkeit – riesige Datenmengen müssen immer schneller ausgewertet werden, bis hin zur Echtzeit. Die Verarbeitungsgeschwindigkeit muss mit dem wachsenden Datenvolumen Schritt halten
Velocity
Variety
VolumeReal timeNear time
Batch
TransactionsSensorsFiles
StrukturiertUnstrukturiert
Polystrukturiert
copyright by6
Das Data Lake KonzeptÜberblick
§ Weltweite Unterstützung für BI, Big Data und Advanced Analytics Lösungen
§ Der zentrale Data Lake ist ein zentraler Hub für übergreifende Anforderungen an Daten – verbunden mit spezifischen / regionalen Lakes
§ Bereitstellung von harmonisierten und integrierten Daten-strukturen – basierend auf übergreifenden Anforderungen (Central Data Lake)
§ Datenspeicherung von strukturierten und poly-strukturierten Daten zur Unterstützung von allen analytischen Use Cases – bis hin zu Advanced Analytics Anwendungen (IoT, Industrie 4.0, etc.)
§ Datenbereitstellung für 3rd-Party Applikationen
§ Schnelle und effiziente Implementierung durch eine geeignete Organisation und innovativem Technologie Stack
§ Globale Verfügbarkeit (bei Bedarf) – auch durch die Nutzung von Cloud Services
copyright by7
Big Data & Advanced Analytics InitiativenDie Data Lake Architektur
CSV XLS Rel. DB
Dat
a La
ke
Poly-structured Data
DMCorporate
DM(3rd Party
App.)Big Data Serving
(Batch)
Big Data Processing(Batch)
Big Data Exploration
DMCorp.
Fron
t end
&3r
d Pa
rty A
pp.
DMSpec.
DMSpec.
Stage
DW Cleansing
DW Core (Standard Data Model)
DW Cleansing(Spec.)
DW Core (Spec.)
Structured Data
Big Data Streaming
ERP
XLS Rel. DB
Cube
XLS
XLS Rel. DB
Cube
XLS
ReportingDashboarding Analysis Advanced Analytics SearchPlanning 3rd Party
Application
CRM…IoT
PlatformMaschinen
(Industrie 4.0) … Internet…
Que
llen
copyright by8
Der Data LakeErklärung und Nutzen
§ Stage§ File orientierte Datenbank (inkl. Historische Daten – z. B. für analytische Zwecke zu einem späteren Zeitpunkt) § Strukturierte Daten werden in relationaler Struktur in einer relationalen DB / HIVE, etc. abgelegt
§ Data Warehouse§ Strukturierte Daten werden bei BI Anforderungen ein Data Warehouse weitergegeben (Stage, Cleansing, Core and DM)§ Das Core Datenmodel für unternehmensweite Anforderungen basierte auf einem Standard Data Model (SDM) § Individuelle Anforderungen sind ebenso im Data Warehouse realisierbar§ Basierend auf den Business Anforderungen, können Data Marts Inhalte aus dem spezifischen Datenmodell als auch aus dem SDM
enthalten§ Data Marts können hierbei auf OLAP oder relationale Technologien basieren.
§ Big Data Stack§ Der Big Data Stack kann auf dem SDM basieren oder für Big Data Use Cases mit individuellen Daten (auch polystrukturierten Daten)
erweitert werden
§ Metadaten§ Zentrales Metadaten-Management für die gesamte Umgebung
copyright by9
Agiles Datenmanagement & Self Service BI
copyright by10
Die richtige Datenmodellierung & Self Service BI (SSBI)Schnelle und flexible Reaktion auf neue Anforderungen
§ Bei der Verarbeitung von strukturierten Daten (Beispiel ERP, CRM, etc.) werden teilweise neue Modellierungstechniken (Data Vault, Schichtenarchitektur mit dimensionaler Modellierung) verwendet.
§ Data Vault bietet bei den gegebenen Anforderungen eine hohe Flexibilität bei Erweiterungen, eine vollständige Historisierung der Daten und erlaubt eine starke Parallelisierung der Datenladeprozesse.
§ Für den Bereich Self Service BI werden in Architekturen entsprechende “Sandboxes” für ausgewählte Power User etabliert
DM(SDM)
Core
Cleansing
Staging
DM(SDM)
DM(Indiv.
Sandbox)XLS
DM(SDM+Indiv.)
DM(SDM)
Standard Data Model (SDM) Ind. / local DM
Dat
a W
areh
ouse
/ D
ata
Lake
copyright by11
Working Place Data Scientist & Big Data Power UserAnalyse von unterschiedlichsten Daten
“A data scientist represents an evolution from the business or data analyst role. The formal training is similar, with a solid foundation typically in computer science and applications, modeling, statistics, analytics and math. Good data scientists will not just address business problems, they will pick the right problems that have the most value to the organization.”
Staging
StreamingProcessing
Data Storage
Serving
Dat
a La
ke
Data Scientist
Data Engineer Big Data
Big DataPower User
copyright by12
Zusammenfassung
§ “Klassische” Data Warehouses werden heute stark hin zu modernen Datenarchitekturen erweitert / umgebaut§ Umstellung auf eine „saubere“ Schichtenarchitekturen§ Erweiterungen um Self Service BI – nicht nur im Frontend§ Nutzung von „Big Data“ Technologien für BI Anforderungen§ Einsatz von neuen technologischen Möglichkeiten bei den relationalen Datenbanken (Beispiel: InMemory Processing)
§ Der Data Lake umfasst eine Data Warehouse und eine Big Data Architektur – die Kombination ist die Stärke
§ BI- und Big-Data-Technologien werden weiter zusammenwachsen
§ Moderne Datenarchitekturen erfordern eine adäquate Organisation
QUNIS GmbH Georg-Wiesböck-Ring 9
83115 Neubeuern
Phone: +49 8035 95790 0E-Mail: [email protected]
WWW.QUNIS.DE
Phone: +49 8035 95790 0
E-Mail: [email protected]
STEFFEN VIERKORNGeschäftsführer