Big, Fast, Furious

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. |

Big, Fast, Furious

Marcel Amende, Michael Bräuer Systemberatung Oracle Deutschland B.V. & Co KG


Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

3


Agenda

1

2

3

4

5

Ausgangslage

Fast Data a.k.a. Oracle Event Processing

Einsatzszenarien

Funktionsweise

Fast Data in Kombination mit Big Data

Oracle Confidential – Internal/Restricted/Highly Restricted 4


Ausgangslage: IT für die umfassende Datenanalyse

5

In-Memory & NoSQL

„Auswerten & Bereitstellen“

„Reagieren“

Big Data

„Verwalten, Filtern, Sortieren & immer wieder neu Interpretieren“

Data Warehouse & Analytics

„Analysieren“

„Sammeln“

Batch


Gartners Definition: Three V‘s of Big Data* Ein „V“ ist nur sehr eingeschränkt gültig...

Volume Variety Velocity ? Value**

**nowadays added by sales people ;-) *by Gartner


Big Data Velocity Schnell genug für zeitkritische Entscheidungen...?

• Big Data ist, als würde man Daten mit einem LKW transportieren:

– Er muss voll beladen sein.

– Er muss in das Rechnzentrum fahren.

– Er muss vor der Verarbeitung ausgeladen werden.

7

Geschäftsereignis Daten erfasst

Analyse

abgeschlossen

Aktion

ausgeführt


Komplettierung: IT für die umfassende Datenanalyse

9

„Agieren“

In-Memory & NoSQL


„Reagieren“

Big Data



„Analysieren“

„Sammeln“

Batch

„Echtzeit-Analyse“

Fast Data a.k.a.

Complex Event Processing


Was ist (Oracle) Event Processing (OEP)?

10

„Complex Event Processing ist ein Konzept zur Analyse und Verarbeitung von hochvolumigen Datenströmen.

Ereignisse werden miteinander korreliert, um Muster zu erkennen und Aktionen in Echtzeit oder mit vorhersagbarer Antwortzeit auszulösen.“


Top Einsatzszenarien Echtzeitanalyse hochvolumiger Datenströme


• Finanzdienstleister: Aktien- und Devisenhandel, Erkennen von Betrugsversuchen: Geldwäsche, Kreditkartenbetrug u.v.a.m.

• Telekommunikation: Netzwerk-, Verbindungsdaten- und Nutzungsanalyse, lokationsabhängige Dienste, proaktive Werbung, ...

• Öffentlicher Dienst (Polizei/Feuerwehr/Militär/Dienste): Einsatzplanung und Überwachung, Gefährdungsanalyse

• Logistik: Überwachung der Lieferkette, Fehllieferung- und Diebstahlvermeidung


Beispiel der Leistungsfähigkeit Was bedeutet „hochvolumig“?

• Millionen Ereignisse/s bei Microsekunden-Latenz

• Kunde NTT (http:// www.oracle.com/us/corporate/press/2111467):

– 1.4 Mio. Ereignisse/s bei Erkennung von Netzwerkfehlern

– 105.000 Ereignisse/s Netzwerküberwachung & Verwaltung (z.B. Roaming)

• 1x12-Core x86 Node mit 2 Instanzen:



Oracle Event Processing Ereignisverarbeitendes Netzwerk

• besteht aus Adaptern, Streams, Prozessoren und Event Beans

• Streams halten eine (zeitliche) Abfolge von Events

• SQL- und NoSQL Datenbanken, (verteilte) Caches und HDFS Filesysteme können Datenquellen und Senken sein



Oracle Event Processing Prozessoren: Continuous Query Language

• Abfragesprache für das Complex Event Processing: Continuous Query Language (CQL)

• Kombination von SQL und Regulären Ausdrücken

• auf Streams angewendet, kann die zeitliche Abfolge von Ereignissen einbezogen werden.

• Auch Spatial Queries möglich



Complex Event Processing CQL Beispiele

<query id="BatchQuery"> <![CDATA[ select * from RestInboundChannel [range 30 seconds slide 30 seconds] ]]> </query> <query id="AccelerationAlertQuery" active="false">

<![CDATA[ select '*** ACCELERATION ALERT ***: '||accRes||'g for '||sscc||' at '||locLongitude||'/'||locLatitude as message from RestInboundChannel [now] where accRes >= 2.5 ]]> </query>



Fast Data filtert Daten (Redundanzen) vor Ablage als Big Data Block Fast Data Abfragen beziehen Big Data Analyseergebnisse ein

Fast Data CQL

Wie spielen Fast Data und Big Data zusammen?

17

Fast Data CQL

Big Data

HDFS ungefilterte Datenströme

Blocks

Big Data

HDFS

relevante Geschäftsereignisse

ungefilterte Datenströme

vorgefilterte Analyse- Rohdaten


Kombiniertes Anwendungsbeispiel Big Data Analyse führt zu Fast Data Konfiguration


Warnung vor potenziellem Transportdefekt

Paketbewegungen (Beschleunigung)

CQL Konfiguration

Big Data

Einspeisen aller Sensor-Events

Muster für Transportschäden?

Wo? Welche Beschleunigung?

Analytics

(MapReduce)

Datenanalyse

Fast Data

Echtzeitanalyse


Kombiniertes Anwendungsbeispiel Demo Setup


Warnung vor potenziellem Transportdefekt

Bewegungen Mobiltelefon

(Beschleunigung)

CQL Konfiguration

Big Data

Einspeisen aller Sensor-Events

Muster für Transportschäden?

Wo? Welche Beschleunigung?

Datenanalyse

Fast Data

Echtzeitanalyse


Oracle Event Processing Ereignisverarbeitendes Netzwerk



Apache Hadoop HDFS und MapReduce


Quelle: http://hadoop.apache.org/docs/r2.5.1/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html

Split Map Shuffle/Sort Reduce (K1,V1) (K2,V2) (K2,V2) (K3,V3)

Record

Record

Record

Record

Record

Record

Record

Record

Record

Record

Record

Record


Apache Hadoop HDFS und MapReduce


Split Map Shuffle/Sort Reduce (K1,V1) (K2,V2) (K2,V2) (K3,V3)

Record

Record

Record

Record

Record

Record

Record

Record

Record

Record

Record


IT für die umfassende Datenanalyse

23

„Agieren“

In-Memory & NoSQL


„Reagieren“

Big Data



„Analysieren“

„Sammeln“

Batch

„Echtzeit-Analyse“

Fast Data a.k.a.

Complex Event Processing


LKW Frachtüberwachung Embedded Use case


Raspberry Pi

Java ME Embedded für Kleinstgeräte ab 130KB: Sensoren,

Industriesteuerungen, Netzwerkgeräte, ...

Java SE Embedded für mittlere und hochklassige

Embedded-Systeme ab 32MB Hauptspeicher

Zugang zu Anschlüssen & Netzwerkkommunikation

HTTP & REST

Relationale Java DB

Event Processing

Analoge & digitale Ein- & Ausgänge

LAN USB Netzwerk & Peripherie

HDMI Monitor

Audioausgang

Linux Betriebssystem

Temperatur, Luftfeuchte, Türkontakt, GPS, ...

WLAN, Mobilfunknetz, LAN, USB, ...

Displays, Signale, ...

Copyright © 2014 Oracle and/or its affiliates. All rights reserved. | Oracle Confidential – Internal/Restricted/Highly Restricted 26

Documents

Big, Fast, Furious