Oracle Database In-Memory - doag.org · Parameter deaktivieren •Wichtige In-Memory Parameter:...

Oracle Database In-Memory

Markus Kißling Product Manager for Database In-Memory DOAG Datenbank 2017

Die richtigen Werkzeuge DOAG Datenbank 2017

Safe Harbor Statement

The following is intended to outline our general product direction. It is intended for information purposes only, and may not be incorporated into any contract. It is not a commitment to deliver any material, code, or functionality, and should not be relied upon in making purchasing decisions. The development, release, and timing of any features or functionality described for Oracle’s products remains at the sole discretion of Oracle.

Agenda

Oracle Database In-Memory im Überblick

AWR-Report

Der Klassiker: SQL*Plus

Oracle SQL Developer

Advisors

EM Cloud Control

SQL Monitor

Weitere Informationen

Column

Klassischer Zeilenansatz vs. spaltenorientierter Speicherung

• OLTP läuft am Besten mit Zeilen-Format – Operationen auf wenigen Zeilen, vielen Spalten – Beispiel: Insert, Update oder Abfragen auf Tabellen

• DWH Abfragen laufen am Schnellsten Spalten-Format – Operationen auf wenige Spalten, viele Zeilen – Beispiel: Auswertung Summe aller Verkäufe pro Region

Bisher gab es nur die Entweder-Oder-Entscheidung

• Beides - Row und Column In-Memory Formate - für die gleiche Tabelle

• Real Time Analysen nutzen das neue Column Format

• OLTP Applikationen nutzen das Row Format

• Erhalt der Transaktionskonsistenz

Memory Memory

SALES SALES

Row Format

Column Format

Das duale Format in der Datenbank

In-Memory Columnar Technologie

Storage Indexes Compression

Scan & Filtern auf komprimierte Daten

Zugriff nur auf benötigte Spalten

Columnar Format SIMD Vector Processing

Mehrere Spaltenwerte mit einer einzigen CPU- Instruktion verarbeiten

Load multiple region values

Vector Compare all values an 1 cycle

CPU CA

Min 1 Max 3

Min 4 Max 7

Min 8 Max 12

Überspringen der nicht benötigten Daten einer

Spalte

Was sind analytische Abfragen?

Welche Produkte liefern uns die

höchste Gewinnspanne

(Marge)?

Wer sind die Top 10 Vertriebsmitarbeiter in der Region Süd in

diesem Monat?

Wenn ich einen Rabatt von 20 % auf

Teil XY bekomme, wie wirkt sich dies auf die Gewinnspanne aus?

Analytische Abfragen profitieren durch den Zugriff auf den IM Column Store

• Memory-Bandbreite nutzen

• Scan und Filter auf benötigten Spalten

• Vektor-Instruktionen

Database In-Memory: Real-time Analytics Analytische Abfragen beschleunigen

Data Scans

r CPU CA

In-Memory Aggregation

• In-Memory Report Outline wird beim ersten Scan der kleinen Tabellen erzeugt •Report wird beim Scan der großen

Tabelle befüllt

•Star Joins werden in Spalten Scans konvertiert, Faktor 10X schneller •Große Tabelle wird mit

passenden Werten der kleinen Tabelle direkt verglichen

HASH JOIN

Table A Table B

SALES ST

• Star-Schema und vorberechnete KPIs

- Verbessert die Performance von Dash-Boards

• Alle Bereiche oder ein Subset des Foundation Layers

- Bei zeitintensiven analytischen Abfragen in der dritten Normalform

• Staging/ETL/Temp sind keine Kandidaten

- Einmal Schreiben, einmal lesen

In-Memory – Der größte Nutzen

In-Memory Column Store

Reporting OLTP System

• Ermöglicht Real-Time Reporting direkt auf OLTP Daten

• Beschleunigt Mixed Workload

• Kann einen separaten ODS überflüssig machen

• Datenextraktionsteil beim ETL Prozess beschleunigen

In-Memory Column Store

Reporting

Data Warehouse

Foundation Layer Staging Layer Performance Layer

STAR SCHEMA

Pre-Cal KPIs

3rd Normal Form

Oracle Database In-Memory Weniger geeignet bei…

• Network Round Trips, Logon/Logoff

• Parsing, PL/SQL, komplexen Funktionen

• Datenverarbeitung (im Gegensatz zu Datenzugriff) – Inserts, Updates oder Deletes

– Komplexe Joins oder Aggregationen, ohne vorher Daten vor der Verarbeitung herauszufiltern

• Laden und einmal selektieren – Staging Tabellen, ETL, Temp Tabellen

Die Engpässe kennen!

Oracle Database In-Memory Darauf achten…

• Zeilenweise Verarbeitung vermeiden – Stattdessen Datasets in der Datenbank verarbeiten

• Den Optimizer unterstützen – Representative Statistiken mit DBMS_STATS sammeln

• Parallelisierung nutzen

• In-Memory kann I/O Engpässe entlasten

• Aktuelle Database Proactive Bundle Patches einspielen

Vorbereitungen

• Database In-Memory benötigt 12.1.0.2 /12.2.0.1 EE

• Aktuellen Database Proactive Bundle Patch – Keine PSUs oder CPUs (SPUs)

– MOS Note: 1937782.1 als Einstieg

• Upgrades – Regressionen verhindern – Execution Pläne aufbewahren (SQL Plan Management)

– Optimizer Statistiken ebenfall aufbewahren

• 11g Baseline der 12c Umgebung gegenüberstellen – Erst dann Database In-Memory aktivieren

Oracle Database 12c

Oracle Confidential – Internal

• Größe des Column Stores wird über INMEMORY_SIZE Parameter gesteuert

• Enthalten in SGA_TARGET, deshalb groß genug dimensionieren

• PGA entsprechend einstellen, wichtig für Joins & Aggregationen

• Siehe MOS Note 1903683.1

• Evtl. vorhandene Underscore Parameter deaktivieren

• Wichtige In-Memory Parameter:

– INMEMORY_SIZE

– PARALLEL_DEGREE_POLICY AutoDOP einschalten, wird für RAC Umgebungen benötigt

• AWR ist hilfreich, um den Workload auf System-Ebene zu bestimmen

• AWR gibt Einblick in Setup der Datenbank

– Initialisierungsparameter

– Speicherallokierung

– Resourcennutzung

– Advisor Sektion beachten

• Standardmäßige AWR Retention von 7 Tagen ggf. erhöhen

Vorbereitungen

Performance Historie Init.ora Parameter Speicherallokierung Note: Speicher nicht von anderen benötigten Komponenten wegnehmen

Note: Mit Default Parameter beginnen!

Note: AWR hilft nicht bei unvorteilhaften SQL

Oracle Database 12c

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

Anwendungsbeispiel für Oracle Database In-Memory

• 100 User führen je 10 Abfragefolgen parallel aus ...

- Höchster Bestellwert

- Umsatz nach Kunde, Versandsart, Priorität - Summe Kundenumsätze, Monat, Rabatt, Menge

LINEORDER (Faktentabelle) 600.037.897 Rows ROW STORE COMPRESS BASIC 4.587.520 Blocks a’ 8KB LINEORDER Size 35 GB Column Store Size (query_low) 31,7278 GB Dimensionen: CUSTOMER 3.000.000 Rows / 0,26 GB (Platte)/ 0,2114 GB (IM) PART 1.400.000 Rows / 0,125 GB / 0,0286 GB SUPPLIER 200.000 Rows / 0,0625 GB / 0,0148 GB DATE_DIM 2.556 Rows / 0,0625 GB / 0,0011 GB

Ermitteln der Kandidaten für den IM Column Store

Vorgehen: Anwenderbefragung und AWR-Report

I_R_NOIM_NC_IND_IT10_VU100(S312)/mk_awrrpt_1_242_244.html

Kandidaten für den IM Column Store ermitteln

Ein Kandidat für den IM Column Store

Abfrageläufe erneut ausführen mit aktivem IM Column Store

Buffer Cache (BC) vs. Column Store (CS)

Elapsed Time und DB Time drastisch reduziert

Buffer Cache Column Store

I_R_NOIM_NC_IND_IT10_VU100(S312)/mk_awrrpt_1_242_244.html I_R_IM_VU100(S303)/mk_awrrpt_1_123_124.html

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

In-Memory Advisor Compression Advisor

Advisors für Database In-Memory

• Analysiert DB Workload über AWR & ASH Repositories

• Liefert Liste von Kandidaten, die vom IM Column Store am meisten profitieren

• Nutzbar ab Oracle 11.2.0.3 Umgebungen

• MOS Note 1965343.1 (neue Version 2.0)

• Tuning Pack erforderlich

• Speichergröße (In-Memory Area) einfach bestimmbar

• Nutzt DBMS_COMPRESSION

• Wendet MEMCOMPRESS auf Sample Set der Tabellendaten an (gilt für alle Komprimierungstypen)

• Geschätzter Compression Ratio wird zurückgegeben

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

Monitoring in EM Cloud Control 12c: In-Memory Central

Monitoring in EM Cloud Control 13c: In-Memory Central

Agenda

AWR-Report

Advisors

EM Cloud Control

SQL Monitor

Data Scans

Scannen & Filtern bei Abfragen

• Diese Abfrage liefert die Gesamtzahl der Bestellungen und der Bestellsumme der Waren, die über Luftfracht geliefert wurden.

SELECT

count(*),

SUM(l.lo_ordtotalprice)

FROM lineorder l

WHERE l.lo_shipmode = 'AIR';

Scannen & Filtern bei Abfragen: Traditioneller Datenzugriff

Größter Zeitanteil für Datenzugriff

Scannen & Filtern bei Abfragen: Mit Database In-Memory

Zeit für Scannen und

Filtern der Daten

HASH JOIN

Table A Table B

Abfrage mit Joins

• Abfrage des kompletten Umsatzes einer bestimmten Marke. Eingeschränkt auf eine bestimmte Kategorie und Region

SELECT p.p_brand1,

SUM(lo_revenue) rev

FROM lineorder l,

part p,

supplier s

WHERE l.lo_partkey = p.p_partkey

AND l.lo_suppkey = s.s_suppkey

AND p.p_category = 'MFGR#12'

AND s.s_region = 'AMERICA'

GROUP BY p.p_brand1

Abfrage mit Joins - Traditioneller Hash Join

Meiste Zeit für Joinen der Daten

Abfrage mit Joins – Hash Join mit Bloom Filtern

Meiste Zeit jetzt für Scannen &

Filtern der Daten

Aggregation

Abfrage mit Aggregation

• Abfrage des Gewinnes eines Jahres und einer Nation

SELECT d.d_year, c.c_nation, sum(lo_revenue - lo_supplycost)

FROM LINEORDER l, DATE_DIM d, PART p, SUPPLIER s, CUSTOMER c

WHERE l.lo_orderdate = d.d_datekey

AND l.lo_partkey = p.p_partkey

AND l.lo_suppkey = s.s_suppkey

AND l.lo_custkey = c.c_custkey

AND s.s_region = 'AMERICA'

AND c.c_region = 'AMERICA'

GROUP BY d.d_year, c.c_nation

ORDER BY d.d_year, c.c_nation;

Aggregation – Traditioneller Group By

Meiste Zeit beim Scannen und beim

Group By

Aggregation – Vector Group By with In-Memory

Group By nun innerhalb der Scans &

Filter Operation

Agenda

AWR-Report

Der Klassiker: SQL Plus

Advisors

EM Cloud Control

SQL Monitor

Join the Conversation

https://twitter.com/dbim_markus

https://blogs.oracle.com/in-memory/

White Papers (otn.com) • Oracle Database In-Memory White Paper • Oracle Database In-Memory Aggregation Paper • When to use Oracle Database In-Memory • Oracle Database In-Memory Advisor Videos • Oracle Database In-Memory YouTube Channel • oracle.com - Powering the Real-Time Enterprise - Industry Experts Share Perspectives oracle.com/us/corporate/events/dbim/index.html

• YouTube - Juan Loaiza: Software in Silicon Additional Questions • In-Memory blog: blogs.oracle.com/In-Memory • My email: markus.kissling@oracle.com

https://www.facebook.com/OracleDatabase

http://www.oracle.com/goto/dbim.html

Additional Resources

Oracle Database In-Memory - doag.org · Parameter deaktivieren •Wichtige In-Memory Parameter:...

Documents

Analyzing Adaptive Parameter Landscapes in Parameter ... · by analyzing adaptive parameter landscapes in PAMs for DE. First, we propose a concept of an adaptive parameter landscape,

DIGITAL MIXING CONSOLE Bedienungsanleitung• Wenn die Meldung „WARNING Low Battery” bei Einschalten dieses Gerätes angezeigt wird, wenden Sie sich bitte so schnell wie möglich

Parameter Optimization: Unconstrainedmocha-java.uccs.edu/ECE5570-NEW/ECE5570_CH3_12Feb17.pdf · ECE5570, Parameter Optimization: Unconstrained 3–3 Unconstrained Parameter Optimization!

Sich mit Einzelteilen vertraut machen Einschalten Hinweise ......Conocer las partes Encendido 1. Enchufe el cable de alimentación. 2. Pulse el botón de alimentación ( ) para encender

BETRIEBSANLEITUNG AVM Audio-Videomodulatoren … · Programmierung des Ausgangskanals AVM mit Hilfe des POWER-Schalters auf der Rückseite des Geräts einschalten. SET-Taste für

Switch on & Connect Einschalten & verbinden Encendido y ... · ... wie z. B. einem iPad,iPhone, Android-Telefon oder ... Comprobación del nivel de la batería Vérification du niveau

User Manual Installation Guide - Kingston Technology · 3- Drücke die Taste bzw. die Tasten, für die Du die Hintergrundbeleuchtung einschalten möchtest. 4- Wenn du fertig bist,

Parameter Estimation for 3-Parameter Pareto

S-type Separation System Parameter Listmaytau.ut.edu.vn/userfiles/files/Parameter List(1).pdf1 PARAMETER SETTING S-TYPE SEPARATION SYSTEM PARAMETER LIST 4 1810572-02 The following

Parameter estimation for 3-parameter generalized pareto distribution by ...hydrologie.org/hsj/400/hysj_40_02_0165.pdf · Parameter estimation for 3-parameter generalized pareto distribution

DOE & Robust Parameter DOE & Robust Parameter

REVISION IPRA – Mai 2012 M2TECH · Nach dem ersten Einschalten, dass zum Aktivieren des VAUGHAN notwendig ist, wird das Gerät das Strommanagement selbständig kontrollieren. Wenn

0iD Parameter

Always there to help you...EN Mute or resume sound. CS Ztlumení nebo obnovení hlasitosti. DA Slå lyden fra eller til. DE Stummschaltung aktivieren/deaktivieren. EL Σίγαση

View of device (cover open) Display Meaning Measures · Parameter name Parameter name Function Function Parameter values (Bold = factory setting) Unit Unit HINTS: 1) Parameter appears

Bul. 140G 140G-N - literature.rockwellautomation.com · Rot Rouge Rojo Device ON Dispositivo acceso ... CHIUSURA EINSCHALTEN FERMETURE CIERRE Circuit breaker closed, springs unloaded

S-Parameter Files, ADS Session List Plots, and Parameter

Schnellstartanleitung · 2019. 10. 2. · Tasters" Power Ein / Aus Drücken Sie den roten Schalter um den Gimbal einzuschalten. Der Action-1 ist nach dem Einschalten sofort einsatzbereit

Super Parameter Programmer - powerdeal.be · Super Parameter Programmer SPP-01 . Dear user: ... LED Load parameter Parameter Remark LED Rated Current Rated output current. LED Rated

Parameter Hub: a Rack-Scale Parameter Server for Distributed …arvind/papers/phub.pdf · Parameter Hub: a Rack-Scale Parameter Server for Distributed Deep Neural Network Training