Multimedia Systeme - gdv.informatik.uni-frankfurt.de · Multimedia Systeme Dr. The Anh Vuong Uni...

Preview:

Citation preview

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 1

Multimedia Systeme

Dr. The Anh Vuongemail: vuongtheanh@netscape.net

http: www.dr-vuong.de

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 2

Multimedia-Application

Theories

Devices

Networks

Programinglanguage,Databank,Workflow

Software

Applications

Authoringssofware, Contentmangement, Imagesprocessing, Viewer, Browser...

Network-Architecture, Network, Server, Bandwidth,Communication, Security...

Computertechnology, Digital Camera, DVD, Printer, Optical Systems...

Digital Signaltransmission, Audio and Video TechnicsDatacompression: Audio & Video

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 3

Digitale Signalverarbeitung� Signale und Systeme� Signalübertragung

� Digitalisierte Signal� Fourier Transformation� Abtast-Theoreme� Quantisierung

� Digitale Signalbearbeitung� Digitale Signalspeicherung

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 4

Signal und System - 1-� Nachrichten: Mitteilung einer oder mehrerer Informationen.

� Information: neues Wissen über ein Ereignis, einen Tatbestand oder Sachverhalt.

� Informationen Formen: Töne, Bilder, Text, Daten...

� Signal: physikalische Grösse, die den Inhalt einer Nachricht repräsentiert.

Signale sind im erweiterten Sinn Funktionen, die die zeitliche Veränderung einer physikalische Variable eines physikalischen Prozesses beschreiben.

Signal wird durch eine Zeitfunktion x(t) dargestellt

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 5

Signal und System - 2 -� System: komplexes Gebilde, das einen physikalischen Prozesse

aus vielen Eingangs- und Ausgangs - Signalen beschreibt. Deshalb teilt man es in viele Teilsysteme. Jedes Teilsystem besteht aus einem Eingang Signal x(t) , einem “Black Box” und einem Ausgang Signal y(t)

x (t) y (t) = H { x(t) }H

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 6

Zielsetzung der Signalverarbeitung

Physikalische Größe und Prozesse

Modellieren y(t) = H {x(t)}

Synthese y(t) = H’{x(t)}

Analyse: H(t) , H(f) …

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 7

Beispiel bei einer Audio-Signalverarbeitung

Modellieren y(t) = H{x(t)}

Synthese y(t) =H’{x(t)}

Analyse: H(t) , H(f) …

Amplitude, Schwingung,

Frequenzband,...

Musik, Töne

Eletr. Klavier,

Synthesizer, ...

Musik von mech. Instruments

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 8

Signal Typen

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 9

Signal-Digitalisierung - 1. Abtastung -

� Abtasten des analogen Signals

Zeitdauer T

und )( wobei},)({

A =

∈ RnTxnTx AAX (t)

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 10

Signal-Digitalisierung - 2. Quantisierung-

Quantisierung der abgetasteten Signalwerte

{ }

{ } { } { }

1,...,1,0,xmit )(

von xErsatzwertder ist x

ngstufeQuantiseruder Anzahl Die Q

1,...,1,0,x )(

q

nq

q

−=∈⇒

=

−=∈⇒

QqxxnTx

QqxnTx

nnA

nA

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 11

Signal-Digitalisierung - 3. Codierung-

� Die Folge der binäre Zeichen

( )

{ } { }

nnkt der Zeitpu bei

,(q) Zeichen )(mit w )(w x

folgt daraus

qzeichen

:regelCodierungs

qqn binärenn

binärewx qq

==>

=⇒

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 12

Signal-Digitalisierung - 3. Codierung -

� Beispiel

1117X7G7 < X[nT] < g8

1106X6G6 < X[nT] < g7

1015X5G5 < X[nT] < g6

1004X4G4 < X[nT] < g5

0113X3G4 < X[nT] < g4

0102X2G3 < X[nT] < g3

0011X1G1 < X[nT] < g2

0000X0G0 < X[nT] < g1

Zuübertragende binäre Code

Zahl qErsatzwerte xq

Originalwerte

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 13

Digitale Signalübertragung

ADC Coder

Kanal

DecoderDAC

err[n]Error

y[n] C[n]

C‘ [n]y‘ [n]

Ideale Kanalerr[n]=0

x(t)

x‘ (t)

SENDER

EMPFÄNGER

Abtaster

(Scanner)

Filter

x(nT)

x‘(nT)

Notes:y[n], c[n], y‘ [n], c[n] number or binary series

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 14

Fourier Transformation

e )x( X(f) ))((-

ft2-

∫∞

∞== dttxF

πτX(t)

X (t) : Originale Signal

F(x(t)) = X(f) : Das Fourier Spektralsignal

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 15

Dirac Stoß

0 wenn t, 0 (t)

folgt es

istlich kontinuier

f(t) wenn 0 tbei )0()().(

erfüllt Bedingung folgende die die

(t),ion Deltafunkt dieist Stoß- DiracDer

≠=

==∫∞

∞−

δ

δ

δ

fdtttf

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 16

Normierte Dirac Stoß

==

=∫∞

∞−

0;1).(

0;0

)(tdtt

t

δ

1 X(f) (t) )(

:Stoß- Dirac destion TransformaFourier Die

== δtx

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 17

Faltungsintegral

h(t) x(t) (t)y

)x( . )-h(t )(-

∗=

= ∫∞

∞τττ dty

x (t) y (t) = H { x(t) }H

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 18

Fourier Transformation &Faltungsintegral

H(f) . X(f) Y(f)

h(t) x(t) (t)y

=

∗=

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 19

Übertragungsfunktion

{ }

ngsfunkion Übertragudie H(f)

Stoßanwort : (t)h

H(f) H(f) X(f). Y(f) h(t)*x(t) y(t)

1 (t)F X(f) x(t)

weilh(t), )(dann (t) x(t)

====>=

====>

==

δ

δ tywenn

x (t) y (t) = H { x(t) }H

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 20

Fourier Transformation der Sha Funktion

−∞=

−∞=

−=

−=

n

n

nf

nt

)( III(f) (t) III

Funktion-Sha eineist )( (t) III

δ

δ

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 21

Abtaster

System für Abtasten von Signalen

x(t) y(t)

III(t)

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 22

Spektrum des abgetasteten Signals

X(f) Y(f) = X(f) . III (Tf)

fg- fg fg- fg fA-fA

fg : Grenzfrequenz von x(t)

fA : Abtastfrequenz, fA = 1/ T

Ideale TP

... ...

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 23

Quantisierungskennlinie

Xq

g0 g1 g2 g3 g4 x(nTA)

X3

X2

X1

X0Q = 4, Xmin = g0, Xmax = g4

{ }

{ }dexder Zeitinist n

,1,...,1,0,x][mit ][ x[n] )(

:folgt Es .Parameter ein r,Abtastdaue

von xErsatzwertder ist x

ngstufeQuantiseruder Anzahl Die Q

1,...,1,0,x )(

),( von Interwall Teil die sind )g,(

)g,()(

wobeit,zugeordene t Ersatztwereinen

),( )( Abtastwert jedem wirdungQuantisierder Bei

q

nq

q

maxminq1

q1

maxmin

−=∈=>⇒

=

=

−=∈⇒

→∈

QqnxnxnTx

T

QqxnTx

xxg

xgnTx

x

xxnTx

qqA

A

nA

q

qqA

q

A

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 24

Bewertung der Quantisierung- Quality Measurement-

Q Q-1Ideal Chanel

SENDER RECEIVER

x[n] x´[n] = Xq[n]

Quantisierungssystem

xq [n]

Quantisierungsfehler

e[n] = x[n] –x´[n]

e [n] = x[n] –xq[n] weil xq[n]=x‘[n]

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 25

Quantisierungsrauschen� Quantisierung ist ein irreversibeler Prozess� Nach der Quantisierung gibt es eine Differenz zwischen der

zuquantisierende Wert x[n] und der quantisierte Wert xq[n]. Das ist die Quantisierungsfehler

e[n] = x[n] – xq[n]

� Wenn x[n] aus Audio – oder Video-Signal hergeleitet wurden, dann x[n] einem stochastischer Prozess gehört (x[n] ist quasi eine Zufallfolge]).

� Die Folge e[n] wird deshalb die Quantisierungsrausch genannt.

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 26

Qualitätsmaßgröße – 1-� Quadratische Schar-Mittelwert von e[n] (Mean Square Error MSE)

� RMSE Root Mean Square Error (Effektive Wert der Fehler)

21

0

1

0

2 ))(')((1

)(1

∑∑−

=

=

−===N

n

N

nms

nxnxN

neN

MSEE

MSEERMSEE msrms ===

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 27

Qualitätsmaßgröße – 2-� Signal Rausche Verhältnis (SNR: Signal to Noise)

� PSNR (Peek Signal to noise)

Bei B= 8bit , max [X(n) ] = 255

( ) ms

N

n

N

n

N

n

E

nxN

nxnxN

nxN

SNR

∑−

=

=

= =

=

1

0

2

0

2

1

0

2 )('1

log10

)(')(1

)('1

log10

[ ]

( )

[ ]

ms

N

n

E

nx

nxnxN

nxPSNR

2

1

0

2

2 ))('(maxlog10

)(')(1

))('(max log10 =

=

∑−

=

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 28

Quantisierungskennlinie- Lineare Quantisierung -

g0 g1 g2 g3 g4 x(nTA)

Xq

X3

X2

X1

X0Q = 4, Xmin = g0, Xmax = g4

Bitzahl dieist Q ld b

ungsstufeQuantisier dieist h , /)(

)2/).(1( x

.x

)g,()(

:ungQuantisier Lineare

minmax

min

min

q1

=

−=

++=

+=

→∈ −

Qxxh

hqx

hqg

xgnTx

q

q

qqA

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 29

Rundungsfehler bei der Linaren Quantisierer

h/2

e[n]

xgn gn+1 = gn+ hXq

Xq: Ersatzwert

gq, gq+1 : Grenzwert

e [n] : Quantisierungsfehler

h : Quantisierungsstufe

12

8*

3

1*

22][

2

2

32/

0

22/

0

2

hEMS

h

hdxx

hdxne

hEMS

hh

=

=== ∫∫

( )

( )

[dB] 76,102,6*

)2/3log(*102log*10*2*)2/3*2log(10

2*

3*)2(log10

12

)22

(log10

)(')(1

)('1

log10

2

2

2

2

2

1

0

2

1

0

2

+=

+==

==

=

∑−

=

=

bSNR

bSNR

h

h

h

Q

nxnxN

nxN

SNR

b

b

N

n

N

n

Wird die Bitzahl b um 1 erhöht, dann verbessert sich das SNR um 6 dB.

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 30

Quellen Codierung- PCM: Pulse Code Modulation -

PCM Codec: Wq[n] sind binäre Zahlen mit festen Wortlänge

Abtaster

x‘ (t)

HTP(f) = rect (f/2fmax)

Ideale Tiefpass

x(t)

III (t )

QBinäre Coder(Code-Tabelle)

x[n]

Ideeller Kanal

Binäre Decoder(Code-Tabelle)

SENDER

EMPFÄNGER

ADC: Analog Digital Converter

DAC: Digital Analog Converter

Linearer Quantisierer

x‘[n]

err[n]=0

xq[n]

wq[n]

wq[n]

Q-1

xq[n]

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 31

Image signals RGB

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 32

Quantization- Bit number -

Original 1 bit / pel 2 bit / pel 4 bit /pel

256 Graylevel /pel 2 Graylevel /pel 4 Graylevel /pel 16 Graylevel /pel

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 33

Digitalizing- Block Spliting of images -

Original Block 8*8 Block 4*4 Block 2*2128*192 pels 16*24 pels 32*48 pels 64*96 pels

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 34

Daten Volumen

1.1 Gbit /s66 MHz30 Hz1920x 1152HDTV

166 Mbit/s10 MHz25 Hz720 x 576Digitale TV

18 Mbit/s1,5 MHz15 Hz352 x 288Bildtelephon

M*N*3

z.B. 768 Kbyte bei 512*512

--M*N

z.B. 512 x 512

RGB Standbild

Datenvolumen / Bitrate

Bandbreite [Hz]Bildfrequenz [Hz]Bildformat [pixel]Typ

1,4 Mbit /s44 Hz20 KHz (ca.)16 x 2CD-Musik

64 Kbit /s8 KHz4 KHz8Telephon

Datenvolumen / BitrateAbtastfrequenz [Hz]Bandbreite [Hz]Bit / Abtastwert [bit]Typ

Multimedia SystemeDr. The Anh Vuong

Uni Frankfurt – Informatik

Updated: 24.08.2006

© 2001-2006 by Dr. The Anh Vuong,Bielefeld, Germany

Seite 35

Datenrate typischer Netz

Nein155 Mbit/sATM

Ja100 Mbit/sFDDI

Ja10-100Mbit/sEthenet

Ja1-6Mbit/sDSL

Nein2 x 64 Kbit /sISDN

Nein56 kbit/sAnaloges Telephonnetz

MehrfachnutzungMax. Datenrate [bit/s]Netz

Recommended