ANALISI QUALITATIVA DI FENOMENI ALEATORI

Luigi Carassale Settembre 2011

Dottorato di ricerca in Ingegneria delle CostruzioniDipartimento di Ingegneria delle Costruzioni, dell’Ambiente e del Territorio

Università di Genova

Strumenti di analisi MPST – Independent Component Analysis

Equalizzazione (whitening)

Dato il vettore aleatorio x, trovare la trasformazione lineare z=Vx, tale che z sia un vettore bianco, cioè:

j k jkE z z

Una possibile scelta per V è fornita dalla PCA

1 2 1 2 Tz y x1 2 TV

• z è un vettore bianco

T T

1 2 1 2T T

E xzz VC V

II I

• la trasformazione V non è unica, infatti per ogni matrice ortogonale Urisulta:

T T T TE xz UVx zz UVC V U UIU I

La rotazione di un vettore bianco è un vettore bianco

Independent Component Analysis (ICA)

Supponiamo che le misure x siano originate dalla combinazione lineare di n sorgenti sj (j=1,…,n) statisticamente indipendenti

x As A matrice invertibile n × n (mixing matrix)

Problema: dato un insieme di misure di x, identificare A e le corrispondenti sorgenti s

Ambiguità: 1. Non possiamo determinare la varianza delle sorgenti perché un fattore di scala in sj può essere bilanciato scalando la j-ma colonna di A. L’ambiguità è rimossa assumendo E*sj

2]=12. Non può essere determinato l’ordine delle sj, ma s

è identificato a meno di una permutazione.

Se x ha media nulla, allora s ha media nulla

1E Es A x 0

Se x non ha madia nulla, eseguiamo il centraggio

Ex x x

Independent Component Analysis (ICA)

Esempio n = 2

1se 3

2 3 1,20 altrimenti

j

j

s j

sp s j

2

0

1

j

j

E s

E s

s1, s2 statisticamente indipendenti

x As5 10

10 2A

Independent Component Analysis (ICA)

Esempio n = 2

-3 -2 -1 0 1 2 3

-2

-1

0

1

2

3

s1

s2

Sorgenti

Independent Component Analysis (ICA)

Esempio n = 2

-30 -20 -10 0 10 20 30

-20

-15

-10

-5

0

5

10

15

20

x1

x2

Misure

x As Dato x, stimare A e s

xC I 0

Independent Component Analysis (ICA)

Esempio n = 2

-30 -20 -10 0 10 20 30-25

-20

-15

-10

-5

0

5

10

15

20

25

y1

y2

Componenti principali

Le sj sono statisticamente indipendenti, quindi sono anche non correlate. Allora cerchiamo di identificare le sj mediante la PCA

T TEy x yy

-3 -2 -1 0 1 2 3

-2

-1

0

1

2

3

z1

z2

Le sj hanno varianza unitaria. Equalizziamo le componenti principali

1 2 1 2 T

TE

z y x

z Vx zz I

Independent Component Analysis (ICA)

Esempio n = 2

Componenti principali equalizzate

• z non identifica s, ma una sua copia ruotata (tutti i vettori bianchi sono legati da una rotazione)• se x fosse gaussiano, le zj

sarebbero indipendenti, ma il problema sarebbe indeterminato perché anche ogni rotazione di zavrebbe componenti indipendenti

Independent Component Analysis (ICA)

Esempio n = 2

z Vx

VAs

As

è una matrice ortogonale

T T T TE Ezz A ss A AA

I

A

Se x è nongaussiano, identifichiamo e quindi A imponendo la condizione di indipendenza statistica sulle sj.

A

ICA mediante massimizzazione della nongaussianità

x As

Se conoscessimo A, potremmo stimare s attraverso

1s Bx B A

Le sj sono quindi combinazioni lineari del tipo

Ty b x

dove b è un vettore incognito (una riga di B)

T Ty b As q s

Se b fosse una riga di B, allora y sarebbe una componente indipendente (sj) e q sarebbe un vettore del tipo q=*0 … 1 … 0+T

ICA mediante massimizzazione della nongaussianità

T Ty b x q s

Immaginiamo di variare il vettore q e studiare la pdf di y. Per il teorema del limite centrale, la combinazione lineare di più IC è “più gaussiana” delle IC stesse. Quindi la massima nongaussianità si trova quando q è del tipo q=*0 … 1 … 0+T. In pratica non conosciamo s (e quindi non possiamo stimare q), ma visto che y=bTx=qTs, possimo operare in modo analogo variando b. Le IC sono trovate massimizzando la nongaussianità di y=bTxrispetto a b.

Supponiamo che tutte le sj abbiano identica distribuzione (in realtà non è necessario)

• Come può essere misurata la nongaussianità di bTx?• Come possono essere calcolati i valori di b che la massimizzano?

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|

Ty q s è una IC se q è del tipo *0…1…0+T

2 22 2

1 12 2

1

1 1j

n n

j j jj j

y s

y q s q q

Se y deve essere una IC, allora deve avere varianza unitaria.

44 4

1

n

j jj

y q s

Dobbiamo massimizzare |4[y]| con il vincolo ||q||=1

-1.5

-1

-0.5

0

0.5

1

1.5-1.5

-1

-0.5

0

0.5

1

1.5

0

5

10

15

q2

q1

4[y

]

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|

44 4

1

n

j jj

y q s

Quattro punti di massimo relativo

01,

0 1q

Il massimo di |4| fornisce le IC

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|

44 4

1

n

j jj

y q s

In pratica non conosciamo s, ma x, quindi si procede come segue:

1. Si equalizza x: z=Vx2. si massimizza |4[wTz]| rispetto a w

Il vincolo ||q||=1 risulta: T Ty q s w VA sz2 T 2Tq w VA VA w w

A

La massimizzazione di |4[wTz]| è effettuata sulla sfera di raggio unitario

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|: esempio n = 2

cos

sinw

0 50 100 150 2000.5

0.6

0.7

0.8

0.9

1

1.1

1.2

1.3

(°)

|4[y

]|

w1 w2

Tj j jy sw z

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|: esempio n = 2T

j j jy s w z

-3 -2 -1 0 1 2 3

-2

-1

0

1

2

3

z1

z2

s1

s2

-3 -2 -1 0 1 2 3

-2

-1

0

1

2

3

s1

s2

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|: esempio n = 2T

j j jy s w z

1A V W

1 nw w

10.01 4.94ˆ

1.96 10.02A

10 5

2 10A

ICA mediante massimizzazione della nongaussianità

Massimizzazione di |4|: esempio n = 2

Limiti di |4| come misura di nongaussianità

• |4| non è simmetrico (distribuzioni supergaussiane e subgaussiane

sono pesate diversamente• |4| non da informazioni sulla simmetria della distribuzione• |4| è molto sensibile agli outliers

ICA mediante massimizzazione della nongaussianità

Negentropia

Si definisce negentropia la grandezza:

gJ x H x H x

dove xg è una v.a. gaussiana con media e varianza pari a x

1log 2 log

2gH x

• J è non negativa ed è nulla per v.a. gaussiane.• J può essere utilizzata come misura di nongaussianità.

0 20 40 60 80 100 120 140 160 1800.5

0.6

0.7

0.8

0.9

1

1.1

1.2

1.3

|4[y

]|

0 20 40 60 80 100 120 140 160 1800

0.01

0.02

0.03

0.04

0.05

0.06

0.07

0.08

(°)

J[y

]

ICA mediante massimizzazione della nongaussianità

Massimizzazione della negentropia

In questo esempio, la massimizzazione della negentropia fornisce le stesse IC della massimizzazione di |4|

ICA mediante massimizzazione della verosomiglianza

Funzione di verosomiglianza

Sinano x(1), …, x(T) realizzazioni della v.a. x, raccolte nel vettore xT

La pdf di x è fornita da un modello dipendente da n parametri 1, …, n

raccolti nel vettore

pdf di x, in funzione dei parametri

Se le realizzazioni di xj sono statisticamente indipendenti e identicamente distribuiti, allora il vettore dei parametri può essere stimato massimizzando la funzione di verosomiglianza :

1

|T

xj

L p x jθ θ

Spesso conviene massimizzare il logaritmo di L

1

log log |T

j

L p x jθ θ

ICA mediante massimizzazione della verosomiglianza

Esempio distribuzione gaussiana

2 22 22

1

1, 2 exp

2

TT

j

L x j

1

222

1

1ˆ0

1ˆˆ0

T

j

T

j

Lx j

T

Lx j

T

2 3 4 5 6 7 8 9 10-2.75

-2.7

-2.65

-2.6

-2.55

-2.5

-2.45

-2.4

-2.35x 10

4

log(L

())

ICA mediante massimizzazione della verosomiglianza

Esempio distribuzione esponenziale

1 1expxp x x

Simulati 10000 campioni di x con = 4

ˆ

ICA mediante massimizzazione della verosomiglianza

Stima delle IC

T

1 1

log log detj

T n

s jt j

L p t TB b x B

x As

1

det detj

n

s jj

p p p sx sx B s B 1B A

T

1 1

detj

T n

s jt j

L p tB b x B

Se si conoscono le pdf delle IC, la matrice B può essere stimata massimizzando le funzioni

Se le pdf delle IC sono incognite, allora è necessario stimarle in modo parametrico (si adottano modelli di pdf dipendenti da parametri incogniti)

ICA - minimizzazione dell’Informazione Mutua

Informazione mutua

log dy yH y p p

log dH p py yy

y v.a. scalare:

y = [y1…ym]T v.a. vettoriale:

Integrale multi-dimensionale

Si definisce Informazione Mutua fra le v.a. y1,…,ym la quantità scalare

1

m

jj

I H y Hy y

La Informazione Mutua è sempre non negativa ed è nulla soltanto per se la yj sono statisticamente indipendenti

ICA - minimizzazione dell’Informazione Mutua

Informazione mutua

E’ possibile stimare le IC minimizzando la Informazione Mutua di

s Bx

dove B è una matrice da determinare la cui inversa fornisce la mixing matrix AIn questo modo, se i dati seguono un modello ICA (x=As, con s stat. ind.), allora la minimizzazione della MI fornisce le IC, altrimenti fornisce componenti più possibile indipendenti. A differenza dei metodi basati sulla massimizzazione della nongaussianità o della verosomiglianza, il modello ICA non è il presupposto di questo metodo

ICA – Esempio 1

0 50 100 150 200 250 300 350 400 450 500-2

0

2Mixed signals

s1

0 50 100 150 200 250 300 350 400 450 500-5

0

5

s2

0 50 100 150 200 250 300 350 400 450 500-2

0

2

s3

0 50 100 150 200 250 300 350 400 450 500-5

0

5

s4

n = 4

x As

0 50 100 150 200 250 300 350 400 450 500-10

0

10Mixed signals

x1

0 50 100 150 200 250 300 350 400 450 500-10

0

10

x2

0 50 100 150 200 250 300 350 400 450 500-5

0

5

x3

0 50 100 150 200 250 300 350 400 450 500-5

0

5

x4

A

Sorgenti

A = [-1.1465 0.3273 -0.5883 1.06681.1909 0.1746 2.1832 0.0593

1.1892 -0.1867 -0.1364 -0.0956-0.0376 0.7258 0.1139 -0.8323];

0 50 100 150 200 250 300 350 400 450 500-5

0

5

s1

0 50 100 150 200 250 300 350 400 450 500-5

0

5

s2

0 50 100 150 200 250 300 350 400 450 500-2

0

2

s3

0 50 100 150 200 250 300 350 400 450 500-2

0

2

s4

0 50 100 150 200 250 300 350 400 450 500-10

0

10Mixed signals

x1

0 50 100 150 200 250 300 350 400 450 500-10

0

10

x2

0 50 100 150 200 250 300 350 400 450 500-5

0

5

x3

0 50 100 150 200 250 300 350 400 450 500-5

0

5

x4

ICA

ICA – Esempio 1

0 0.5 1 1.5 2 2.5

x 105

-0.5

0

0.5Mixed signals

x1

0 0.5 1 1.5 2 2.5

x 105

-0.5

0

0.5

x2

0 0.5 1 1.5 2 2.5

x 105

-0.5

0

0.5

x3

0 0.5 1 1.5 2 2.5

x 105

-0.5

0

0.5

x4

1 2 3 40

0.1

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

1

k

k

ICA – Esempio 2

0 0.5 1 1.5 2 2.5

x 105

-10

0

10Independent components

s1

0 0.5 1 1.5 2 2.5

x 105

-10

0

10

s2

0 0.5 1 1.5 2 2.5

x 105

-10

0

10

s3

ICA – Esempio 2

vortex advection

Wind pressure on a bluff-bodyRecurrent flow configurations

Analyzed face

time

downwash

time

Wind pressure on a bluff-bodyRecurrent flow configurations

Analyzed face

horseshoe vortex

time

Wind pressure on a bluff-bodyRecurrent flow configurations

Analyzed face

Principal Components (PC)

1

N

k

k

k xt t

q

k k qqC Ι 0

POD modes

Modal representation of the wind pressure

Analyzed face

1 2 3 4 5

* x1(t) + * x4(t) +* x2(t) + * x5(t) +..* x3(t) +

Proper Orthogonal Decomposition (POD)

1 5 10 15 200

0.2

0.4

0.6

0.8

1

# modes

|| q

||

6

0.88

time

1 2 3

4 5 6

-4 -2 0 2 4

0

0.2

0.4

0.6

pq

14(

), p

x 1(

)

Data

POD (1-variate)

POD – Limitations

ICAPOD

1

n

k

k kx

q x 1

n

k

k ks

q a As

k are orthogonal

ak are obtained numerically(maximizing some independence measure)

xk are uncorrelated sk are statistically independent(as much as possible)

k are obtained analytically(are the eigenvectors of the covariance)

ak are non-orthogonal

Independent Component Analysis (ICA)A step forward: from POD to ICA

ICAPOD

Independent Component Analysis (ICA)PCA and ICA jointly

N

datasetn

POD

n N

to extract ROM to identify recurrent configurations,

possibly reducing the order of the model

+

ICA

1

2 a2

a1

ICA – Representation of pressure field

1 2 3

4 5 6

q1

(6)6

kk

k

x

q

1

(6)6

kk

k

s

q a

a1

a2

a3

a4

a5

a6

POD

ICA

-4 -2 0 2 4

0

0.2

0.4

0.6

pq

14(

), p

x 1(

), p

s 2(

)

q

1 1x

2 2sa

Data

POD

ICA

Representation of local wind pressure

ICA 1-variate

POD 1-variate

Data

-4 -2 0 2

10-3

10-2

10-1

100

pq

2(

), p

x 1(

), p

s 4(

)

q2

x1

s4

q

1 1x

2 2sa

Data

POD

ICA

Representation of local wind pressure

ICA 1-variate

POD 1-variate

Data

Independent Component Analysis (ICA)

2a

1a 3

a4

a5

a6

a6a

1a 5

a3

a4

a2

a

time

6a

1a 5

a3

a4

a2

a

Independent Component Analysis (ICA)

time

6a

1a 5

a3

a4

a2

a

Independent Component Analysis (ICA)

time

0 100 200 300 400tU/b

-1

0

1

2

q1

4(t

), A

14

,1 s

1(t

)

q14

ICA - mode 2

-1

0

1

2

q1

4(t

),

1

4,1

x1(t

)

q14

PCA - mode 1

(1)

1 1t x tq

(1)

1 1t s tq a

Representation of local wind pressure

ICA modes 1 and 2

a2

a1

0

0.2

0.4

0.6

0.8

nS

s 1s 1

(n),

n

Ss 2

s 2(n

)

s1

s2

0

0.2

0.4

0.6

0.8

1

Co

hs 1

s 2(n

)

10-3

10-2

10-1

100

nb/U

An

gs 1

s 2(n

)

-4 -2 0 2 4s1(t)

-4

-2

0

2

4

s 2(t

)

(a)

ICA modes 1 and 2

a2

a1

0

0.2

0.4

0.6

0.8

nS

s 1s 1

(n),

n

Ss 3

s 3(n

)

s1

s3

0

0.2

0.4

0.6

0.8

1

Co

hs 1

s 3(n

)

10-3

10-2

10-1

100

nb/U

An

gs 1

s 3(n

)

ICA modes 1 and 3

a3a1

a3a1

ICA modes 1 and 3

-4 -2 0 2 4s1

-4

-2

0

2

4

6

8

s 4

10-3

10-2

10-1

-200 -100 0 100 200

(ms)

-0.2

0

0.2

0.4

0.6

Cs 4

s 1(

)

-4 -2 0 2 4s1(t)

-4

-2

0

2

4

s 3(t

+)

a3a1

ICA modes 1 and 3

1 6 10 15 20k

0

0.2

0.4

0.6

k ,

||a

k||2

PCA

ICA

ICA vs ICA convergence

Limitations of static ICASmooth flow

Limitations of static ICASmooth flow

1 5 10 15 200

0.2

0.4

0.6

0.8

1

# modes

|| q

||

0.94

1 mode ICA POD

1111111111111111111111111111

Limitations of static ICASmooth flow

Data

POD ICA (1-variate)