Neuronnät och identifiering av CME’s

03-02-18 Industriella tillämpningar inom bildanalysen

Neuronnätoch

identifiering av CME’s

Peter Wintoft

Institutet för rymdfysik i Lund



Artificiella neuronnät

…

1985 – Backpropagation [Rumelhart, Hinton …].

1911 – Neuronen [R. Cajál].

1943 – Artificiell neuron [McCulloch & Pitts].

1962 – Perceptronen [Rosenblatt].

1969 – XOR-problemet [Minsky & Papert].

0 0 00 1 11 0 11 1 0


Dator vs. riktiga neuronnät

ASCI White

Antal processorer

Beräknings-kapacitet (s-1)

Vikt(kg)

Effekt-förbrukning

8196 1013 105 Liten stad

Hjärnan 1011 1018 1 1 potatis

Ögon 107 1013 10-1 10-2 potatisar

Myra 105 1012 10-6 ?

http://www.marshill.org/worlds_fastest_computer_2001.htm


Artificiell neuron

xiwi

b

a y

y = g(a)

a = wi xi + b


En neuron – linjär klassificering

a = wi xi + b

x1

x2

a = w1x1 + w2x2 + b

a = x1 - x2 + 0.5

y = g(a) =0 om a<0

1 om a>0


Två lager med neuroner

Input

Dolt lager

Output-lager

xi

wji(1)

yj(1)

wkj(2)

yk(2)

yk(2)=g2( wkj

(2)yj(1) + bk

(2) )

yj(1)=g1( wji

(1)xi + bj(1) )


Två lager – icke-linjär klassificering

x1

x2


Feed-forward neuronnät

Ett lager– Linjär klassificering

Två lager– (Konvex) icke-linjär klassificering

– Kontinuerliga icke-linjära kurvor

Tre lager– Generell icke-linjär klassificering

– Icke-kontinuerliga och icke-linjära kurvor


Hur bestämmer man vikterna?

Linjärt filter

x =

x1

xm

y = wixi = wTx

wm

w1

y = [y(1),y(2),…,y(n)]

X = [x(1),x(2),…,x(n)]

Filtrets output: y = wTX

wT = d X (XX )-1T TMinsta-kvadratlösning:

Önskad output: d

(p)

(p)

(p)

(p) (p) (p)


Hur bestämmer man vikterna?

Feed-forward neuronnät

xi

wji(1)

yj(1)

wkj(2)

yk(2)


Error-backpropagation

Summed squared error: E = 1/2 p,k (dk(p)-yk(p))2

Error gradient

∂E∂w

∆w = - + ∆wprev.

och momentum:


Träningsstrategi för feed-forward neuronnät

Välj ut tre dataserier för– träning,

– validering respektive

– test.

Variera antalet dolda neuroner och träna varje neuronnät flera gånger (3-10) utifrån olika slumpmässigt valda vikter.

Välj neuronnätet med det minsta valideringsfelet. Bestäm prestandan på testserien.


Hur länge skall man träna?

RMS Error

Epoch

Training

Validation

Local minimum Global minimum?


Hur många dolda neuroner?

RMS Error

# neurons


3Exempel 1: Textigenkänning I

Optical Character Recognition (OCR)

Tolka handskrivna postnummer [LeCun et al., 1990].

Bild med 20x20 pixlar


Exempel 1: Textigenkänning II

FFNN med lokala receptiva fält. [Haykin, 1994].

Input

Lager 1

Lager 2

Lager 3

Lager 4

Lager 5


Exempel 1: Textigenkänning III

Lokala receptiva fält


Exempel 1: Textigenkänning IV


Exempel 1: Textigenkänning V

Lager 1–4 implementerade på ett neuron-kretskort.

Lager 5 DSP-kort. Test på riktiga brev gav

– 2.5% fel för människa– 5.5% fel för neuronnät


Exempel 2: Bildkomprimering I

FFNN med lika input och output samt 3-5 dolda lager.

Input Output

Komprimering Rekonstruktion


Exempel 2: Bildkomprimering II

http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html


Människa

I varje givet ögonblick kontrolerar hjärnan 244 frihetsgrader med över 600 muskler.


Self-organized map – SOM

Input

SOM

Mappa input till en (vanligen) 2-dimensionell kartaoch om möjligt bevara topologin.


Exempel 3: Robotseende

[Ritter et al., 1992]


Referenser

Böcker– Haykin, Neural networks – a comprehensive foundation,

Macmillan, 1994.– Ritter, Martinetz, Schulten, Neural computation and self-

organizing maps, Addison-Wesley Publ. Comp., 1992.– Swingler, Applying neural networks – a practical guide, Academic

Press, 1996. Artiklar

– LeCun, Boser, Denker, Henderson, Howard, Hubbard, Jackel, Handwritten digit recognition with a back-propagation network, Advances in Neural Information Processing Systems 2, Morgan Kaufmann, 396–404, 1990.


Web-referenser

OCR– http://www.geocities.com/SiliconValley/2548/ochre.html

Bildkomprimering– http://neuron.eng.wayne.edu/bpImageCompression9PLUS/bp9PLUS.html

Neuronnät– http://www.kcl.ac.uk/neuronet/– http://www.neuroinformatik.ruhr-uni-bochum.de/ini/VDM/research/gsn/

DemoGNG/GNG.html


Identifiering av CME’s med radon-transformen

Examensarbete 2002Åsa FranssonRymdingenjör, Kiruna


QuickTime™ and a decompressorare needed to see this picture.




Tid

Avs

tånd

frå

n so

len


Radon-transformen


Test image


Radon-transformed image


Filtered image




Estimation of onset time


Identified CME’s


Modell för CME till solvind

Träna neuronnät för förutsägelse av solvindshastigheten

Input: Radonbilder Output: Solvinden vid L1

Documents

Neuronnät och identifiering av CME’s