If you can't read please download the document
Upload
aleksandra-radovanovic
View
32
Download
11
Tags:
Embed Size (px)
DESCRIPTION
neuronske mreže
Citation preview
Fakultet prirodoslovno-
Studij Informatike
paketa Rapid Minera
Diplomski rad
Mostar, 2014.
1
Fakultet prirodoslovno-
Studij Informatike
paketa Rapid Minera
Diplomski rad
Mentor: prof.
Mostar, srpanj, 2014.
2
PODACI O DIPLOMSKOM RADU
I. AUTORICA
STUDIJ: Informatika
II. DIPLOMSKI RAD
TEMA:
BROJ STRANICA: 57
MENTOR:prof.
Datum predaje diplomskog rada: __________________________________
Datum odbrane diplomskog rada: _________________________________
1.__________________________________
2.__________________________________
3.__________________________________
______________
1._________________________________
2._________________________________
3._________________________________
3
ZAHVALA
Zahvaljujem se svoji
svoj san i bili mi potpora tijekom cijelog mog
4
....................................................................................................................... 6
UVOD ............................................................................................................................... 7
1. TEORIJA UMJETNE INTELIGENCIJE ............................................................ 8
1.1. Pojam i definicije umjetne inteligencije ............................................................. 8
1.2. Povijesni razvoj umjetne inteligencije ............................................................. 10
1.3. ......................................................................... 12
1.3.1. ....................................................................... 12
1.3.2. ............................................................................... 12
1.3.3. Ekspertni sustavi ....................................................................................... 12
1.3.4. Inteligentni agenti ..................................................................................... 13
1.3.5. Robotika .................................................................................................... 14
1.3.6. vid ............................................................................................ 14
1.3.7. ................................................... 14
1.3.8. .......................................................................................... 14
2. ................................................................... 16
2.1. ................................................................ 16
2.2. .................................................................. 17
2.3. ................................................................ 19
2.4. .................................................................................... 20
2.4.1. ......................................................................... 20
2.4.2. ......................................................................... 22
2.5. ........................................................... 27
2.6. ................................................................................ 28
5
3. ......................................................... 32
3.1. ................................................................................... 33
3.2. ....................................................... 35
3.3. Backpropagation algoritam .............................................................................. 37
4. ..................................................................... 38
4.1. ................................................................ 38
4.2. Program ............................................................................................................ 38
4.3. Opis tijeka projekta .......................................................................................... 38
4.3.1. Pripremanje podataka .............................................................................. 39
4.3.2. Importiranje podataka .............................................................................. 40
4.3.3. ................................................................. 45
4.3.4. Analiza rezultata ....................................................................................... 49
4.3.4.1. Performance Vector .............................................................................. 49
4.3.4.2. Example Set Role ................................................................................... 52
4.3.4.3. Improved Neural Net ............................................................................. 53
4.3.5. ................................................................................... 54
4.3.5.1. .................................................................................... 54
4.3.5.2. ........................................................ 55
............................................................................................................... 56
LITERATURA .............................................................................................................. 57
6
Korjeni
agenata i ostal
Kod nadgledanog
algoritam.
1/3, i
,
7
UVOD
inteligencije i svakodnevnog pomicanja granica. U okviru umjetne inteligencije pojavio
se p
u definiciju
navedene metode, a neke od najpoznatijih definicija navode se u daljnjem radu. Sve
nostavnih procesora koji imaju lokalne memorije u kojima pamte
8
1. TEORIJA UMJETNE INTELIGENCIJE
1.1. Pojam i definicije umjetne inteligencije
Umjetna inteligencija
inteligencije [1]:
Umjetna inteligencij
-razumijevanju jezika,
Umjetna i
Umjetna inteligencija je znanost o izradi strojeva koji postaju inteligentni kao
ljudi.
Umjetna inteligencija je
9
ava pojam umjetne inteligencije
karakteristike vezane sa ljudskom inteligencijom.
Is
nja
gr jihov rad bio je usmjeren na probleme koji
Zbog toga je Geuarter svojom definicijom umjetne inteligencije dao jedan novi
[1]
kojima je ovisno od autora
Margaret Boden u svojoj knjizi Umjetna inteligencija i p :
inteligenciju da ih rade
ljudi.
razvoja spoznajne znanosti:
10
teorija o prirodnoj inteligenciji treba imati istu osnovnu formu kao teorija koja
umjetne inteligencije koju ona
inteligencija, s tim da postoji interes znanstvenika za otva
mehanizmima ljudske inteligencije.
1.2. Povijesni razvoj umjetne inteligencije
umjesto nas ljudi.
Umjetna inteligencija ima temelje u nekoliko znanstvenih disciplina; psihologiji,
utjecalo na njen razvoj.
posebno isticao Aristotel (384.-
odnosi na druge stvari za koje se zna da
on Stoga se McCarthy
11
smatra i ocem umjetne inteligencije, a definirao ju je kao znanstvenu disciplinu koja se
1936. godine Englez Alan Turing i Amerikanac Post neovisno jedan o drugome
Turingov test
govoriti o inteligentnim strojevima.
Pitt
-neurona. Osim toga,
Prvim programom umjetne inteligencije se smatra Logic Theorist (1956. Allen
Newell i Herbert Simon) koji je pokazao sposobnost otkrivanja dokaza geometrijskih
teorema. 1958. zaslugom McCarthy-a pojavljuje se programski jezik LISP koji postaje
osnovnim jezikom programiranja umjetne inteligencije.
D.W. Paterson 1990. godine:
jezik te mog
12
1.3.
1.3.1.
za popularnu igru
-1 pobjedilo Garija
k od 1985. do
1.3.2.
koja se
psihologije, umjetne inteligencije i logike.
1.3.3. Ekspertni sustavi
Ekspertni sustavi su
znanosti. Razvijeni su 60-ih i 70-
komercijalizirani su kroz 80-e godine.
analiziraju
informacije koje se dobivaju od korisnika
13
Ekspertni sustavi su inteligentni programi na koji koriste znanja i
znatnu ljudsku
. [8].
Ekspertni sustavi su sustavi koji op [8]
1.3.4. Inteligentni agenti
Inteligentni agenti su softveri koji imaju sposobnost da fleksibilno, samostalno i bez
postavljeni zadatak.
a
korisnika, s ciljem obrade in
postavljenih upita. Temelje se na umejtnoj inteligenciji, raspodjeljenom programiranju,
Internet tehnologiji i mobilnoj komunikaciji, a karakteristike koje predstavljaju svakog
inteligentnog agenta su:
radi za svog korisnika
radi s njegovom dozvolom
http://hr.wikipedia.org/wiki/Ra%C4%8Dunalohttp://hr.wikipedia.org/wiki/%C4%8Covjek14
1.3.5. Robotika
proizvodnja, primjena. Srodna je sa elektronikom i mehanikom.
-
1.3.6.
dvodimenzionalnih i/ili trodimenzionalnih predmeta (npr. ljudskog lica). Bez razvijenog
potencijalno
1.3.7.
OCR, eng. Opitcal Character Recognition
skenera, u editabilni tekst, ili prevodi sliku sa znakovima u standardnu kodnu shemu
1.3.8.
. Postale su jedan od napopularnijih oblika zabave u svijetu. Svakodnevno se
15
16
2.
2.1.
su re
podataka i napraviti model za te podatke.
Ne postoji jedinstv
tavlja vlastitu definiciju
definicijom [1]:
jednostavnih procesora (jedinica,
Te jedinice su povezane komunikacijskim kanalima (vezama), a podaci koji se
Kevin Gurney
pos
klasifikacije robleme kod kojih postoji odnos
izme u prediktivnih (ulaznih) i zavisnih (izlaznih) varijabli, bez obzira na visoku
17
e u njihovoj
Z
ne
predikcije, a ne i pravilo po kojem je to ostvareno.
2.2. Povijesni razvoj
- iz
1943. godine.
Minskija i Deana Edmondsa koji su 50- konstruirali
.
koeficijente.
Na konferenciji Dartmouth Summer Research Project on Artifical Intelligence, koja
- kao jedna od grana umjetne inteligencije,
profiliralo se neuronsko
se pojavljuje kao odgovor Von
Neumann- ostvariti paralelnu obradu informacija
Na razvoj
neuronsk utjecao je velik broj
18
1943 - McCullock i Pitts
osti.
1949 Donald Hebb
-ovo pravilo). Pravilo je
neuronima.
neurona.
1956 - Dartmouth Summer Conference na kojoj su Rochester i skupina autora
predstavili prvu simulaciju Hebb-ovog modela
1958 Frank
.
unalo
1960
ADAptive Linear Neuron)
1969
1974 - -
1986 -
19
- otada do danas
pravila
2.3.
Paralelno raspodijeljena obrada informacija.
h
posebna informacija (podatak) spremljena u svoj vlastiti memorijski prostor.
redudantnost
sposobnima obr
bili u
Univerzalni apoksimator.
nelinearnim procesima.
i sustavi.
20
Sklopovska implementacija.
za imp
obradu u stvarnom vremenu.
elinearne aktivacijske funkcije.
pojedinog sloja
lokalni procesor koji radi
paralelno s ostalim neuronima.
Neuron
zahtjevi rastu s kvadratom broja neurona.
2.4.
nanosti ispitivane su sa dva ra
bno razlikuju.
obradu informacija.
2.4.1.
21
djelovanja. Sastoji se od oko 1011
15 .
Slika 1.: Mozak- [13]
koja prima i ob
drugih neurona i/ili osjetnih organa Njegovi
sinapse
Na
(B) (C)
oji
(A)
22
poveznica preko koje se impulsi prenose iz jednog u drugi neuron.
Slika 2.: [14]
2.4.2.
su
23
s tim da se radi o umjetnim tvorevinama. Dizajnirane
fu
cija, sastavljena od
e na
ivota. U stanju su da prepoznaju smisao u kompliciranim ili nepotpunim
podacima, da prepoznaju obrasce koji su neprepoznatljivi ljudima zbog 9 svoje
slo terskih tehnika.
Slika 3.: Model umjetnog neurona [1]
Umjetni neuron (Slika 3.) dobio je naziv po svojim autorima McCulloch Pittsov
neuron. N
dendrita preuzimaju ulazi (ulazne varijable) u sumu, izlaz (izlazna varijabla) sume je
tzv. aktivacijske funkcije. Veza umjetnog neurona s okolinom ostvaruje se po modu
funkcijs
izlaze (izlazne varijable) iz okoline neurona tj. izlaze drugih neurona (aksone) s ulazima
24
sume (dendriti). Intenzitet te veze ovisi o iznosu (modulu), a vrsta veze o predznaku
Tablica 1.:
Dendriti
Akson
Sinapsa
Izlazi iz
dobiveni produkti sumiraju, a njihova suma se odvodi na ulaz aktivacijske funkcije,
z neurona.
Aktivacijske funkcije dijele se na linearne i nelinearne.
Linearne aktivacijske funkcije
Nelinearne aktivacijske funkcije
a praga
25
Ukoliko neuron nije aktivan, onda je na izlazu neurona 0.
Signali u umjetnom neuronu su
koeficijentima zatim se sumiraju, a ako je dobiveni iznos iznad definirana praga, neuron
daje izlazni signal.
Slika 5. Izlaz iz neurona
-
Slika 6. Sigmoidalna funkcija [15]
26
sloju. Prvi sloj se naziva ulazni,
posljednji se naziva izlazni, a ostali su skriveni slojevi.
Slika 4.: [1]
prethodnoj slici (Slika 4.), od kojih je jedan skriveni. Prvi sloj (ulazni) je jedini sloj koji
prima signale iz
informacije te izdvajaju osobine i sheme primljenih signala. Oni podaci (informacije)
koje se smatraju procesuiraju se do izlaznog sloja kao pos
(izlazni) sloju dobivamo rezultate obrade. Postojanje v
petlji i elemenata za jesu
dizajnirane tako s
osobine ili sheme sa ulaznog nivoa.
27
2.5.
.) je prikazan dijagram zavisnosti mo
potpuno
objasni
podataka
pohranj
ste samo kada je bitan rezultat klasifikacije,
Slika 7. Dijagram zavisnos
:
programirani
28
ipak dati izlaz)
metode
ili nerazumljiv)
:
ja
skupe su za proizvesti
2.6.
1. Broju slojeva
ih i izlaznih slojeva
neurone na srednjim (skrivenim) slojevima.
29
2.
se mogu podijeliti prema vrstama veza tj. arhitekturi na:
slojevite -
jednog neurona se dovode izlazi svih neurona sa prethodnog sloja, a
njegov izlaz se vodi na ulaze svih neurona na narednom sloju. Neuroni sa
prvog (ulaznog) sloja imaju samo po jedan ulaz. Izlazi neurona sa
backpropagation algoritam.
potpuno povezane - Izlaz jednog neurona se vodi ka ulazu svih neurona
celularne - vezani samo susjedni neuroni. Bez obzira
na lokalnu povezanost, signali se prostiru i na neurone i van susjedstva
zbog indirektnog prostiranja informacija.
3.
4. Prema smjeru prostiranja informacija
Mogu se
Feed-forward (ne rekurzivne, ne rekurentne ili nepovratne) -
om
smjeru (od ulaza prema izlazu) odnosno propagaciju signala. Predstavnici:
-
:
30
Slika 8. Feed
Feedback (rekurzivne ili rekurentne ili povratne) Slika 9.
ili u isti sloj. Predstavnici: Hopfildove, Celularne NM, Kohonenove NM,
dvostrukoasocijativne NM. Feed - back
sposobnosti od Feed -
Slika 9. Feed
31
5. Prema vrsti podataka
Ova
podjela se rijetko koristi
32
3.
bi se dobili ulazni podaci.
izlaznim podacima
Podatke dijelimo na dvije vrste:
i testiranje nema nekog posebnog pravila,
kih koeficijenata koji opisuju jakost sinapse signala na
ulazni sloj. u
. Dobiveni iznosi se sumiraju; ako je dobiveni iznos iznad
definiranog praga neuron daje izlazni signal. M
(onaj koji treba da se dobije) izlazni oblik.
koji je najb
m
predsavlja izlaz iz
33
Slika 10. [1]
u1..n ulazni podaci
w1..n koeficijenti
( ) aktivacijska funkcija
i izlazni podatak
nenad
3.1.
koeficijente.
-propagation i
perceptron algoritam.
di po jedan signal. Zatim ovi
34
vremena na izlazu poj ?
dnom
cija i dobivaju se izlazne vrijednosti. Sl
dobiv
zadati test primj
i, daljnja obuka nije potrebna
primjenom delta pravila [1],
D pWij = hdLpiOLpi
gdje su:
DpWij - ij u odnosu na zadati
ulazno-izlazni par p
h -
dLpi -tom neuronu u sloju L za ulazno-izlazni par p
OLpi vrijednost dobivena primjenom prijenosne funkcije u L-tom sloju neurona:
OLpi = 1 / (1 + e-Ulaz
Lpi)
Ideja cijelog back-
35
Ako se uzme prevelika vrijednost, vrlo lako se izbjegavaju lokalni minimumi, ali
ostati u stanju koje nije optimalno. Situacija je prikazana na Slika 11. [1]:
Slika 11 [1]
dozvoljenog praga. Ako jeste,
za
3.2.
36
onenov algoritam.
neuronom u izlaznom sloju, a neuroni u izlaznom sloju su organizirani u
dvodimenzionalnu matricu.
ulazne podatke, odnosno izdvojiti ih u klase ovisno o tome koliko neurona je aktivno.
Slika 12. a
mehaniza
37
3.3. Backpropagation algoritam
Zbog toga i naziv backpropagation algoritam.
Backpropagation
vanom i
strane Rumelhart a, Hinton a i Williams
uje
oja
enja lokalnog umjesto
ivanje
a.
Slika 13. Backpropagation algoritam
38
4. PRIMJER NEURONS
Inspiracija za ovim projektom javila se zbog
promijeniti na bolje, iz dana u dan izgleda kao da samo nazaduje.
4.1.
nii
neuronsk e.
4.2. Program
Program je preuzet sa
web stranice http://rapidminer.com/.
Slika 14. RapidMiner 5
4.3. Opis tijeka projekta
http://rapidminer.com/39
4.3.1. Pripremanje podataka
U kompleksim
U ovom projektu podaci nisu prethodno nigdje spremljeni, nego su prikupljani kroz
Nakon prikupljanja
koristiti u RapidMineru.
Priku
visina prihoda obitelji
hrana
da li su prihodi obitelji dovoljni
predlagali
nazvan Podaci.
40
Slika 15. Prikaz podataka u Microsoft Excel-u
4.3.2. Importiranje podataka
Prikupljene podatke sada je potrebno importirati u program, a postupak je prikazan
(Sika 16. - Slika 21.).
importirati.
41
Slika 16. Odabir vrste dokumenta
spremljeno je kao xlsx dokument
42
Slika 17. Pronalazak i odabir dokumenta
Slika 18.
43
Slika 19. Obavijest o anotaciji pojedinih polja
do rezultata.
44
Slika 20. Odabir label-a
45
Slika 21. Imenovanje i spremanje podataka
4.3.3.