-
Reporte Perceptron Multicapa
Jesica Cervantes MontalvoRaul Enrique Guerrero Hernandez
Martha Alicia Sosa RomeroSamuel Perez BacilioCristian Trejo
Calva
6 de marzo de 2014
1
-
Indice
1. Que es un algoritmo genetico 3
2. Tipos 3
3. Caracteristicas 3
4. Algortimo en MatLab 4
2
-
1. Que es un algoritmo genetico
El perceptron multicapa es una red neuronal artificial (RNA)
formadapor multiples capas, esto le permite resolver problemas que
no son lineal-mente separables, lo cual es la principal limitacion
del perceptron (tambienllamado perceptron simple). El perceptron
multicapa puede ser totalmenteo localmente conectado. En el primer
caso cada salida de una neurona dela capa .es entrada de todas las
neuronas de la capa +1, mientras que enel segundo cada neurona de
la capa .es entrada de una serie de neuronas(region) de la capa
+1.
2. Tipos
Las capas pueden clasificarse en tres tipos:
1. Capa de entrada: Constituida por aquellas neuronas que
introducenlos patrones de entrada en la red. En estas neuronas no
se produceprocesamiento.
2. Capas ocultas: Formada por aquellas neuronas cuyas entradas
provie-nen de capas anteriores y cuyas salidas pasan a neuronas de
capasposteriores.
3. Capa de salida: Neuronas cuyos valores de salida se
corresponden con lassalidas de toda la red.
La propagacion hacia atras (tambien conocido como
retropropagacion delerror o regla delta generalizada), es un
algoritmo utilizado en el entrenamien-to de estas redes, por ello,
el perceptron multicapa tambien es conocido comored de
retropropagaciA3n(noconfundirconlareddecontrapropagacion).
3. Caracteristicas
La principal caracteristica del perceptron multicapa es:
1. Las funciones de transferencia de los elementos de procesado
(neuro-nas) han de ser derivables.
3
-
4. Algortimo en MatLab
Generacion de Numeros Aleatorios.
1 f unc t i on random = GenerateRandom2 he lpe r = rand (1 ) ;3
i f h e lpe r > 0 .54 random = rand (1) 1 ;5 e l s e6 random =
rand (1) 1;7 end
Generacion de Sigma.
1 c l c2 c l e a r a l l3 c l o s e a l l4 x1=[0 1 0 1 ] ;5
x2=[0 0 1 1 ] ;6
7 w11 actual = GenerateRandom ( ) ;8 w11 s i gu i en t e =0;9
w11 ante r i o r =0;
10
11 w12 actual = GenerateRandom ( ) ;12 w12 s i gu i en t e =0;13
w12 ante r i o r =0;14
15 b1 ac tua l =0.1 ;16 b 1 s i g u i e n t e =0;17 b 1 a n t e
r i o r =0;18
19 b2 ac tua l =0.1 ;20 b 2 s i g u i e n t e =0;21 b 2 a n t e
r i o r =0;
4
-
22
23 w22 actual = GenerateRandom ( ) ;24 w22 s i gu i en t e =0;25
w22 ante r i o r =0;26
27 w21 actual = GenerateRandom ( ) ;28 w21 s i gu i en t e =0;29
w21 ante r i o r =0;30
31 w31 actual = GenerateRandom ( ) ;32 w31 s i gu i en t e =0;33
w31 ante r i o r =0;34
35 w32 actual = GenerateRandom ( ) ;36 w32 s i gu i en t e =0;37
w32 ante r i o r =0;38
39 b3 ac tua l =0.2 ;40 b 3 s i g u i e n t e =0;41 b 3 a n t e
r i o r =0;42
43 d e s i r e d =[0 1 1 0 ] ;44 eta =0.25;45 alpha
=0.0001;46
47
48 t i c49
50
51 f o r n=1:300052
53 %disp (n)54 f o r j =1:455
56 %conta =0;57 %i t e r a c i o n e s =200;58 %% % % % %
%Propagacion hac ia ade lante % % % % %
5
-
59 v1=1b1 ac tua l+x1 ( j )w11 actual+x2 ( j )w12 actual ;
60 y1=sigma ( v1 ) ;61
62 v2=1b2 ac tua l+x1 ( j )w21 actual+x2 ( j )w22 actual ;
63 y2=sigma ( v2 ) ;64
65 v3=1b3 ac tua l+y1w31 actual+y2w32 actual ;66 y3=sigma ( v3 )
;67
68 e r r o r=d e s i r e d ( j )y3 ;69
70 % i f ( e r ro r >=0.00001)71 i f (n==1)72
73 %% %Propagacion hac ia a t r a s % % %74 de l taout=sigma (
v3 )(1sigma ( v3 ) ) e r r o r ;75
76 %% %Condicion de parada ; ejemplo : i f ( e r ro r>0.0001)
% % % % %
77 %% %Delta de s a l i d a78 %de l taout=sigma ( v3 )(1sigma (
v3 ) ) e r r o r ;79 %% %Delta ocu l t a 180 de l t ah ide1=sigma (
v1 )(1sigma ( v1 ) ) (
de l taout w31 actual ) ;81 %% %Delta ocu l t a 282 de l t ah
ide2=sigma ( v2 )(1sigma ( v2 ) ) (
de l taout w32 actual ) ;83
84
85 %% %Actu la i za c i on de pesos86
87 %f o r j= 1 : i t e r a c i o n e s ;88 w31 s i gu i en t
e=w31 actual+alphaw31 actual+
eta de l taout y1 ;89 w32 s i gu i en t e=w32 actual+alphaw32
actual+
eta de l taout y2 ;
6
-
90 w11 s i gu i en t e=w11 actual+alphaw11 actual+eta de l t ah
ide1 x1 ( j ) ;
91 w21 s i gu i en t e=w21 actual+alphaw21 actual+eta de l t ah
ide2 x1 ( j ) ;
92 w12 s i gu i en t e=w12 actual+alphaw12 actual+eta de l t ah
ide1 x2 ( j ) ;
93 w22 s i gu i en t e=w22 actual+alphaw22 actual+eta de l t ah
ide2 x2 ( j ) ;
94
95
96 %%bia s97 b 3 s i g u i e n t e=b3 ac tua l+alpha b3 ac tua
l+eta
de l taout 1 ;98 b 1 s i g u i e n t e=b1 ac tua l+alpha b1 ac
tua l+eta
de l t ah ide1 1 ;99 b 2 s i g u i e n t e=b2 ac tua l+alpha b2
ac tua l+eta
de l t ah ide2 1 ;100
101 w11 ante r i o r=w11 actual ;102 w12 ante r i o r=w12 actual
;103 w21 ante r i o r=w21 actual ;104 w22 ante r i o r=w22 actual
;105 w31 ante r i o r=w31 actual ;106 w32 ante r i o r=w32 actual
;107
108 w11 actual=w11 s i gu i en t e ;109 w12 actual=w12 s i gu i
en t e ;110 w21 actual=w21 s i gu i en t e ;111 w22 actual=w22 s i
gu i en t e ;112 w31 actual=w31 s i gu i en t e ;113 w32 actual=w32
s i gu i en t e ;114
115 b 1 a n t e r i o r=b1 ac tua l ;116 b 2 a n t e r i o r=b2
ac tua l ;117 b 3 a n t e r i o r=b3 ac tua l ;118 b1 ac tua l=b 1
s i g u i e n t e ;119 b2 ac tua l=b 2 s i g u i e n t e ;120 b3 ac
tua l=b 3 s i g u i e n t e ;
7
-
121
122 di sp ( t rue )123 e l s e124 %%propagacion hac ia a t r a
s125
126 de l taout=sigma ( v3 )(1sigma ( v3 ) ) e r r o r ;127 %%d e
l t a o c u l t a una128 de l t ah ide1=sigma ( v1 )(1sigma ( v1 )
) (
de l taout w31 actual ) ;129 %%de l t a ocu l t a 2130 de l t ah
ide2=sigma ( v2 )(1sigma ( v2 ) ) (
de l taout w32 actual ) ;131
132 %% %Actua l i z a c i on de l b i a s % % % %133
%%b3=b3+alpha+b3+eta de l taout 1 ;134 %%b2=b2+alphab2+eta de l t
ah ide2 1 ;135 %b1=b1+alphab1+eta de l t ah ide1 1 ;136
137 %%a j u s t a r l o s pesos138
139 w31 s i gu i en t e=w31 actual+alphaw31 ante r i o r+eta de
l taout y1 ;
140 w32 s i gu i en t e=w32 actual+alphaw32 ante r i o r+eta de
l taout y2 ;
141 w11 s i gu i en t e=w11 actual+alphaw11 ante r i o r+eta de
l t ah ide1 x1 ( j ) ;
142 w21 s i gu i en t e=w21 actual+alphaw21 ante r i o r+eta de
l t ah ide2 x1 ( j ) ;
143 w12 s i gu i en t e=w12 actual+alphaw12 ante r i o r+eta de
l t ah ide1 x2 ( j ) ;
144 w22 s i gu i en t e=w22 actual+alphaw22 ante r i o r+eta de
l t ah ide2 x2 ( j ) ;
145
146
147 %%bia s148 b 3 s i g u i e n t e=b3 ac tua l+alpha b 3 a n t
e r i o r+
eta de l taout 1 ;
8
-
149 b 1 s i g u i e n t e=b1 ac tua l+alpha b 1 a n t e r i o
r+eta de l t ah ide1 1 ;
150 b 2 s i g u i e n t e=b2 ac tua l+alpha b 2 a n t e r i o
r+eta de l t ah ide2 1 ;
151
152 w11 ante r i o r=w11 actual ;153 w12 ante r i o r=w12 actual
;154 w21 ante r i o r=w21 actual ;155 w22 ante r i o r=w22 actual
;156 w31 ante r i o r=w31 actual ;157 w32 ante r i o r=w32 actual
;158
159 w11 actual=w11 s i gu i en t e ;160 w12 actual=w12 s i gu i
en t e ;161 w21 actual=w21 s i gu i en t e ;162 w22 actual=w22 s i
gu i en t e ;163 w31 actual=w31 s i gu i en t e ;164 w32 actual=w32
s i gu i en t e ;165
166 b 1 a n t e r i o r=b1 ac tua l ;167 b 2 a n t e r i o r=b2
ac tua l ;168 b 3 a n t e r i o r=b3 ac tua l ;169 b1 ac tua l=b 1
s i g u i e n t e ;170 b2 ac tua l=b 2 s i g u i e n t e ;171 b3 ac
tua l=b 3 s i g u i e n t e ;172
173
174 end175
176 % e l s e177 % break ;178 %179 % end180 end181 end182
183 toc184
9
-
185 w11 s i gu i en t e186 w12 s i gu i en t e187 w21 s i gu i
en t e188 w22 s i gu i en t e189 w31 s i gu i en t e190 w32 s i gu
i en t e191
192 e r r o r
Principal.
1 c l c2 c l e a r a l l3 c l o s e a l l4
5 b1 = 0 . 1 ;6 b2 = 0 . 1 ;7 b3 = 0 . 2 ;8
9 x1=0;10 x2=0;11
12
13 w11 s i gu i en t e = 10.075614 w12 s i gu i en t e =
10.229315 w21 s i gu i en t e = 5.129916 w22 s i gu i en t e =
5.148117 w31 s i gu i en t e = 8.281718 w32 s i gu i en t e =
8.635519
20 %% % % % % %Propagacion hac ia ade lante % % % % %21
22
23 v1 = 1 b1 + x1 w11 s i gu i en t e + x2 w12 s i gu i en t e
;
24 y1 = sigma ( v1 ) ;25
10
-
26 v2 = 1 b2 + x1 w21 s i gu i en t e + x2 w22 s i gu i en t e
;
27 y2 = sigma ( v2 ) ;28
29 v3 = 1 b3 + y1 w31 s i gu i en t e + y2 w32 s i gu i en t e
;
30 y3 = sigma ( v3 )
11
