Diapositiva 1

3 Redes Recurrentes y Autnomas El modelo de Hopfield discreto Introducido en 1982 por el fsico norteamericano John Hopfield Neural Networks and Physical Systems with Emergent Collective Computational Abilities Unidad de proceso bipolar: pesos sinpticos w 1,w 2,,w n, umbral o sesgo, potencial sinptico h = w 1 x 1 + w 2 x 2 + + w n x n

Diapositiva 2

El modelo de Hopfield discreto x1x1 x2x2 x3x3 y h 1 w1w1 w2w2 w3w3

Diapositiva 3

El modelo de Hopfield discreto w 31 w 12 w 23 Funcin de Energa Computacional Arquitectura (Topologa) Dinmica de la Computacin

Diapositiva 4

El modelo de Hopfield discreto Qu se pretende con esta dinmica de la computacin? Dejarn de cambiar de estado alguna vez las unidades de proceso cuando se actualizan? Es decir, se estabilizar la red en algn momento. Cmo son las configuraciones de la red cuando se estabiliza? Para qu se puede utilizar esta red neuronal?

Diapositiva 5

Qu se pretende? Se pretende alcanzar concordancia entre los estados de las unidades de proceso segn las conexiones sinpticas: w ij > 0 s i s j = 1 (concordancia) w ij < 0 s i s j = 1 (discordancia) w ij s i s j sea mximo Maximizar

Diapositiva 6

Qu se pretende? La correlacin entre la unidad de proceso i y la unidad j es igual a la correlacin entre la unidad de proceso j y la i, por lo tanto w ij = w ji (simetra de los pesos) Maximizar Como cada conexin se ha contado dos veces,

Diapositiva 7

Qu se pretende? La correlacin entre la unidad de proceso i y ella misma siempre vale 1, es decir, s i s j = 1. Por lo tanto, como w ij s i s j = w ij, dicho producto es constante (no depende de las variables de estado). Por ello, se puede tomar w ii = 0 (sin autoconexiones)

Diapositiva 8

Qu se persigue? Qu papel juega entonces el umbral? Maximizar Como seal externa (con valor 1) que llega a la unidad de proceso (con peso i ) de manera que si i > 0 trata de desactivarla si i < 0 trata de activarla Es decir, persigue que i ( 1) s i sea mximo Minimizar

Diapositiva 9

Evolucin en el modelo de Hopfield discreto y secuencial (asncrono) Teorema: Teorema: Si en la iteracin k+1 actualizamos el estado de la unidad de proceso r segn la regla de actualizacin anterior, manteniendo iguales los estados de las unidades de procesos restantes, entonces la funcin de energa decrece, es decir, Demostracin Demostracin:

Diapositiva 10

Evolucin en el modelo de Hopfield discreto y secuencial (asncrono) simtricos Como los pesos son simtricos

Diapositiva 11

Evolucin en el modelo de Hopfield discreto y secuencial (asncrono) unidad de proceso r Si slo actualizamos la unidad de proceso r entonces s i (k)=0 para todo i r, 0 pues entonces s r (k+1)=1 y s r (k ) 0, entonces s r (k+1)=-1 y s r (k ) 0, si o porque 0

Diapositiva 12

Evolucin en el modelo de Hopfield discreto y secuencial Corolario: La red recurrente bipolar alcanza un estado estable en un nmero finito de pasos utilizando la regla de actualizacin secuencial y dicho estado corresponde a un mnimo local de la funcin de energa. Biestable Ejemplo: Biestable Funcin de energa Funcin de energa E(k) = s 1 s 2 potencial sinpticodesactiva Si la red parte de la configuracin (1,1) y actualizamos la primera unidad de proceso, como el potencial sinptico es 1 entonces se desactiva estabiliza Alcanza la configuracin ( 1,1). La red se estabiliza en dicha configuracin. El otro mnimo local corresponde a la configuracin (1,-1) w 12 =-1 w 21 =-1

Diapositiva 13

Evolucin en el modelo de Hopfield discreto y paralelo (sincronizado) Teorema 2. Si la matriz de pesos sinpticos es simtrica y semidefinida positiva, con todos los elementos de la matriz diagonal nulos, entonces la funcin de energa decrece, o permanece igual, en cada actualizacin simultnea de las unidades de proceso Demostracin Demostracin: Corolario: La red recurrente bipolar alcanza un estado estable en un nmero finito de pasos utilizando la regla de actualizacin paralela.

Diapositiva 14

El modelo de Hopfield continuo x1x1 x2x2 x3x3 h 1 Estado discreto s i {-1, 1} Tiempo (actualizacin) discreto, k = 1,2,3, Estado continuo s i [-1, 1] Tiempo (actualizacin) continuo, t (0, ]

Diapositiva 15

El modelo de Hopfield continuo Estado discreto s i {-1, 1} Tiempo (actualizacin) discreto, k = 1,2,3, Estado continuo s i [-1, 1] Tiempo (actualizacin) continuo, t (0, ]

Diapositiva 16

El modelo de Hopfield continuo Dinmica de la computacin Funcin de energa computacional

Diapositiva 17

Evolucin en el modelo de Hopfield continuo Teorema 3 (de convergencia) En una red recurrente continua guiada por la regla de actualizacin anterior la funcin de energa computacional disminuye, o por lo menos no cambia, en cada actualizacin y alcanza un estado estable en un mnimo local de dicha funcin. Demostracin Demostracin: 0 0

Diapositiva 18

Evolucin en el modelo de Hopfield continuo pues La red queda atrapada en los mnimos locales de la funcin de energa

Diapositiva 19

Problemas de Optimizacin Configuraciones posibles Configuraciones posibles: (1,1), (1,-1), (-1,1) y (-1,-1) Estados estables Estados estables: (1,-1) y (-1,1) w 12 =-1 w 21 =-1 w 12 = 1(-1) = -1 w 21 = (-1)1 = -1 w 11 = w 22 = 0. Funcin de energa: E(k) = s 1 (k)s 2 (k). (1,1) h 1 = (-1)1= -1 (-1,1) (-1,1) estable

Diapositiva 20

Problemas de las N Torres

Diapositiva 21

Problemas de las N Torres

Diapositiva 22

Funcin de energa: s ij

Diapositiva 23

Problemas de las N Torres E = w ij,ik ij w ij,rj

Diapositiva 24

Problemas de las N Torres

Diapositiva 25

Problema del recubrimiento minimal de los vrtices de un grafo (servicios de vigilancia por vdeo) Dado un grafo G=(V,E), se trata de encontrar un subconjunto X V de forma que cada arista de E tenga al menos un vrtice en dicho conjunto X, y con mnima cardinalidad Arquitectura de la red: N unidades de proceso N vrtices

Diapositiva 26

Problema del recubrimiento minimal de los vrtices de un grafo (servicios de vigilancia por vdeo) El objetivo es Minimizar Sujeto a Al menos una de las dos unidades de proceso tiene que estar activa a ij vale cero si no existe la arista (i,j) y vale uno si existe

Diapositiva 27

Problema del recubrimiento minimal de los vrtices de un grafo (servicios de vigilancia por vdeo) El objetivo es Minimizar

Diapositiva 28

Problema del recubrimiento minimal de los vrtices de un grafo (servicios de vigilancia por vdeo), Como el peso sinptico w ij es negativo favorece que una unidad est activada y la otra desactivada (si ya hemos puesto una cmara de vdeo en un vrtice no hay que poner otra en el otro vrtice pues la calle queda vigilada)

Diapositiva 29

El problema de la biparticin de un grafo Arquitectura: 2N unidades de proceso Minimizar Sujeto a Minimizar vale 1 si s i = s j vale 0 si s i s j

Diapositiva 30

El problema de la biparticin de un grafo Minimizar

Diapositiva 31

El problema del viajante de comercio Arquitectura: N unidades de proceso Minimizar Sujeto a