Teoría de Resonancia Adaptativa ART

MARZO DE 2003 M en c. José Luis Calderón O. 1


IntroducciónFue propuesta por Grossman en un articulo en

1976 sobre aprendizaje cognoscitivo de patrones.

Dilema en Redes neuronales: Estabilidad-Plasticidad.

Las redes feedforward tienen el problema que ante nuevos datos tienden a eliminar los anteriores “perdida de memoria”


Plasticidad del aprendizaje: Cómo una red podría aprender nuevos patrones.

Estabilidad del aprendizaje: Cómo una red podría retener los patrones previamente aprendidos.

Esta teoría se aplica a sistemas competitivos (redes de aprendizaje competitivo).

DILEMAS DE S. GROSSBERG

Introducción


TérminosPlasticidad: La habilidad para cambiar o deformar.Estabilidad: La habilidad para recordar lo

aprendido anteriormente.Resonancia: aplicación repetida de una señal

(vector, patrón de entrada). Esto refleja la comunicación continua de dos neuronas.

Adaptación : cambio formulado como resultado de la resonancia


Antecedentes

ART1 Desarrollada por G. Carpenter y S. Grossberg en 1986. Maneja información binaria.

ART2 Maneja información de entrada en valores analógicos (escala de grises) 1987.

ART3 maneja entradas analógicas, es mas compleja, fue desarrollada en 1989, usa transmisores químicos.


Stephen Grossberg

He is one of the principal founders of the fields of computational neuroscience, connectionist cognitive science, and artificial neural network research. He is Wang Professor of Cognitive and Neural Systems and Professor of Mathematics, Psychology, and Biomedical Engineering at Boston University. He is Co-Editor-in-Chief of the journal Neural Networks, which is the official journal of the three major neural modeling societies in the world.


Gail A. Carpenter

Department of Cognitive and Neural Systems Boston University 677 Beacon Street, Boston, Massachusetts 02215 USA E-mail:

[email protected]

Professor of Cognitive and Neural Systems and MathematicsDirector of Graduate Studies, Department of Cognitive and Neural SystemsPhD, Mathematics, University of Wisconsin, MadisonLearning and memory, synaptic processes, pattern recognition, remote sensing, medical database analysis, machine learning, differential equations.


Características de ART


La teoría de la resonancia adaptativa se basa en la idea de hacer resonar la información de entrada con los representantes o prototipos de las categorías que reconoce la red.


Si entra en resonancia con alguno, y es suficientemente similar

La red considera que pertenece a dicha categoría y únicamente realiza una pequeña adaptación del prototipo almacenado

Incorpora algunas características del dato presentado en la entrada.


Cuando no resuena con ninguno, esto es, cuando no se parece a ningún representante de alguna categoría (recordados por la red hasta ese momento),

Crea una nueva categoría con el dato de entrada como prototipo.


Características de la ART

• Aprendizaje No supervisado y ON LINE.• Aprendizaje Competitivo (the winner-

take-all)• Soluciona el dilema de la estabilidad y

la plasticidad.• Estas redes usan un mecanismo

especial de realimentación entre las neuronas de la capa de salida (las competitivas) y las de la capa de entrada.


Propiedades


Propiedades de la ART1

Aprende constantemente información significativa.

Un conocimiento nuevo no destruye la información anterior.

Recuerda rápidamente un patrón de entrada si este ya se ha aprendido.

Funciona como una memoria asociativa autónoma.


Propiedades de la ART1 (2)

Modificando el parámetro de vigilancia () la red puede aprender mas detalles que sean necesarios.

Reconoce sus categorías asociadasTeóricamente tener una capacidad de

almacenamiento ilimitada.Trabaja únicamente con patrones binariosPosee habilidad para crear nuevas

categorías


Arquitectura


Arquitectura de ART1

Compuesta de 2 capasUna capa de entrada con N neuronasUna capa de salida con M neuronas

Conexiones feedforward (Wij) y feedback (Vji) entre ambas capas.

Conexiones laterales en la capa de salida (W= -). - < (1/M)

La capa de salida con conexiones autorrecurrentes (W=1).



La ART cuenta con:

Conexiones hacia delante (feedforward)

Conexiones hacia atrás (feedback)

Los pesos se inicializan con:11

1

ji

ij

VN

W

ijW

jiV


Red ART1


Arquitectura de la Red ART


Funcionalidad de la Red ART


Funcionamiento de ART1


Subsistema de atención

Sirve para el reconocimiento y clasificación del patrón de entrada

Se localiza en la memoria a largo plazo

Memoria a largo plazo (LTM) Wij, VjiMemoria acorto plazo (STM) en las

neuronas de entrada y salida de la red neuronal.


Detecta si la información pertenece a una categoría conocida por la red

Calcula el % de semejanza entre la entrada y el prototipo almacenado, en base al parámetro de vigilancia

Resetea la neurona ganadora y prueba con otra, sino crea una nueva clase.

Actúa sobre el sistema de atención creando nuevas clases.

Subsistema de orientación



Funcionamiento


FUNCIONAMIENTOSe presenta un patrón de entrada en forma de

vectorCada una de las neuronas de entrada recibe un

componente del vector y pasa esta información a todas las capas de salida

Las neuronas de la capa de salida compiten hasta que exista una vencedora con peso de 1 y las demás con peso de 0


La neurona vencedora envía su salida a la capa de entrada a través de las conexiones feedback, así el valor que llegará a cada una de las neuronas de la capa de entrada será el valor del peso de la conexión entre cada una de ellas y la vencedora.


En la capa de entrada se comparan el vector de entrada y el vector formado por los pesos de las conexiones feedback. Este ultimo es el prototipo de la categoría representada por la neurona que resulto vencedora. La comparación se hace mediante la siguiente relación de semejanza:

Relación de semejanza =


La relación de semejanza se compara con el parámetro de vigilancia () que debe de ser definido por el usuario y que podrá tener valor entre 0 y 1

Las redes ART1 pueden almacenar tantas categorías como neuronas tenga en su capa de salida M


Aplicaciones


ART, Redes para un aprendizaje rápido, estable y con predicción se ha aplicado a una gran variedad de areas.

Las aplicaciones incluyen: diseño y manufacturacion de aeroplanos, reconocimiento automatico de objetivos, prediccion financiera, monitoreo de maquinas herramientas, diseño de circuitos digitales,analisis químicos, y visión de robots.


En General se aplican en

Reconocimiento de imágenes.Reconocimiento de señales analógicas.Reconocimiento de olores (Prototipo

desarrollado por Paul E. Keller, Lars J.Kangas, Lars H. Liden).

Detección de sustancias toxicas.Diagnostico de enfermedades.Inspección de calidad en alimentos.


Reconocimiento de caracteres ( =0.9)


Reconocimiento de Caracteres ( =0.8)


Algoritmo de Aprendizaje de

ART1


Aprendizaje

Aprendizaje lento: Ocurre cuando una información de entrada es asociada a una de las categorías existentes.

Aprendizaje rápido: Se da cuando se establece una nueva categoría.


Algoritmo ART1(Rápido aprendizaje)

InicializaciónSe inicializa la matriz Vij ajustado

todos con 1.Cada elemento inicial de la matriz

Wij se ajusta con:

11

SWij


1. Presentamos un patrón de entrada a la red. Puesto que la capa 2 no esta activa al inicio (por ejemplo, cada )

la capa de salida 1 es:

2. Calculamos la entrada a la capa 2

Y se activa la neurona en la capa 2 con la entrada más grande:

02 ja

pa 1

1aWij


En algunos casos la neurona con el índice mas bajo se declara como neurona ganadora.

3. Calculamos el valor esperado de la capa 2 a la capa 1 (se asume que la neurona j de la capa 2 esta activada)

formaotraDea

awmaxawSia

i

Tijk

Tijii

,0

,12

112

2aVU jij


4. Ahora que la capa 2 es activa, ajustamos la salida de la capa 1 para incluir el valor esperado de la capa 2 a la 1:

ji UPa 1

.,0

/,1

0

2210

formaotraDea

paSia

5. El subsistema de orientación determina el grado de comparación entre el valor esperado y el patrón de entrada.


6. Si entonces ajustamos inhibiendo ésta, hasta que

ocurra una adecuada comparación (resonancia), y regresar al paso 1.

Si , continuamos con el paso 7.

7. La resonancia ha ocurrido, por lo tanto actualizamos la fila i de Wij es;

10 a02 ja

00 a

1

21

1

a

aWijj


8. Ahora se actualiza la columna j de Vij

9. Removemos el patrón de entrada actual, restablecemos todas las neuronas inhibidas en la capa 2, regresamos al paso 1 con un nuevo patrón de entrada.

1aV j


Arquitectura Básica de ART


Leyes de Aprendizaje : L1-L2 y L2-L1

La red ART1 tiene dos leyes de aprendizaje separadas: una para las conexiones L1-L2 (instars) y otra para las conexiones L2-L1 (outstars).

Ambos conjuntos de conexiones son actualizadas al mismo tiempo - cuando la entrada y el valor esperado tienen un adecuado grado de comparación.


El proceso de comparación y la adaptación subsecuente es referido como resonancia.


Ejemplo 1 ART1

Entrene una red ART1 con los siguientes patrones de entrada:

Use los parámetros:

0

1

1

3,

0

0

1

2,

0

1

0

1 PPP

CategoríasS 33;4.0;2 2


Los pesos iniciales son:

5.05.05.0

5.05.05.0

5.05.05.0

111

111

111

jiji WV


SoluciónLos pesos finales son:

5.05.05.0

0.00.00.1

0.00.10.0

110

101

110

jiji WV


Limitaciones de la ART

Dependencia del tipo y orden de los patrones aprendidos.

Influencia del parámetro de vigilancia () en el numero de categorías creadas.

Una pequeña variación en () genera un gran numero de categorías.


Limitaciones de la ART1

Es muy sensible al ruido o la distorsión

Ineficiencia de almacenamiento2*N para representar cada

categoría de N bits.Trabaja solo con entradas

binarias.


Variantes de ART


Grandes ramas de redes ART:

Las ART1 que trabajan con vectores de informacion binaria.

Las ART2, que procesan informacion analógica

ART-2A Es una version mas rápida del algoritmo de redes ART2.

ART-3 Extensión de red ART que incorpora transmisores químicos para controlar el proceso de busqueda de categorias dentro de la red.


Tipos de redes ART

ARTMAP – Es una version supervisada de de ART

que puede aprender mapas de patrones binarios.

Fuzzy ART – Sintesis de lógica difusa y redes ART.

Fuzzy ARTMAP – Es una red Fuzzy ART supervisada.


Adaptaciones de red ART:

ARTMAP-IC – Sistema ARTMAP con la adicion de predicción distribuida

y conteo de instancia de categoria. Gaussian ARTMAP

– Una red ART con aprendizaje supervisado que emplea campos receptivos (Gauss).

Modelos ART jerarquicos (modulares): – Estas redes modulare basadas en ART aprenden

categorias jerarquicas de secuencias arbirarias de patrones de entrada:


Adaptaciones de redes ART:

arboART – En esa red los prototipos de cada capa se

emplean como entradas de la capa siguiente.

Cascade Fuzzy ART – Como su nombre lo indica, es una serie de

redes FuzzyART. Se ha aplicado en el reconocimiento de objetos tridimensionales.


Simulación de ART en Matlab /

NNT


Codificación Matlab/NNT

63


Demo

nnd16a1


Simulación en

Matlab / NNT


Funciones de ART1*

initart para inicializarsimuart para simulartrainart para entrenar la red

Desarrolladas por los alumnos de 8o. Semestre de ESCOM

•Israel Martínez Hernández

•Adriana I. Hernández Abundis


Initart:

Regresa los pesos iniciales de la matriz Wij y Vji calculando los valores iniciales con las formulas.


Sintaxis de initartSintaxis de initart

[W, V] = initart (P);

donde:

P es el vector de entradas

T es el vector objetivo

S1 es el numero de neuronas en la capa

oculta.


trainart

Esta función regresa matrices de pesos nuevos para una red ART de dos capas competitivas (W y V) y después de entrenar los pesos originales en los vectores de entrada P usando parámetros de entrenamiento tp.

Tp(1) actualización de display = 25

Tp(2) No. Max. de presentaciones = 100

Tp(3) Razón de aprendizaje = 25Nota: NaN, se utiliza para los valores que tiene por omisión


Sintaxis trainartSintaxis trainart

[W, V] = trainart(W,V,P,rho); donde:

W es la matriz de pesos de la capa hacia delante competitiva

V es la matriz de pesos de la capa hacia atrás competitiva

P es el vector de entradas

rho es el parámetro de vigilancia (0-1)


simuartLa función anterior toma un

matriz de vectores de entrada P, la matriz de vectores W y un vector de umbral b de una capa lineal y regresa la salidas de la capa.


Sintaxis de simuartSintaxis de simuart

a = simuart (W,V, P);donde:

W es la matriz de pesos de la capa competitiva hacia delante.

V es la matriz de pesos de la capa competitiva hacia delante.

P es el vector de entradas.


Código para el Ejemplo1echo on; clc; P=[1 0 1 ; 1 0 1 ; 0 1 1 ; 0 1 0 ];[W,V]=initart(P);[W,V]=trainart(W,V,P,0.9);a=simuart(W,V,P);echo off


Conclusiones


CONCLUSIONESEl modelo ART es uno de los más poderosos

debido a su capacidad de autoorganización, aprendizaje no supervisado y ONLINE.

También es una de las mas complejas, pues aparte de las capas normales que se pueden encontrar en cualquier red neuronal, podemos clasificar internamente la red en otras estructuras que no se presentan en otras redes. .


CONCLUSIONES

Por sus características, el modelo ART es uno de los que más se acerca al funcionamiento del cerebro humano


BibliografíaG. A. Carpenter and S.

Grossberg, “A massively parallel architecture for self-organizing neural pattern recognition machine”, Computer Vision, Graphics, and Image Processing, vol. 37, pp. 54-115, 1987.


G. A. Carpenter and S. Grossberg, “ART2: Self-Organization of stable category recognition codes for analog input patterns”, Applied Optics, vol. 26, no. 23, pp. 4919-4930, 1987.

G. A. Carpenter and S. Grossberg, “ART3: Hierarchical search using chemical transmitters in Self-Organizing pattern recognition architectures”, Neural Networks, vol. 3, no. 23, pp. 129-152, 1990.

Bibliografía


Dudas ???


Hasta la próxima !!!

Education

Teoría de Resonancia Adaptativa ART