State-Space Analysis of Time-varying Higher-order Spike Correlation for Multiple Neural Spike Train Data

8/2/2019 State-Space Analysis of Time-varying Higher-order Spike Correlation for Multiple Neural Spike Train Data

1/76

S t a t e - s p a c e A n a l y s i s o f T i m e - v a r y i n g H i g h e r - o r d e r S p i k e C o r r e l a t i o n f o r

M u l t i p l e N e u r a l S p i k e T r a i n D a t a

H i d e a k i S h i m a z a k i

1, S h u n - i c h i A m a r i

1, E m e r y N . B r o w n

2,3,4, S o n j a G r n

1,5,6

1 R I K E N B r a i n S c i e n c e I n s t i t u t e , W a k o - s h i , S a i t a m a , J a p a n

2 D e p a r t m e n t o f B r a i n a n d C o g n i t i v e S c i e n c e s , M a s s a c h u s e t t s I n s t i t u t e o f T e c h n o l o g y , C a m b r i d g e ,

M a s s a c h u s e t t s , U S A

3 D e p a r t m e n t o f A n e s t h e s i a a n d C r i t i c a l C a r e , M a s s a c h u s e t t s G e n e r a l H o s p i t a l , B o s t o n , M a s s a c h u s e t t s ,

U S A

4 D i v i s i o n o f H e a l t h S c i e n c e s a n d T e c h n o l o g y , H a r v a r d M e d i c a l S c h o o l / M a s s a c h u s e t t s I n s t i t u t e o f

T e c h n o l o g y , C a m b r i d g e , M a s s a c h u s e t t s , U S A

5 I n s t i t u t e o f N e u r o s c i e n c e a n d M e d i c i n e ( I N M - 6 ) , C o m p u t a t i o n a l a n d S y s t e m s N e u r o s c i e n c e , R e s e a r c h

C e n t e r J l i c h , J l i c h , G e r m a n y 6 T h e o r e t i c a l S y s t e m s N e u r o b i o l o g y , R W T H A a c h e n U n i v e r s i t y , A a c h e n ,

G e r m a n y

E - m a i l : C o r r e s p o n d i n g s h i m a z a k i @ b r a i n . r i k e n . j p

P u b l i s h e d i n P L o S C o m p u t a t i o n a l B i o l o g y . R e c e i v e d : M a y 2 4 , 2 0 1 1 ; A c c e p t e d : D e c e m b e r 2 8 , 2 0 1 1 ; P u b l i s h e d : M a r c h 8 , 2 0 1 2 .

S h i m a z a k i H , A m a r i S - i , B r o w n E N , G r n S ( 2 0 1 2 ) S t a t e - S p a c e A n a l y s i s o f T i m e - V a r y i n g H i g h e r - O r d e r S p i k e C o r r e l a t i o n f o r

M u l t i p l e N e u r a l S p i k e T r a i n D a t a . P L o S C o m p u t B i o l 8 ( 3 ) : e 1 0 0 2 3 8 5 . d o i : 1 0 . 1 3 7 1 / j o u r n a l . p c b i . 1 0 0 2 3 8 5

C o p y r i g h t : 2 0 1 2 S h i m a z a k i e t a l . T h i s i s a n o p e n - a c c e s s a r t i c l e d i s t r i b u t e d u n d e r t h e t e r m s o f t h e C r e a t i v e C o m m o n s

A t t r i b u t i o n L i c e n s e , w h i c h p e r m i t s u n r e s t r i c t e d u s e , d i s t r i b u t i o n , a n d r e p r o d u c t i o n i n a n y m e d i u m , p r o v i d e d t h e o r i g i n a l a u t h o r

a n d s o u r c e a r e c r e d i t e d .

A b s t r a c t

P r e c i s e s p i k e c o o r d i n a t i o n b e t w e e n t h e s p i k i n g a c t i v i t i e s o f m u l t i p l e n e u r o n s i s s u g g e s t e d a s a n i n d i c a t i o n

o f c o o r d i n a t e d n e t w o r k a c t i v i t y i n a c t i v e c e l l a s s e m b l i e s . S p i k e c o r r e l a t i o n a n a l y s i s a i m s t o i d e n t i f y s u c h

c o o p e r a t i v e n e t w o r k a c t i v i t y b y d e t e c t i n g e x c e s s s p i k e s y n c h r o n y i n s i m u l t a n e o u s l y r e c o r d e d m u l t i p l e

n e u r a l s p i k e s e q u e n c e s . C o o p e r a t i v e a c t i v i t y i s e x p e c t e d t o o r g a n i z e d y n a m i c a l l y d u r i n g b e h a v i o r a n d

c o g n i t i o n ; t h e r e f o r e c u r r e n t l y a v a i l a b l e a n a l y s i s t e c h n i q u e s m u s t b e e x t e n d e d t o e n a b l e t h e e s t i m a t i o n

o f m u l t i p l e t i m e - v a r y i n g s p i k e i n t e r a c t i o n s b e t w e e n n e u r o n s s i m u l t a n e o u s l y . I n p a r t i c u l a r , n e w m e t h o d s

1


2/76

m u s t t a k e a d v a n t a g e o f t h e s i m u l t a n e o u s o b s e r v a t i o n s o f m u l t i p l e n e u r o n s b y a d d r e s s i n g t h e i r h i g h e r - o r d e r

d e p e n d e n c i e s , w h i c h c a n n o t b e r e v e a l e d b y p a i r w i s e a n a l y s e s a l o n e .

I n t h i s p a p e r , w e d e v e l o p a m e t h o d f o r e s t i m a t i n g t i m e - v a r y i n g s p i k e i n t e r a c t i o n s b y m e a n s o f a

s t a t e - s p a c e a n a l y s i s . D i s c r e t i z e d p a r a l l e l s p i k e s e q u e n c e s a r e m o d e l e d a s m u l t i - v a r i a t e b i n a r y p r o c e s s e s

u s i n g a l o g - l i n e a r m o d e l t h a t p r o v i d e s a w e l l - d e n e d m e a s u r e o f h i g h e r - o r d e r s p i k e c o r r e l a t i o n i n a n

i n f o r m a t i o n g e o m e t r y f r a m e w o r k . W e c o n s t r u c t a r e c u r s i v e B a y e s i a n l t e r / s m o o t h e r f o r t h e e x t r a c t i o n

o f s p i k e i n t e r a c t i o n p a r a m e t e r s . T h i s m e t h o d c a n s i m u l t a n e o u s l y e s t i m a t e t h e d y n a m i c p a i r w i s e s p i k e

i n t e r a c t i o n s o f m u l t i p l e s i n g l e n e u r o n s , t h e r e b y e x t e n d i n g t h e I s i n g / s p i n - g l a s s m o d e l a n a l y s i s o f m u l t i p l e

n e u r a l s p i k e t r a i n d a t a t o a n o n s t a t i o n a r y a n a l y s i s . F u r t h e r m o r e , t h e m e t h o d c a n e s t i m a t e d y n a m i c

h i g h e r - o r d e r s p i k e i n t e r a c t i o n s . T o v a l i d a t e t h e i n c l u s i o n o f t h e h i g h e r - o r d e r t e r m s i n t h e m o d e l , w e

c o n s t r u c t a n a p p r o x i m a t i o n m e t h o d t o a s s e s s t h e g o o d n e s s - o f - t t o s p i k e d a t a . I n a d d i t i o n , w e f o r m u l a t e

a t e s t m e t h o d f o r t h e p r e s e n c e o f h i g h e r - o r d e r s p i k e c o r r e l a t i o n e v e n i n n o n s t a t i o n a r y s p i k e d a t a , e . g . ,

d a t a f r o m a w a k e b e h a v i n g a n i m a l s .

T h e u t i l i t y o f t h e p r o p o s e d m e t h o d s i s t e s t e d u s i n g s i m u l a t e d s p i k e d a t a w i t h k n o w n u n d e r l y i n g

c o r r e l a t i o n d y n a m i c s . F i n a l l y , w e a p p l y t h e m e t h o d s t o n e u r a l s p i k e d a t a s i m u l t a n e o u s l y r e c o r d e d f r o m

t h e m o t o r c o r t e x o f a n a w a k e m o n k e y a n d d e m o n s t r a t e t h a t t h e h i g h e r - o r d e r s p i k e c o r r e l a t i o n o r g a n i z e s

d y n a m i c a l l y i n r e l a t i o n t o a b e h a v i o r a l d e m a n d .

A u t h o r S u m m a r y

N e a r l y h a l f a c e n t u r y a g o , t h e C a n a d i a n p s y c h o l o g i s t D . O . H e b b p o s t u l a t e d t h e f o r m a t i o n o f a s s e m b l i e s

o f t i g h t l y c o n n e c t e d c e l l s i n c o r t i c a l r e c u r r e n t n e t w o r k s b e c a u s e o f c h a n g e s i n s y n a p t i c w e i g h t ( H e b b ' s

l e a r n i n g r u l e ) b y r e p e t i t i v e s e n s o r y s t i m u l a t i o n o f t h e n e t w o r k . C o n s e q u e n t l y , t h e a c t i v a t i o n o f s u c h a n

a s s e m b l y f o r p r o c e s s i n g s e n s o r y o r b e h a v i o r a l i n f o r m a t i o n i s l i k e l y t o b e e x p r e s s e d b y p r e c i s e l y c o o r d i n a t e d

s p i k i n g a c t i v i t i e s o f t h e p a r t i c i p a t i n g n e u r o n s . H o w e v e r , t h e a v a i l a b l e a n a l y s i s t e c h n i q u e s f o r m u l t i p l e

p a r a l l e l n e u r a l s p i k e d a t a d o n o t a l l o w u s t o r e v e a l t h e d e t a i l e d s t r u c t u r e o f t r a n s i e n t l y a c t i v e a s s e m b l i e s a s

i n d i c a t e d b y t h e i r d y n a m i c a l p a i r w i s e a n d h i g h e r - o r d e r s p i k e c o r r e l a t i o n s . H e r e , w e c o n s t r u c t a s t a t e - s p a c e

m o d e l o f d y n a m i c s p i k e i n t e r a c t i o n s , a n d p r e s e n t a r e c u r s i v e B a y e s i a n m e t h o d t h a t m a k e s i t p o s s i b l e t o

t r a c e m u l t i p l e n e u r o n s e x h i b i t i n g s u c h p r e c i s e l y c o o r d i n a t e d s p i k i n g a c t i v i t i e s i n a t i m e - v a r y i n g m a n n e r .

W e a l s o f o r m u l a t e a h y p o t h e s i s t e s t o f t h e u n d e r l y i n g d y n a m i c s p i k e c o r r e l a t i o n , w h i c h e n a b l e s u s t o

2


3/76

d e t e c t t h e a s s e m b l i e s a c t i v a t e d i n a s s o c i a t i o n w i t h b e h a v i o r a l e v e n t s . T h e r e f o r e , t h e p r o p o s e d m e t h o d

c a n s e r v e a s a u s e f u l t o o l t o t e s t H e b b ' s c e l l a s s e m b l y h y p o t h e s i s .

I n t r o d u c t i o n

P r e c i s e s p i k e c o o r d i n a t i o n w i t h i n t h e s p i k i n g a c t i v i t i e s o f m u l t i p l e s i n g l e n e u r o n s i s d i s c u s s e d a s a n i n d i -

c a t i o n o f c o o r d i n a t e d n e t w o r k a c t i v i t y i n t h e f o r m o f c e l l a s s e m b l i e s [ 1 ] c o m p r i s i n g n e u r o n a l i n f o r m a t i o n

p r o c e s s i n g . P o s s i b l e t h e o r e t i c a l m e c h a n i s m s a n d c o n d i t i o n s f o r g e n e r a t i n g a n d m a i n t a i n i n g s u c h p r e -

c i s e s p i k e c o o r d i n a t i o n h a v e b e e n p r o p o s e d o n t h e b a s i s o f n e u r o n a l n e t w o r k m o d e l s [ 2 4 ] . T h e e e c t

o f s y n c h r o n o u s s p i k i n g a c t i v i t i e s o n d o w n s t r e a m n e u r o n s h a s b e e n t h e o r e t i c a l l y i n v e s t i g a t e d a n d i t w a s

d e m o n s t r a t e d t h a t t h e s e a r e m o r e e e c t i v e i n g e n e r a t i n g o u t p u t s p i k e s [ 5 ] . A s s e m b l y a c t i v i t y w a s h y p o t h -

e s i z e d t o o r g a n i z e d y n a m i c a l l y a s a r e s u l t o f s e n s o r y i n p u t a n d / o r i n r e l a t i o n t o b e h a v i o r a l c o n t e x t [ 6 1 0 ] .

S u p p o r t i v e e x p e r i m e n t a l e v i d e n c e w a s p r o v i d e d b y n d i n g s o f t h e p r e s e n c e o f e x c e s s s p i k e s y n c h r o n y o c -

c u r r i n g d y n a m i c a l l y i n r e l a t i o n t o s t i m u l i [ 1 1 1 4 ] , b e h a v i o r [ 1 4 1 9 ] , o r i n t e r n a l s t a t e s s u c h a s m e m o r y

r e t e n t i o n , e x p e c t a t i o n , a n d a t t e n t i o n [ 8 , 2 0 2 3 ] .

O v e r t h e y e a r s , v a r i o u s s t a t i s t i c a l t o o l s h a v e b e e n d e v e l o p e d t o a n a l y z e t h e d e p e n d e n c y b e t w e e n

n e u r o n s , w i t h c o n t i n u o u s i m p r o v e m e n t i n t h e i r a p p l i c a b i l i t y t o n e u r o n a l e x p e r i m e n t a l d a t a ( s e e [ 2 4 2 6 ]

f o r r e c e n t r e v i e w s ) . T h e c r o s s - c o r r e l o g r a m [ 2 7 ] w a s t h e r s t a n a l y s i s m e t h o d f o r d e t e c t i n g t h e c o r r e l a t i o n

b e t w e e n p a i r s o f n e u r o n s a n d f o c u s e d o n t h e d e t e c t i o n o f s t a t i o n a r y c o r r e l a t i o n . T h e j o i n t - p e r i s t i m u l u s

t i m e h i s t o g r a m ( J P S T H ) i n t r o d u c e d b y [ 1 1 , 2 8 ] i s a n e x t e n s i o n o f t h e c r o s s - c o r r e l o g r a m t h a t a l l o w s a t i m e

r e s o l v e d a n a l y s i s o f t h e c o r r e l a t i o n d y n a m i c s b e t w e e n a p a i r o f n e u r o n s . T h i s m e t h o d r e l a t e s t h e j o i n t

s p i k i n g a c t i v i t y o f t w o n e u r o n s t o a t r i g g e r e v e n t , a s w a s d o n e i n t h e p e r i - s t i m u l u s t i m e h i s t o g r a m ( P S T H )

[ 2 9 3 1 ] f o r e s t i m a t i n g t h e t i m e d e p e n d e n t r i n g r a t e o f a s i n g l e n e u r o n . T h e U n i t a r y E v e n t a n a l y s i s

m e t h o d [ 2 5 , 3 2 , 3 3 ] f u r t h e r e x t e n d e d t h e c o r r e l a t i o n a n a l y s i s t o e n a b l e i t t o t e s t t h e s t a t i s t i c a l d e p e n d e n c i e s

b e t w e e n m u l t i p l e , n o n s t a t i o n a r y s p i k e s e q u e n c e s a g a i n s t a n u l l h y p o t h e s i s o f f u l l i n d e p e n d e n c e a m o n g

n e u r o n s . S t a u d e e t a l . d e v e l o p e d a t e s t m e t h o d ( C u B I C ) t h a t e n a b l e s t h e d e t e c t i o n o f h i g h e r - o r d e r s p i k e

c o r r e l a t i o n b y c o m p u t i n g t h e c u m u l a n t s o f t h e b i n - w i s e p o p u l a t i o n s p i k e c o u n t s [ 3 4 , 3 5 ] .

I n t h e l a s t d e c a d e , o t h e r m o d e l - b a s e d m e t h o d s h a v e b e e n d e v e l o p e d t h a t m a k e i t p o s s i b l e t o c a p t u r e

t h e d e p e n d e n c y a m o n g s p i k e s e q u e n c e s b y d i r e c t s t a t i s t i c a l m o d e l i n g o f t h e p a r a l l e l s p i k e s e q u e n c e s .

T w o r e l a t e d a p p r o a c h e s b a s e d o n a g e n e r a l i z e d l i n e a r f r a m e w o r k a r e b e i n g e x t e n s i v e l y i n v e s t i g a t e d . O n e

3


4/76

m o d e l s t h e s p i k i n g a c t i v i t i e s o f s i n g l e n e u r o n s a s a c o n t i n u o u s - t i m e p o i n t p r o c e s s o r a s a d i s c r e t e - t i m e

B e r n o u l l i p r o c e s s . T h e p o i n t p r o c e s s i n t e n s i t i e s ( i n s t a n t a n e o u s s p i k e r a t e s ) o r B e r n o u l l i s u c c e s s p r o b -

a b i l i t i e s o f i n d i v i d u a l n e u r o n s a r e m o d e l e d i n a g e n e r a l i z e d l i n e a r m a n n e r u s i n g a l o g l i n k f u n c t i o n o r

a l o g i t l i n k f u n c t i o n , r e s p e c t i v e l y [ 3 6 3 8 ] . T h e d e p e n d e n c y a m o n g n e u r o n s i s m o d e l e d b y i n t r o d u c i n g

c o u p l i n g t e r m s t h a t i n c o r p o r a t e t h e s p i k e h i s t o r y o f o t h e r o b s e r v e d n e u r o n s i n t o t h e i n s t a n t a n e o u s s p i k e

r a t e [ 3 8 4 0 ] . R e c e n t d e v e l o p m e n t i n c a u s a l i t y a n a l y s i s f o r p o i n t p r o c e s s d a t a [ 4 1 ] m a k e s i t p o s s i b l e t o

p e r f o r m f o r m a l s t a t i s t i c a l s i g n i c a n c e t e s t s o f t h e c a u s a l i n t e r a c t i o n s i n t h e s e m o d e l s . T y p i c a l l y , t h e

m o d e l s a d d i t i o n a l l y i n c l u d e t h e c o v a r i a t e s t i m u l u s s i g n a l s i n o r d e r t o i n v e s t i g a t e r e c e p t i v e e l d p r o p -

e r t i e s o f n e u r o n s , i . e . , t h e r e l a t i o n s b e t w e e n n e u r a l s p i k i n g a c t i v i t i e s a n d t h e k n o w n c o v a r i a t e s i g n a l s .

H o w e v e r , t h e y a r e n o t s u i t a b l e f o r c a p t u r i n g i n s t a n t a n e o u s , s y n c h r o n o u s s p i k i n g a c t i v i t i e s , w h i c h a r e

l i k e l y t o b e i n d u c e d b y a n u n o b s e r v e d e x t e r n a l s t i m u l u s o r a c o m m o n i n p u t f r o m a n u n o b s e r v e d s e t o f

n e u r o n s . R e c e n t l y , a m o d e l w a s p r o p o s e d t o d i s s o c i a t e i n s t a n t a n e o u s s y n c h r o n y f r o m t h e s p i k e - h i s t o r y

d e p e n d e n c i e s ; i t a d d i t i o n a l l y i n c l u d e s a c o m m o n , n o n - s p i k e d r i v e n l a t e n t s i g n a l [ 4 2 , 4 3 ] . T h e s e m o d e l s

p r o v i d e a c o n c i s e d e s c r i p t i o n o f t h e m u l t i p l e n e u r a l s p i k e t r a i n d a t a b y a s s u m i n g i n d e p e n d e n t s p i k i n g

a c t i v i t i e s a c r o s s n e u r o n s c o n d i t i o n a l o n t h e s e e x p l a n a t o r y v a r i a b l e s . A s a r e s u l t , h o w e v e r , t h e y d o n o t

a i m t o d i r e c t l y m o d e l t h e j o i n t d i s t r i b u t i o n o f i n s t a n t a n e o u s s p i k i n g a c t i v i t i e s o f m u l t i p l e n e u r o n s .

I n c o n t r a s t , a n a l t e r n a t i v e a p p r o a c h , w h i c h w e w i l l f o l l o w a n d e x t e n d i n t h i s p a p e r , d i r e c t l y m o d e l s

t h e i n s t a n t a n e o u s , j o i n t s p i k i n g a c t i v i t i e s b y t r e a t i n g t h e n e u r o n a l s y s t e m a s a n e n s e m b l e b i n a r y p a t -

t e r n g e n e r a t o r . I n t h i s a p p r o a c h , p a r a l l e l s p i k e s e q u e n c e s a r e r e p r e s e n t e d a s b i n a r y e v e n t s o c c u r r i n g i n

d i s c r e t i z e d t i m e b i n s , a n d a r e m o d e l e d a s a m u l t i v a r i a t e B e r n o u l l i d i s t r i b u t i o n u s i n g a m u l t i n o m i a l l o g i t

l i n k f u n c t i o n . T h e d e p e n d e n c i e s a m o n g t h e b i n a r y u n i t s a r e m o d e l e d i n t h e g e n e r a l i z e d l i n e a r f r a m e w o r k

b y i n t r o d u c i n g u n d i r e c t e d p a i r w i s e a n d h i g h e r - o r d e r i n t e r a c t i o n t e r m s f o r i n s t a n t a n e o u s , s y n c h r o n o u s

s p i k e e v e n t s . T h i s s t a t i s t i c a l m o d e l i s r e f e r r e d t o a s t h e ` l o g - l i n e a r m o d e l ' [ 4 4 , 4 5 ] , o r I s i n g / s p i n - g l a s s

m o d e l i f t h e m o d e l c o n t a i n s o n l y l o w e r - o r d e r i n t e r a c t i o n s . T h e l a t t e r i s a l s o r e f e r r e d t o a s t h e m a x i m u m

e n t r o p y m o d e l w h e n t h e s e p a r a m e t e r s a r e e s t i m a t e d u n d e r t h e m a x i m u m l i k e l i h o o d p r i n c i p l e . I n c o n t r a s t

t o t h e f o r m e r , b i o l o g i c a l l y - i n s p i r e d n e t w o r k - s t y l e m o d e l i n g , t h e l a t t e r a p p r o a c h u s i n g a l o g - l i n e a r m o d e l

w a s m o t i v a t e d b y t h e c o m p u t a t i o n a l t h e o r y o f a r t i c i a l n e u r a l n e t w o r k s o r i g i n a t i n g f r o m t h e s t a t i o n a r y

d i s t r i b u t i o n o f a B o l t z m a n n m a c h i n e [ 4 6 , 4 7 ] , w h i c h i s i n t u r n t h e s t o c h a s t i c a n a l o g u e o f t h e H o p e l d

n e t w o r k m o d e l [ 4 8 , 4 9 ] f o r a s s o c i a t i v e m e m o r y .

T h e m e r i t o f t h e l o g - l i n e a r m o d e l i s i t s a b i l i t y t o p r o v i d e a w e l l - d e n e d m e a s u r e o f s p i k e c o r r e l a t i o n .

4


5/76

W h i l e t h e c r o s s - c o r r e l o g r a m a n d J P S T H p r o v i d e a m e a s u r e o f t h e m a r g i n a l c o r r e l a t i o n o f t w o n e u r o n s ,

t h e s e m e t h o d s c a n n o t d i s t i n g u i s h d i r e c t p a i r w i s e c o r r e l a t i o n s f r o m c o r r e l a t i o n s t h a t a r e i n d i r e c t l y i n d u c e d

t h r o u g h o t h e r n e u r o n s . I n c o n t r a s t , a s i m u l t a n e o u s p a i r w i s e a n a l y s i s b a s e d o n t h e l o g - l i n e a r m o d e l ( a n

a n a l o g u e o f t h e I s i n g / s p i n - g l a s s a n a l y s i s i n s t a t i s t i c a l m e c h a n i c s ) c a n s o r t o u t a l l o f t h e p a i r - d e p e n d e n c i e s

o f t h e o b s e r v e d n e u r o n s . A f u r t h e r m e r i t o f t h e l o g - l i n e a r m o d e l i s t h a t i t c a n p r o v i d e a m e a s u r e o f t h e

` p u r e ' h i g h e r - o r d e r s p i k e c o r r e l a t i o n , i . e . , a s t a t e t h a t c a n n o t b e e x p l a i n e d b y l o w e r - o r d e r i n t e r a c t i o n s .

U s i n g t h e v i e w p o i n t o f a n i n f o r m a t i o n g e o m e t r y f r a m e w o r k [ 5 0 ] , A m a r i e t a l . [ 4 4 , 4 5 , 5 1 ] d e m o n s t r a t e d t h a t

t h e h i g h e r - o r d e r s p i k e c o r r e l a t i o n s c a n b e e x t r a c t e d f r o m t h e h i g h e r - o r d e r p a r a m e t e r s o f t h e l o g - l i n e a r

m o d e l ( a . k . a . t h e n a t u r a l o r c a n o n i c a l p a r a m e t e r s ) . T h e s t r e n g t h s o f t h e s e p a r a m e t e r s a r e i n t e r p r e t e d

i n r e l a t i o n t o t h e l o w e r - o r d e r p a r a m e t e r s o f t h e d u a l o r t h o g o n a l c o o r d i n a t e s ( a . k . a . t h e e x p e c t a t i o n

p a r a m e t e r s ) . T h e i n f o r m a t i o n c o n t a i n e d i n t h e h i g h e r - o r d e r s p i k e i n t e r a c t i o n s o f a p a r t i c u l a r l o g - l i n e a r

m o d e l c a n b e e x t r a c t e d b y m e a s u r i n g t h e d i s t a n c e ( e . g . , t h e K u l l b a c k - L e i b l e r d i v e r g e n c e ) b e t w e e n t h e

h i g h e r - o r d e r m o d e l a n d i t s p r o j e c t i o n t o a l o w e r - o r d e r m o d e l s p a c e , i . e . , a m a n i f o l d s p a n n e d b y t h e

n a t u r a l p a r a m e t e r s w h o s e h i g h e r - o r d e r i n t e r a c t i o n t e r m s a r e x e d a t z e r o [ 4 4 , 5 2 5 4 ] .

R e c e n t l y , a l o g - l i n e a r m o d e l t h a t c o n s i d e r e d o n l y u p t o p a i r w i s e i n t e r a c t i o n s ( i . e . , a n I s i n g / s p i n - g l a s s

m o d e l ) w a s p r o p o s e d a s a m o d e l f o r p a r a l l e l s p i k e s e q u e n c e s . I t s a d e q u a t e n e s s w a s s h o w n b y t h e f a c t

t h a t t h e r i n g r a t e s a n d p a i r w i s e i n t e r a c t i o n s e x p l a i n e d m o r e t h a n

90% o f t h e d a t a [ 5 5 5 7 ] . H o w e v e r ,

R o u d i e t a l . [ 5 4 ] d e m o n s t r a t e d t h a t t h e s m a l l c o n t r i b u t i o n o f h i g h e r - o r d e r c o r r e l a t i o n s f o u n d f r o m t h e i r

m e a s u r e b a s e d o n t h e K u l l b a c k - L e i b l e r d i v e r g e n c e c o u l d b e a n a r t i f a c t c a u s e d b y t h e s m a l l n u m b e r o f

n e u r o n s a n a l y z e d . O t h e r s t u d i e s h a v e r e p o r t e d t h a t h i g h e r - o r d e r c o r r e l a t i o n s a r e r e q u i r e d t o a c c o u n t f o r

t h e d e p e n d e n c i e s b e t w e e n p a r a l l e l s p i k e s e q u e n c e s [ 5 8 , 5 9 ] , o r f o r s t i m u l u s e n c o d i n g [ 5 3 , 6 0 ] . I n [ 6 0 ] , t h e y

r e p o r t e d t h e e x i s t e n c e o f t r i p l e - w i s e s p i k e c o r r e l a t i o n s i n t h e s p i k i n g a c t i v i t y o f t h e n e u r o n s i n t h e v i s u a l

c o r t e x a n d s h o w e d t h e i r s t i m u l u s d e p e n d e n t c h a n g e s . I t s h o u l d b e n o t e d , t h o u g h , t h a t t h e s e a n a l y s e s

a s s u m e d s t a t i o n a r i t y , b o t h o f t h e r i n g r a t e s o f i n d i v i d u a l n e u r o n s a n d o f t h e i r s p i k e c o r r e l a t i o n s . T h i s

w a s p o s s i b l e b e c a u s e t h e a u t h o r s r e s t r i c t e d t h e m s e l v e s t o d a t a r e c o r d e d e i t h e r f r o m

i n v i t r o

s l i c e s o r f r o m

a n e s t h e t i z e d a n i m a l s . H o w e v e r , i n o r d e r t o a s s e s s t h e b e h a v i o r a l r e l e v a n c e o f p a i r w i s e a n d h i g h e r - o r d e r

s p i k e c o r r e l a t i o n s i n a w a k e b e h a v i n g a n i m a l s , i t i s n e c e s s a r y t o a p p r o p r i a t e l y c o r r e c t f o r t i m e - v a r y i n g

r i n g r a t e s w i t h i n a n e x p e r i m e n t a l t r i a l a n d p r o v i d e a n a l g o r i t h m t h a t r e l i a b l y e s t i m a t e s t h e t i m e - v a r y i n g

s p i k e c o r r e l a t i o n s w i t h i n m u l t i p l e n e u r o n s .

W e c o n s i d e r t h e p r e s e n c e o f e x c e s s s p i k e s y n c h r o n y , i n p a r t i c u l a r t h e e x c e s s s y n c h r o n y e x p l a i n e d b y

5


6/76

h i g h e r - o r d e r c o r r e l a t i o n , a s a n i n d i c a t o r o f a n a c t i v e c e l l a s s e m b l y . I f s o m e o f t h e o b s e r v e d n e u r o n s a r e a

s u b s e t o f t h e n e u r o n s t h a t c o m p r i s e a n a s s e m b l y , t h e y a r e l i k e l y t o e x h i b i t n e a r l y c o m p l e t e l y s y n c h r o n o u s

s p i k e s e v e r y t i m e t h e a s s e m b l y i s a c t i v a t e d . I t m a y b e t h a t s u c h s p i k e p a t t e r n s a r e n o t e x p l a i n e d b y m e r e

p a i r w i s e c o r r e l a t i o n s , b u t r e q u i r e h i g h e r - o r d e r c o r r e l a t i o n s f o r e x p l a n a t i o n o f t h e i r o c c u r r e n c e . O n e

o f t h e p o t e n t i a l p h y s i o l o g i c a l m e c h a n i s m s f o r h i g h e r - o r d e r c o r r e l a t e d a c t i v i t y i s a c o m m o n i n p u t f r o m

a s e t o f u n o b s e r v e d n e u r o n s t o t h e a s s e m b l y t h a t i n c l u d e s t h e n e u r o n s u n d e r o b s e r v a t i o n [ 2 5 , 6 1 6 3 ] .

S u c h h i g h e r - o r d e r a c t i v i t y i s t r a n s i e n t i n n a t u r e a n d e x p r e s s e s a m o m e n t a r y s n a p s h o t o f t h e n e u r o n a l

d y n a m i c s . T h u s , m e t h o d s t h a t a r e c a p a b l e o f e v a l u a t i n g t i m e - v a r y i n g , h i g h e r - o r d e r s p i k e c o r r e l a t i o n s

a r e c r u c i a l t o t e s t t h e h y p o t h e s i s t h a t b i o l o g i c a l n e u r o n a l n e t w o r k s o r g a n i z e i n d y n a m i c c e l l a s s e m b l i e s

f o r i n f o r m a t i o n p r o c e s s i n g . H o w e v e r , m a n y o f t h e c u r r e n t a p p r o a c h e s b a s e d o n t h e l o g - l i n e a r m o d e l

[ 4 4 , 4 5 , 5 3 , 5 5 , 5 6 , 6 1 , 6 2 , 6 4 , 6 5 ] a r e n o t d e s i g n e d t o c a p t u r e t h e i r d y n a m i c s . V e r y r e c e n t l y t w o a p p r o a c h e s

w e r e p r o p o s e d f o r t e s t i n g t h e p r e s e n c e o f n o n - z e r o p a i r w i s e [ 6 6 ] a n d h i g h e r - o r d e r [ 6 7 ] c o r r e l a t i o n s u s i n g

a t i m e - d e p e n d e n t f o r m u l a t i o n o f a l o g - l i n e a r m o d e l . I n c o n t r a s t t o t h e s e m e t h o d s , t h e p r e s e n t p a p e r

a i m s t o d i r e c t l y p r o v i d e o p t i m i z e d e s t i m a t e s o f t h e i n d i v i d u a l t i m e - v a r y i n g i n t e r a c t i o n s w i t h c o n d e n c e

i n t e r v a l s . T h i s e n a b l e s t o i d e n t i f y s h o r t l a s t i n g , t i m e - v a r y i n g h i g h e r - o r d e r c o r r e l a t i o n a n d t h u s t o r e l a t e

t h e m t o b e h a v i o r a l l y r e l e v a n t t i m e p e r i o d s .

I n t h i s p a p e r , w e p r o p o s e a n a p p r o a c h t o e s t i m a t e t h e d y n a m i c a s s e m b l y a c t i v i t i e s f r o m m u l t i p l e

n e u r a l s p i k e t r a i n d a t a u s i n g a ` s t a t e - s p a c e l o g - l i n e a r ' f r a m e w o r k . A s t a t e - s p a c e m o d e l o e r s a g e n e r a l

f r a m e w o r k f o r m o d e l i n g t i m e - d e p e n d e n t s y s t e m s b y r e p r e s e n t i n g i t s p a r a m e t e r s ( s t a t e s ) a s a M a r k o v

p r o c e s s . B r o w n e t a l . [ 3 7 ] d e v e l o p e d a r e c u r s i v e l t e r i n g a l g o r i t h m f o r a p o i n t p r o c e s s o b s e r v a t i o n m o d e l

t h a t i s a p p l i c a b l e t o n e u r a l s p i k e t r a i n d a t a . F u r t h e r , S m i t h a n d B r o w n [ 6 8 ] d e v e l o p e d a p a r a d i g m f o r j o i n t

s t a t e - s p a c e a n d p a r a m e t e r e s t i m a t i o n f o r p o i n t p r o c e s s o b s e r v a t i o n s u s i n g a n e x p e c t a t i o n - m a x i m i z a t i o n

( E M ) a l g o r i t h m . S i n c e t h e n , t h e a l g o r i t h m h a s b e e n c o n t i n u o u s l y i m p r o v e d a n d w a s s u c c e s s f u l l y a p p l i e d

t o e x p e r i m e n t a l n e u r o n a l s p i k e d a t a f r o m v a r i o u s s y s t e m s [ 3 8 , 6 9 7 1 ] ( s e e [ 7 2 ] f o r a r e v i e w ) . H e r e , w e

e x t e n d t h i s f r a m e w o r k , a n d c o n s t r u c t a m u l t i v a r i a t e s t a t e - s p a c e m o d e l o f m u l t i p l e n e u r a l s p i k e s e q u e n c e s

b y u s i n g t h e l o g - l i n e a r m o d e l t o f o l l o w t h e d y n a m i c s o f t h e h i g h e r - o r d e r s p i k e i n t e r a c t i o n s . N o t e t h a t

w e a s s u m e f o r t h i s a n a l y s i s t y p i c a l e l e c t r o p h y s i o l o g i c a l e x p e r i m e n t s i n w h i c h m u l t i p l e n e u r a l s p i k e t r a i n

d a t a a r e r e p e a t e d l y c o l l e c t e d u n d e r i d e n t i c a l e x p e r i m e n t a l c o n d i t i o n s ( ` t r i a l s ' ) . T h u s , w i t h t h e p r o p o s e d

m e t h o d , w e d e a l w i t h t h e w i t h i n - t r i a l n o n s t a t i o n a r i t y o f t h e s p i k e d a t a t h a t i s e x p e c t e d i n t h e r e c o r d i n g s

f r o m a w a k e b e h a v i n g a n i m a l s . W e a s s u m e , h o w e v e r , t h a t d y n a m i c s o f t h e s p i k i n g s t a t i s t i c s w i t h i n

6


7/76

t r i a l s , s u c h a s t i m e - v a r y i n g s p i k e r a t e s a n d h i g h e r - o r d e r i n t e r a c t i o n s , a r e i d e n t i c a l a c r o s s t h e m u l t i p l e

e x p e r i m e n t a l t r i a l s ( a c r o s s - t r i a l s t a t i o n a r i t y ) .

T o v a l i d a t e t h e n e c e s s i t y o f i n c l u d i n g h i g h e r - o r d e r i n t e r a c t i o n s i n t h e m o d e l , w e p r o v i d e a m e t h o d

f o r e v a l u a t i n g t h e g o o d n e s s - o f - t o f t h e s t a t e - s p a c e m o d e l t o t h e o b s e r v e d p a r a l l e l s p i k e s e q u e n c e s u s i n g

t h e A k a i k e i n f o r m a t i o n c r i t e r i o n [ 7 3 ] . W e t h e n f o r m u l a t e a h y p o t h e s i s t e s t f o r t h e p r e s e n c e o f t h e l a t e n t ,

t i m e - v a r y i n g s p i k e i n t e r a c t i o n p a r a m e t e r s b y c o m b i n i n g t h e B a y e s i a n m o d e l c o m p a r i s o n m e t h o d [ 7 4 7 6 ]

w i t h a s u r r o g a t e m e t h o d . T h e l a t t e r t e s t m e t h o d p r o v i d e s u s w i t h a t o o l t o d e t e c t a s s e m b l i e s t h a t a r e

m o m e n t a r i l y a c t i v a t e d , e . g . , i n a s s o c i a t i o n w i t h b e h a v i o r a l e v e n t s . W e t e s t t h e u t i l i t y o f t h e s e m e t h o d s

b y a p p l y i n g t h e m t o s i m u l a t e d p a r a l l e l s p i k e s e q u e n c e s w i t h k n o w n d e p e n d e n c i e s . F i n a l l y , w e a p p l y t h e

m e t h o d s t o s p i k e d a t a o f t h r e e n e u r o n s s i m u l t a n e o u s l y r e c o r d e d f r o m m o t o r c o r t e x o f a n a w a k e m o n k e y

a n d d e m o n s t r a t e t h a t a t r i p l e - w i s e s p i k e c o r r e l a t i o n d y n a m i c a l l y o r g a n i z e s i n r e l a t i o n t o a b e h a v i o r a l

d e m a n d .

T h e p r e l i m i n a r y r e s u l t s w e r e p r e s e n t e d i n t h e p r o c e e d i n g s o f t h e I E E E I C A S S P m e e t i n g i n 2 0 0 9 [ 7 7 ] , a s

w e l l a s i n c o n f e r e n c e a b s t r a c t s ( S h i m a z a k i e t a l . , N e u r o 0 8 , S A N D 4 , N I P S 0 8 W S , C o s y n e 0 9 , a n d C N S 0 9 ) .

R e s u l t s

G e n e r a l f o r m u l a t i o n

L o g - l i n e a r m o d e l o f m u l t i p l e n e u r a l s p i k e s e q u e n c e s

W e c o n s i d e r a n e n s e m b l e s p i k e p a t t e r n o f N n e u r o n s . T h e s t a t e o f e a c h n e u r o n i s r e p r e s e n t e d b y a b i n a r y

r a n d o m v a r i a b l e , Xi ( i = 1, . . . , N ) w h e r e ` 1' d e n o t e s a s p i k e o c c u r r e n c e a n d ` 0' d e n o t e s s i l e n c e . A n

e n s e m b l e s p i k e p a t t e r n o f N n e u r o n s i s r e p r e s e n t e d b y a v e c t o r , X = (X1, X2, . . . , X N) , w i t h t h e t o t a l

n u m b e r o f p o s s i b l e s p i k e p a t t e r n s e q u a l t o

2N. L e t

p(x), w h e r e

x = (x1, x2, . . . , xN) a n d xi = 1 o r 0

(

i = 1, . . . , N ) , r e p r e s e n t t h e j o i n t p r o b a b i l i t y m a s s f u n c t i o n o f t h e

N- t u p l e b i n a r y r a n d o m v a r i a b l e s , X .

B e c a u s e o f t h e c o n s t r a i n t p(x) = 1, t h e p r o b a b i l i t i e s o f a l l t h e s p i k e p a t t e r n s a r e s p e c i e d u s i n g 2N 1p a r a m e t e r s . I n i n f o r m a t i o n g e o m e t r y [ 4 4 , 5 0 ] , t h e s e 2N 1 p a r a m e t e r s a r e v i e w e d a s ` c o o r d i n a t e s ' t h a t

s p a n a m a n i f o l d c o m p o s e d o f t h e s e t o f a l l p r o b a b i l i t y d i s t r i b u t i o n s ,

{p(x)}. I n t h e f o l l o w i n g , w e c o n s i d e r

t w o c o o r d i n a t e s y s t e m s .

7


8/76

T h e l o g a r i t h m o f t h e p r o b a b i l i t y m a s s f u n c t i o n c a n b e e x p a n d e d a s

logp(x) =i

ixi +i


9/76

s p i k e i n t e r a c t i o n s . A m a r i e t a l . [ 4 4 , 4 5 , 5 0 , 5 1 ] p r o v e d t h a t t h e - a n d - c o o r d i n a t e s a r e d u a l l y ` o r t h o g o n a l '

c o o r d i n a t e s a n d d e m o n s t r a t e d t h a t t h e n a t u r a l p a r a m e t e r s t h a t a r e g r e a t e r t h a n o r e q u a l t o t h e r t h -

o r d e r , {I} ( I {r, . . . , N}, r N) , r e p r e s e n t a n e x c e s s o r p a u c i t y o f h i g h e r - o r d e r s y n c h r o n o u s s p i k e s

i n t h e

{I} ( I {r, . . . , N}) c o o r d i n a t e s . T o u n d e r s t a n d t h e p o t e n t i a l i n u e n c e o f t h e h i g h e r - o r d e r

n a t u r a l p a r a m e t e r s o n t h e h i g h e r - o r d e r j o i n t s p i k e e v e n t r a t e s , l e t u s c o n s i d e r a l o g - l i n e a r m o d e l i n w h i c h

t h e p a r a m e t e r s h i g h e r t h a n o r e q u a l t o t h e

rt h - o r d e r v a n i s h :

I = 0 ( I {r, . . . , N}) . I n t h e d u a l

r e p r e s e n t a t i o n , t h e h i g h e r - o r d e r j o i n t s p i k e e v e n t r a t e s ,

{I} ( I {r, . . . , N}) , a r e c h a n c e c o i n c i d e n c e s

e x p e c t e d f r o m t h e l o w e r - o r d e r j o i n t s p i k e e v e n t r a t e s , {I} ( i {1, . . . , r1}) . F r o m t h i s , i t f o l l o w s

t h a t t h e n o n - z e r o h i g h e r - o r d e r n a t u r a l p a r a m e t e r s t h a t a r e g r e a t e r t h a n o r e q u a l t o t h e r t h - o r d e r o f

a f u l l l o g - l i n e a r m o d e l r e p r e s e n t t h e e x c e s s o r p a u c i t y o f t h e h i g h e r - o r d e r j o i n t s p i k e e v e n t r a t e s ,

{I}

( I {r, . . . , N}) , i n c o m p a r i s o n t o t h e i r c h a n c e r a t e s e x p e c t e d f r o m t h e l o w e r - o r d e r j o i n t s p i k e e v e n t

r a t e s ,

{I} ( I {1, . . . , r1}) .

H o w e v e r , i n t h i s f r a m e w o r k , t h e e x c e s s o r s c a r c e s y n c h r o n o u s s p i k e e v e n t s o f r s u b s e t n e u r o n s r e e c t e d

i n

I ( I r ) a r e c a u s e d n o t o n l y b y t h e n o n - z e r o r t h - o r d e r i n t e r a c t i o n s {I} ( I r ) , b u t a l s o b y a l l

n o n - z e r o h i g h e r - o r d e r i n t e r a c t i o n s {I} ( I {r, . . . , N}) . T h e r e f o r e , o n e c a n n o t e x t r a c t t h e i n u e n c e

o f p u r e r t h - o r d e r s p i k e i n t e r a c t i o n s ( r < N) o n t h e h i g h e r - o r d e r s y n c h r o n y r a t e s u n l e s s t h e p a r a m e t e r s

h i g h e r t h a n t h e r t h - o r d e r s v a n i s h , I = 0 ( I {r+1, . . . , N}) . T o f o r m a l l y e x t r a c t t h e r t h - o r d e r

s p i k e i n t e r a c t i o n s , l e t

Erd e n o t e a l o g - l i n e a r m o d e l w h o s e p a r a m e t e r s h i g h e r t h a n t h e

rt h - o r d e r a r e x e d

a t z e r o . B y s u c c e s s i v e l y a d d i n g h i g h e r - o r d e r t e r m s i n t o t h e m o d e l , w e c a n c o n s i d e r a s e t o f l o g - l i n e a r

m o d e l s f o r m i n g a h i e r a r c h i c a l s t r u c t u r e a s E1 E2 EN. H e r e , Er Er+1 d e n o t e s t h a t Er i s

a s u b - m a n i f o l d o f

Er+1 i n t h e - c o o r d i n a t e s . I n Er , t h e s e t o f n o n - z e r o r t h - o r d e r n a t u r a l p a r a m e t e r s

e x p l a i n s t h e e x c e s s o r p a u c i t y o f r t h - o r d e r s y n c h r o n o u s s p i k e e v e n t s , I ( I r ) , i n c o m p a r i s o n t o t h e i r

c h a n c e o c c u r r e n c e r a t e s e x p e c t e d f r o m t h e l o w e r - o r d e r m a r g i n a l r a t e s , I ( I {1, . . . , r1}) . I n a

f u l l m o d e l EN, t h e l a s t p a r a m e t e r i n t h e l o g - l i n e a r m o d e l , 1N, r e p r e s e n t s t h e p u r e Nt h - o r d e r s p i k e

c o r r e l a t i o n a m o n g t h e o b s e r v e d N n e u r o n s . T h e i n f o r m a t i o n g e o m e t r y t h e o r y d e v e l o p e d b y A m a r i a n d

o t h e r s [ 4 4 , 4 5 , 5 0 , 5 1 ] p r o v i d e s a f r a m e w o r k f o r i l l u s t r a t i n g t h e d u a l i t y a n d o r t h o g o n a l r e l a t i o n s b e t w e e n

t h e - a n d - c o o r d i n a t e s a n d s i n g l i n g o u t t h e h i g h e r - o r d e r c o r r e l a t i o n s f r o m t h e s e c o o r d i n a t e s u s i n g

h i e r a r c h i c a l m o d e l s . I n t h e M e t h o d s s u b s e c t i o n ` M a t h e m a t i c a l p r o p e r t i e s o f l o g - l i n e a r m o d e l ' w e d e s c r i b e

t h e k n o w n p r o p e r t i e s o f t h e l o g - l i n e a r m o d e l u t i l i z e d i n t h i s s t u d y , a n d g i v e r e f e r e n c e s [ 4 4 , 4 5 , 5 0 , 5 1 ] f o r

f u r t h e r d e t a i l s o n t h e i n f o r m a t i o n g e o m e t r y a p p r o a c h t o s p i k e c o r r e l a t i o n s .

9


10/76

S t a t e - s p a c e l o g - l i n e a r m o d e l o f m u l t i p l e n e u r a l s p i k e s e q u e n c e s

T o m o d e l t h e d y n a m i c s o f t h e s p i k e i n t e r a c t i o n s , w e e x t e n d t h e l o g - l i n e a r m o d e l t o a t i m e - d e p e n d e n t

f o r m u l a t i o n . T o d o s o , w e p a r a m e t e r i z e t h e n a t u r a l p a r a m e t e r s a s

t = [t1, . . . ,

t12, . . . ,

t1r, . . .]

i n

d i s c r e t e t i m e s t e p s t (= 1, 2, . . . , T ). W e d e n o t e t h e d i m e n s i o n o f t f o r a n r t h - o r d e r m o d e l a s d =rk=1

(Nk

). T h e t i m e - d e p e n d e n t l o g - l i n e a r m o d e l u p t o t h e r - t h o r d e r i n t e r a c t i o n s ( Er ) a t t i m e t i s t h e n

d e n e d a s

p (x |t) = exp[

I{1,...,r}tIfI (x) (t)]. ( 4 )

T h e c o r r e s p o n d i n g t i m e - v a r y i n g e x p e c t a t i o n p a r a m e t e r s a t t i m e t a r e w r i t t e n a s t = [t1, . . . ,

t12, . . . ,

t1r, . . .]

,

w h e r e e a c h e l e m e n t ( I {1, . . . , r}) i s g i v e n a s

tI = E[fI (x) |t] . ( 5 )

I n n e u r o p h y s i o l o g i c a l e x p e r i m e n t s , n e u r o n a l r e s p o n s e s a r e r e p e a t e d l y o b t a i n e d u n d e r i d e n t i c a l e x p e r -

i m e n t a l c o n d i t i o n s ( ` t r i a l s ' ) . T h u s , w e h e r e c o n s i d e r t h e p a r a l l e l s p i k e s e q u e n c e s r e p e a t e d l y r e c o r d e d

s i m u l t a n e o u s l y f r o m N n e u r o n s o v e r n t r i a l s a n d a l i g n t h e m t o a t r i g g e r e v e n t . W e m o d e l t h e s e s i m u l -

t a n e o u s s p i k e s e q u e n c e s a s t i m e - v a r y i n g , m u l t i v a r i a t e b i n a r y p r o c e s s e s b y a s s u m i n g t h a t t h e s e p a r a l l e l

s p i k e s e q u e n c e s a r e d i s c r e t i z e d i n t i m e i n t o T b i n s o f b i n - w i d t h . L e t Xt,l = (Xt,l1 , Xt,l2 , . . . , X

t,lN ) b e

t h e o b s e r v e d N- t u p l e b i n a r y v a r i a b l e s i n t h e t- t h b i n o f t h e l - t h t r i a l , w h e r e b y a b i n c o n t a i n i n g ` 1' v a l u e s

i n d i c a t e s t h a t o n e o r m o r e s p i k e s o c c u r r e d i n t h e b i n w h e r e a s ` 0' v a l u e s i n d i c a t e t h a t n o s p i k e o c c u r r e d

i n t h e b i n . W e r e g a r d t h e o b s e r v e d s p i k e p a t t e r n

Xt,la t t i m e

ta s a s a m p l e ( f r o m a t o t a l o f

nt r i a l s )

f r o m a j o i n t p r o b a b i l i t y m a s s f u n c t i o n . A n e c i e n t e s t i m a t o r o f

tI i s t h e o b s e r v e d s p i k e s y n c h r o n y r a t e

d e n e d f o r t h e t - t h b i n a s

ytI =1

n

nl=1

fI(Xt,l

)( 6 )

f o r I {1, . . . , r}. T h e s y n c h r o n y r a t e s u p t o t h e r - t h o r d e r , yt = [yt1, . . . , yt12, . . . , y

t1r, . . .]

, c o n s t i t u t e

a s u c i e n t s t a t i s t i c f o r t h e l o g - l i n e a r m o d e l u p t o t h e r - t h o r d e r i n t e r a c t i o n .

1 0


11/76

U s i n g E q s . 4 a n d 6 , t h e l i k e l i h o o d o f t h e o b s e r v e d p a r a l l e l s p i k e s e q u e n c e s i s g i v e n a s

p (y1:T|1:T) =

nl=1

Tt=1

exp[

I{1,...,r} tIfI

(Xt,l

) (t)]

=

Tt=1

exp[n(

I{1,...,r}tIy

tI (t))]

=Tt=1

exp[n(ytt (t))], ( 7 )

w i t h y1:T = {y1,y2, . . . ,yT} a n d 1:T = {1,2, . . . ,T}. H e r e , w e a s s u m e d t h a t t h e o b s e r v e d s p i k e

p a t t e r n s a r e c o n d i t i o n a l l y i n d e p e n d e n t a c r o s s b i n s g i v e n t h e t i m e - d e p e n d e n t n a t u r a l p a r a m e t e r s , a n d

t h a t t h e s a m p l e s a c r o s s t r i a l s a r e i n d e p e n d e n t .

O u r p r i o r a s s u m p t i o n a b o u t t h e t i m e - d e p e n d e n t n a t u r a l p a r a m e t e r s i s e x p r e s s e d b y t h e f o l l o w i n g

s t a t e e q u a t i o n

t = Ft1 + t, ( 8 )

f o r t = 2, . . . , T . M a t r i x F ( d d m a t r i x ) c o n t a i n s t h e r s t o r d e r a u t o r e g r e s s i v e p a r a m e t e r s . t ( d 1

m a t r i x ) i s a r a n d o m v e c t o r d r a w n f r o m a z e r o - m e a n m u l t i v a r i a t e n o r m a l d i s t r i b u t i o n w i t h c o v a r i a n c e

m a t r i x

Q( d d m a t r i x ) . T h e i n i t i a l v a l u e s o b e y 1 N(,) , w i t h ( d 1 m a t r i x ) b e i n g t h e m e a n

a n d

(

ddm a t r i x ) t h e c o v a r i a n c e m a t r i x . T h e p a r a m e t e r s

F,

Q,

, a n d

a r e c a l l e d h y p e r - p a r a m e t e r s .

I n t h e f o l l o w i n g , w e d e n o t e t h e s e t o f h y p e r - p a r a m e t e r s b y w : w = [F,Q,,] .

G i v e n t h e l i k e l i h o o d ( E q . 7 ) a n d p r i o r d i s t r i b u t i o n ( E q . 8 ) , w e a i m a t o b t a i n i n g t h e p o s t e r i o r d e n s i t y

p (1:T|y1:T,w) =p (y1:T|1:T)p (1:T|w)

p (y1:T|w),

( 9 )

u s i n g B a y e s ' t h e o r e m . T h e p o s t e r i o r d e n s i t y p r o v i d e s u s w i t h t h e m o s t l i k e l y p a t h s o f t h e l o g - l i n e r

p a r a m e t e r s g i v e n t h e s p i k e d a t a ( m a x i m u m a p o s t e r i o r i , M A P , e s t i m a t e s ) a s w e l l a s t h e u n c e r t a i n t y i n

i t s e s t i m a t i o n . T h e p o s t e r i o r d e n s i t y d e p e n d s o n t h e c h o i c e o f t h e h y p e r - p a r a m e t e r s ,

w. H e r e , t h e h y p e r -

p a r a m e t e r s , w , e x c e p t f o r t h e c o v a r i a n c e m a t r i x f o r t h e i n i t i a l p a r a m e t e r s , a r e o p t i m i z e d u s i n g t h e

p r i n c i p l e o f m a x i m i z i n g t h e l o g a r i t h m o f t h e m a r g i n a l l i k e l i h o o d ( t h e d e n o m i n a t o r o f E q . 9 , a l s o r e f e r r e d

t o a s t h e e v i d e n c e ) ,

l (w) = log

p (y1:T,1:T|w) d1:T. ( 1 0 )

1 1


12/76

F o r n o n - G a u s s i a n o b s e r v a t i o n m o d e l s s u c h a s E q . 7 , t h e e x a c t c a l c u l a t i o n o f E q . 1 0 i s d i c u l t ( b u t s e e

t h e a p p r o x i m a t e f o r m u l a i n t h e M e t h o d s s e c t i o n ) . I n s t e a d , w e u s e t h e E M a l g o r i t h m [ 6 8 , 7 8 ] t o e c i e n t l y

c o m b i n e t h e c o n s t r u c t i o n o f t h e p o s t e r i o r d e n s i t y a n d t h e o p t i m i z a t i o n o f t h e h y p e r - p a r a m e t e r s u n d e r t h e

m a x i m u m l i k e l i h o o d p r i n c i p l e . U s i n g t h i s a l g o r i t h m , w e i t e r a t i v e l y c o n s t r u c t a p o s t e r i o r d e n s i t y w i t h t h e

g i v e n h y p e r - p a r a m e t e r s ( E - s t e p ) , a n d t h e n u s e i t t o o p t i m i z e t h e h y p e r - p a r a m e t e r s ( M - s t e p ) . T o o b t a i n

t h e p o s t e r i o r d e n s i t y ( E q . 9 ) i n t h e E - s t e p , w e d e v e l o p a n o n l i n e a r r e c u r s i v e B a y e s i a n l t e r / s m o o t h e r . T h e

l t e r d i s t r i b u t i o n i s s e q u e n t i a l l y c o n s t r u c t e d b y c o m b i n i n g t h e p r e d i c t i o n d i s t r i b u t i o n f o r t i m e

tb a s e d

o n t h e s t a t e e q u a t i o n ( E q . 8 ) a n d t h e l i k e l i h o o d f u n c t i o n f o r t h e s p i k e d a t a a t t i m e t, E q . 4 . F i g u r e 1

i l l u s t r a t e s t h e r e c u r s i v e l t e r i n g p r o c e s s i n m o d e l s u b s p a c e Er . I n c o m b i n a t i o n w i t h a x e d - i n t e r v a l

s m o o t h i n g a l g o r i t h m , w e d e r i v e t h e s m o o t h p o s t e r i o r d e n s i t y ( E q . 9 ) . T h e t i m e - d e p e n d e n t l o g - l i n e a r

p a r a m e t e r s ( n a t u r a l p a r a m e t e r s ) a r e e s t i m a t e d a s M A P e s t i m a t e s o f t h e o p t i m i z e d s m o o t h p o s t e r i o r

d e n s i t y . I n t h e M e t h o d s s e c t i o n , p l e a s e r e f e r t o t h e s u b s e c t i o n o n ` B a y e s i a n e s t i m a t i o n o f d y n a m i c

s p i k e i n t e r a c t i o n s ' f o r t h e d e r i v a t i o n o f t h e o p t i m i z a t i o n m e t h o d f o r h y p e r - p a r a m e t e r s , a l o n g w i t h t h e

l t e r i n g / s m o o t h i n g m e t h o d s . W e s u m m a r i z e a m e t h o d f o r e s t i m a t i n g t h e d y n a m i c s p i k e i n t e r a c t i o n s i n

T a b l e 1 .

A p p l i c a t i o n o f s t a t e - s p a c e l o g - l i n e a r m o d e l t o s i m u l a t e d s p i k e d a t a

E s t i m a t i o n o f t i m e - v a r y i n g p a i r w i s e s p i k e i n t e r a c t i o n

T o d e m o n s t r a t e t h e u t i l i t y o f t h e d e v e l o p e d m e t h o d s f o r t h e a n a l y s i s o f d y n a m i c s p i k e c o r r e l a t i o n s , w e

r s t c o n s i d e r a n o n s t a t i o n a r y p a i r w i s e s p i k e c o r r e l a t i o n a n a l y s i s . F o r t h i s g o a l , w e a p p l y t h e s t a t e - s p a c e

m e t h o d t o t w o e x a m p l e s o f s i m u l a t e d s p i k e d a t a , w i t h N = 2 n e u r o n s . T h e d y n a m i c s p i k e c o r r e l a t i o n

b e t w e e n t w o n e u r o n s c a n b e a n a l y z e d b y c o n c e p t u a l l y s i m p l e r h i s t o g r a m - b a s e d m e t h o d s , e . g . , a j o i n t

p e r i - s t i m u l u s t i m e h i s t o g r a m ( J P S T H ) . H o w e v e r , e v e n f o r t h e p a i r - a n a l y s i s , t h e p r o p o s e d m e t h o d c a n

b e a d v a n t a g e o u s i n t h e f o l l o w i n g t w o a s p e c t s . F i r s t , t h e p r o p o s e d m e t h o d p r o v i d e s a c r e d i b l e i n t e r v a l

( a B a y e s i a n a n a l o g u e o f a c o n d e n c e i n t e r v a l ) . U s i n g t h e r e c u r s i v e B a y e s i a n l t e r i n g / s m o o t h i n g a l g o -

r i t h m d e v e l o p e d i n t h e M e t h o d s s e c t i o n , w e o b t a i n t h e j o i n t p o s t e r i o r d e n s i t y o f t h e l o g - l i n e a r p a r a m e t e r s

( E q . 9 ) . T h e p o s t e r i o r d e n s i t y p r o v i d e s , n o t o n l y t h e m o s t l i k e l y p a t h o f t h e l o g - l i n e r p a r a m e t e r s ( M A P

e s t i m a t e s ) , b u t a l s o t h e u n c e r t a i n t y i n i t s e s t i m a t i o n . T h e c r e d i b l e i n t e r v a l a l l o w s u s t o e x a m i n e w h e t h e r

t h e p a i r w i s e s p i k e c o r r e l a t i o n i s s t a t i s t i c a l l y s i g n i c a n t ( b u t s e e t h e l a t e r s e c t i o n o n T e s t i n g s p i k e c o r r e l a -

1 2


13/76

t i o n i n n o n s t a t i o n a r y s p i k e d a t a f o r t h e f o r m a l u s e o f t h e j o i n t p o s t e r i o r d e n s i t y f o r t e s t i n g t h e e x i s t e n c e

o f t h e s p i k e c o r r e l a t i o n i n b e h a v i o r a l l y r e l e v a n t t i m e p e r i o d s ) . S e c o n d , a n E M a l g o r i t h m d e v e l o p e d i n t h e

p r o p o s e d m e t h o d o p t i m i z e s t h e s m o o t h n e s s o f t h e e s t i m a t e d d y n a m i c s o f t h e p a i r w i s e c o r r e l a t i o n ( i . e . ,

o p t i m i z a t i o n o f t h e h y p e r - p a r a m e t e r s ,

w, i n t h e s t a t e e q u a t i o n , E q . 8 ) . B y t h e a u t o m a t i c s e l e c t i o n o f

t h e s m o o t h n e s s p a r a m e t e r , w e c a n a v o i d t h e p r o b l e m o f s p u r i o u s m o d u l a t i o n i n t h e e s t i m a t e d d y n a m i c

s p i k e c o r r e l a t i o n c a u s e d b y l o c a l n o i s e , o r e x c e s s i v e s m o o t h i n g o f t h e u n d e r l y i n g m o d u l a t i o n .

F i g u r e 2 A d i s p l a y s a n a p p l i c a t i o n o f o u r s t a t e - s p a c e m e t h o d t o 2 p a r a l l e l s p i k e s e q u e n c e s ,

Xt,li ( i = 1, 2,

t = 1, . . . , T , a n d l = 1, . . . , n) , w h i c h a r e c o r r e l a t e d i n a t i m e - v a r y i n g f a s h i o n . T h e d a t a a r e g e n e r a t e d

a s r e a l i z a t i o n s f r o m a t i m e - d e p e n d e n t f o r m u l a t i o n o f a f u l l l o g - l i n e a r m o d e l o f 2 n e u r o n s ( F i g u r e 2 A l e f t ,

r e p e a t e d t r i a l s : n = 50 ; d u r a t i o n : T = 400 b i n s o f w i d t h ) . H e r e , t h e u n d e r l y i n g m o d e l p a r a m e t e r s , t1 ,

t2 , a n d t12 ( F i g u r e 2 A r i g h t , d a s h e d l i n e s ) , a r e d e s i g n e d s o t h a t t h e i n d i v i d u a l s p i k e r a t e s a r e c o n s t a n t

( t1 = 0.0384 [spike/] a n d t2 = 0.0194 [spike/]) , w h i l e t h e s p i k e c o r r e l a t i o n b e t w e e n t h e t w o n e u r o n s ,

t12 , v a r i e s i n t i m e , i . e . , a c r o s s b i n s ( s y n c h r o n o u s s p i k e e v e n t s c a u s e d b y t h e t i m e - d e p e n d e n t c o r r e l a t i o n a r e

m a r k e d a s b l u e c i r c l e s i n F i g u r e 2 A l e f t ) . W h i l e t h e b i n - w i d t h ,

, i s a n a r b i t r a r y v a l u e i n t h i s s i m u l a t i o n

a n a l y s i s , t h e b i n - w i d t h t y p i c a l l y s e l e c t e d i n s p i k e c o r r e l a t i o n a n a l y s e s i s o n t h e m i l l i - s e c o n d o r d e r . I f

t h e b i n - w i d t h i s = 1 ms, t h e i n d i v i d u a l s p i k e r a t e s o f s i m u l a t e d n e u r o n s 1 a n d 2 a r e 3 8 . 4 H z a n d

1 9 . 4 H z , r e s p e c t i v e l y . T h e c o r r e l a t i o n c o e c i e n t c a l c u l a t e d f r o m t h e s e p a r a l l e l s p i k e s e q u e n c e s i s 0 . 0 7 6 3 .

T h e s e v a l u e s a r e w i t h i n t h e r e a l i s t i c r a n g e o f v a l u e s o b t a i n e d f r o m e x p e r i m e n t a l l y r e c o r d e d n e u r o n a l s p i k e

s e q u e n c e s . B y a p p l y i n g t h e s t a t e - s p a c e m e t h o d t o t h e p a r a l l e l s p i k e s e q u e n c e s , w e o b t a i n t h e s m o o t h

p o s t e r i o r d e n s i t y o f t h e l o g - l i n e a r p a r a m e t e r s . T h e r i g h t p a n e l s i n F i g u r e 2 A d i s p l a y t h e M A P e s t i m a t e s

o f t h e l o g - l i n e a r p a r a m e t e r s ( s o l i d l i n e s ) . T h e a n a l y s i s r e v e a l s t h e t i m e - v a r y i n g p a i r w i s e i n t e r a c t i o n

b e t w e e n t h e t w o n e u r o n s ( F i g u r e 2 A r i g h t , b o t t o m ) . T h e g r a y b a n d s i n d i c a t e 9 9 % c r e d i b l e i n t e r v a l s

f r o m t h e p o s t e r i o r d e n s i t y , E q . 9 . W e u s e d m a r g i n a l p o s t e r i o r d e n s i t i e s , p(tI|y1:T,w) ( I {1, 2}) ,

t o d i s p l a y t h e c r e d i b l e i n t e r v a l s f o r t h e i n d i v i d u a l l o g - l i n e a r p a r a m e t e r s . T h e v a r i a n c e s o f t h e i n d i v i d u a l

m a r g i n a l d e n s i t i e s w e r e o b t a i n e d f r o m t h e d i a g o n a l o f a c o v a r i a n c e m a t r i x o f t h e s m o o t h j o i n t p o s t e r i o r

d e n s i t y ( E q . 3 5 ) .

F i g u r e 2 B s h o w s a n a p p l i c a t i o n o f t h e m e t h o d t o p a r a l l e l s p i k e s e q u e n c e s o f t i m e - v a r y i n g s p i k e r a t e s .

H e r e , t h e u n d e r l y i n g m o d e l p a r a m e t e r s a r e c o n s t r u c t e d s o t h a t t h e t w o p a r a l l e l s p i k e s e q u e n c e s a r e

i n d e p e n d e n t (

t12 = 0 f o r t = 1, . . . , T ) , w h i l e t h e i n d i v i d u a l s p i k e r a t e s v a r y i n t i m e ( i . e . , a c r o s s t h e b i n s ) .

T h e o b s e r v a t i o n o f s y n c h r o n o u s s p i k e e v e n t s ( F i g u r e 2 B l e f t , b l u e c i r c l e s ) c o n r m s t h a t c h a n c e s p i k e

1 3


14/76

c o i n c i d e n c e s f r e q u e n t l y a n d t r i v i a l l y o c c u r a t h i g h e r s p i k e r a t e s . T h e a n a l y s i s b a s e d o n o u r s t a t e - s p a c e

m e t h o d r e v e a l s t h a t v i r t u a l l y n o s p i k e c o r r e l a t i o n e x i s t s b e t w e e n t h e t w o n e u r o n s , d e s p i t e t h e p r e s e n c e

o f t i m e - v a r y i n g r a t e s o f s y n c h r o n o u s s p i k e e v e n t s ( F i g u r e 2 B r i g h t , b o t t o m ) .

S i m u l t a n e o u s e s t i m a t i o n o f t i m e - v a r y i n g p a i r w i s e s p i k e i n t e r a c t i o n s

I n t h i s s u b s e c t i o n , w e e x t e n d t h e p a i r w i s e c o r r e l a t i o n a n a l y s i s o f 2 n e u r o n s t o t h e s i m u l t a n e o u s a n a l y s i s

o f m u l t i p l e p a i r w i s e i n t e r a c t i o n s i n t h e p a r a l l e l s p i k e s e q u e n c e s o b t a i n e d f r o m m o r e t h a n 2 n e u r o n s .

F i g u r e 3 d e m o n s t r a t e s a n a p p l i c a t i o n o f o u r m e t h o d t o s i m u l a t e d s p i k e s e q u e n c e s o f

N = 8n e u r o n s .

A s a n u n d e r l y i n g m o d e l , w e c o n s t r u c t a t i m e - d e p e n d e n t l o g - l i n e a r m o d e l o f 8 n e u r o n s w i t h t i m e - v a r y i n g

r a t e s a n d p a i r w i s e i n t e r a c t i o n s ( tI, I 1, 2 , d u r a t i o n : T = 500 b i n s ) . T h e h i g h e r - o r d e r l o g - l i n e a r

p a r a m e t e r s a r e s e t t o z e r o , i . e . , n o h i g h e r - o r d e r i n t e r a c t i o n s a r e i n c l u d e d i n t h e m o d e l . F i g u r e 3 A d i s p l a y s

s n a p s h o t s o f t h e d y n a m i c s o f t h e p a r a m e t e r s o f t h e i n d i v i d u a l s p i k e r a t e s , tI ( I 1 ) , a n d p a i r w i s e

i n t e r a c t i o n s , tI ( I 2 ) , a t t = 100, 200, 300, 400and500. F i g u r e 3 B s h o w s t h e p a r a l l e l s p i k e s e q u e n c e s

( 5 0 o u t o f 2 0 0 t r i a l s a r e d i s p l a y e d ) s i m u l a t e d o n t h e b a s i s o f t h i s m o d e l . T h e s p i k e s i n v o l v e d i n t h e

p a i r w i s e , s y n c h r o n o u s s p i k e e v e n t s b e t w e e n a n y t w o o f t h e n e u r o n s ( i n t o t a l : 2 8 p a i r s ) a r e s u p e r i m p o s e d

a n d m a r k e d w i t h b l u e c i r c l e s . F i g u r e 3 C d i s p l a y s s n a p s h o t s o f t h e s i m u l t a n e o u s M A P e s t i m a t e s o f t h e

p a i r w i s e i n t e r a c t i o n s , tI ( I 2 ) , o f a l o g - l i n e a r m o d e l o f 8 n e u r o n s a p p l i e d t o t h e p a r a l l e l s p i k e t r a i n

d a t a . I n a d d i t i o n , t h e s p i k e r a t e s w e r e e s t i m a t e d f r o m t h e d u a l c o o r d i n a t e s , i . e . ,

t

I(

I 1) . T h e

r e s u l t s d e m o n s t r a t e t h a t t h e s i m u l t a n e o u s e s t i m a t i o n o f t i m e - v a r y i n g , m u l t i p l e p a i r w i s e i n t e r a c t i o n s c a n

b e c a r r i e d o u t b y u s i n g a s t a t e - s p a c e l o g - l i n e a r m o d e l w i t h u p t o p a i r w i s e i n t e r a c t i o n t e r m s .

E s t i m a t i o n o f t i m e - v a r y i n g t r i p l e - w i s e s p i k e i n t e r a c t i o n

A n o t h e r i m p o r t a n t a s p e c t o f t h e p r o p o s e d m e t h o d i s i t s a b i l i t y t o e s t i m a t e t i m e - v a r y i n g h i g h e r - o r d e r s p i k e

i n t e r a c t i o n s t h a t c a n n o t b e r e v e a l e d b y a p a i r w i s e a n a l y s i s . T o d e m o n s t r a t e t h i s , w e a p p l y t h e s t a t e - s p a c e

l o g - l i n e a r m o d e l t o

N = 3p a r a l l e l s p i k e s e q u e n c e s b y c o n s i d e r i n g u p t o a t r i p l e - w i s e i n t e r a c t i o n ( i . e . ,

t h e f u l l l o g - l i n e a r m o d e l ) . S p i k e d a t a ( F i g u r e 4 A ) a r e g e n e r a t e d b y a t i m e - d e p e n d e n t l o g - l i n e a r m o d e l

( F i g u r e 4 C , d a s h e d l i n e s ) r e p e a t e d l y i n n = 100 t r i a l s . F i g u r e 4 C d i s p l a y s t h e M A P e s t i m a t e s ( s o l i d l i n e s )

o f t h e l o g - l i n e a r p a r a m e t e r s f r o m t h e d a t a s h o w n i n F i g u r e 4 A . H e r e , n o n - z e r o p a r a m e t e r t123 r e p r e s e n t s

a t r i p l e - w i s e s p i k e c o r r e l a t i o n , i . e . , e x c e s s s y n c h r o n o u s s p i k e s a c r o s s t h e t h r e e n e u r o n s o r a b s e n c e o f s u c h

s y n c h r o n y c o m p a r e d t o t h e e x p e c t a t i o n i f a s s u m i n g p a i r w i s e c o r r e l a t i o n s . T h e g r a y b a n d i s t h e 9 9 %

1 4


15/76

c r e d i b l e i n t e r v a l f r o m t h e m a r g i n a l p o s t e r i o r d e n s i t y , p (tI|y1:T,w) , f o r I {1, 2, 3}.

T h e c r e d i b l e i n t e r v a l o f t h e h i g h e r - o r d e r ( t r i p l e - w i s e ) l o g - l i n e a r p a r a m e t e r i n t h e b o t t o m p a n e l o f

F i g u r e 4 C a p p e a r s t o b e l a r g e r t h a n t h o s e o f t h e l o w e r - o r d e r p a r a m e t e r s . I n g e n e r a l , t h e o b s e r v e d

f r e q u e n c y o f s i m u l t a n e o u s s p i k e o c c u r r e n c e s d e c r e a s e s a s t h e n u m b e r o f n e u r o n s t h a t j o i n t h e s y n c h r o n o u s

s p i k i n g a c t i v i t i e s i n c r e a s e s ( n o t e t h a t t h e m a r g i n a l j o i n t s p i k e o c c u r r e n c e r a t e , E q . 2 , i s a n o n - i n c r e a s i n g

f u n c t i o n w i t h r e s p e c t t o t h e o r d e r o f i n t e r a c t i o n , i . e . ,

I J i f t h e e l e m e n t s o f I a r e i n c l u d e d i n J) . T h u s ,

t h e e s t i m a t i o n v a r i a n c e t y p i c a l l y i n c r e a s e s f o r t h e h i g h e r - o r d e r p a r a m e t e r s , a s s e e n i n t h e b o t t o m p a n e l

o f F i g u r e 4 C . R e l a t e d t o t h e a b o v e , b e c a u s e o f t h e p a u c i t y o f s a m p l e s f o r h i g h e r - o r d e r j o i n t s p i k e e v e n t s ,

t h e a u t o m a t i c s m o o t h n e s s o p t i m i z a t i o n m e t h o d s e l e c t s h y p e r - p a r a m e t e r s t h a t m a k e t h e t r a j e c t o r i e s o f

t h e h i g h e r - o r d e r l o g - l i n e a r p a r a m e t e r s s t i i n o r d e r t o a v o i d s t a t i s t i c a l u c t u a t i o n c a u s e d b y a l o c a l n o i s e

s t r u c t u r e . G i v e n t h e l i m i t e d n u m b e r o f t r i a l s a v a i l a b l e f o r d a t a a n a l y s e s , t h e s e o b s e r v a t i o n s s h o w t h e

n e c e s s i t y o f a m e t h o d t o v a l i d a t e i n c l u s i o n o f t h e h i g h e r - o r d e r i n t e r a c t i o n t e r m s i n t h e m o d e l .

A d d i t i o n a l l y , w e o b s e r v e t h a t i n t h e l a t e r p e r i o d o f s p i k e d a t a ( 3 0 0 - 5 0 0 b i n s ) , t h e d y n a m i c s o f t h e

e s t i m a t e d t r i p l e - w i s e s p i k e i n t e r a c t i o n d o n o t f o l l o w t h e u n d e r l y i n g t r a j e c t o r y f a i t h f u l l y : T h e u n d e r l y i n g

t r a j e c t o r y f a l l s o n o u t s i d e t h e 9 9 % c r e d i b l e i n t e r v a l . S i m i l a r r e s u l t s a r e s o m e t i m e s o b s e r v e d w h e n a n

a u t o r e g r e s s i v e p a r a m e t e r ,

F, i n a s t a t e m o d e l i s o p t i m i z e d ( E q . 8 ) . I n c o n t r a s t , w h e n w e r e p l a c e t h e

a u t o r e g r e s s i v e p a r a m e t e r w i t h a n i d e n t i t y m a t r i x ( i . e . ,

F = I, w h e r e I i s t h e i d e n t i t y m a t r i x ) , t h e c r e d i b l e

i n t e r v a l s b e c o m e l a r g e r . T h e r e f o r e , s u c h o b s e r v a t i o n s d o n o t t y p i c a l l y o c c u r . T h u s , w e a l s o n e e d a m e t h o d

f o r v a l i d a t i n g t h e i n c l u s i o n o f t h e a u t o r e g r e s s i v e p a r a m e t e r i n t h e s t a t e m o d e l u s i n g a n o b j e c t i v e c r i t e r i o n .

D e t a i l e d a n a l y s e s o f t h e s e t o p i c s w i l l b e g i v e n i n t h e n e x t s e c t i o n u s i n g t h e e x a m p l e o f 3 s i m u l a t e d n e u r o n s

d i s p l a y e d i n F i g u r e 4 . I n t h e a b o v e e x a m p l e , t h e s t a t e - s p a c e l o g - l i n e a r m o d e l w i t h a n o p t i m i z e d

Fp r o v i d e s

a b e t t e r o v e r a l l t s t o t h e s p i k e d a t a t h a n t h e m o d e l u s i n g F = I, d e s p i t e a n i n a c c u r a t e r e p r e s e n t a t i o n

i n p a r t o f i t s e s t i m a t i o n . H o w e v e r , f o r t h e p u r p o s e o f t e s t i n g t h e s p i k e c o r r e l a t i o n i n a p a r t i c u l a r p e r i o d

o f s p i k e d a t a , w e r e c o m m e n d u s i n g a n i d e n t i t y m a t r i x a s a n a u t o r e g r e s s i v e p a r a m e t e r , i . e .

F = I, i n t h e

s t a t e m o d e l .

S e l e c t i o n o f s t a t e - s p a c e l o g - l i n e a r m o d e l

F o r a g i v e n n u m b e r o f n e u r o n s , N, w e c a n c o n s t r u c t s t a t e - s p a c e l o g - l i n e a r m o d e l s t h a t c o n t a i n u p t o t h e

r t h - o r d e r i n t e r a c t i o n s ( r = 1, . . . , N ) . W h i l e t h e i n c l u s i o n o f i n c r e a s i n g l y h i g h e r - o r d e r i n t e r a c t i o n t e r m s

i n t h e m o d e l i m p r o v e s i t s a c c u r a c y w h e n d e s c r i b i n g t h e p r o b a b i l i t i e s o f 2N s p i k e p a t t e r n s , t h e e s t i m a t i o n

1 5


16/76

o f t h e h i g h e r - o r d e r l o g - l i n e a r p a r a m e t e r s o f t h e m o d e l m a y s u e r f r o m l a r g e s t a t i s t i c a l u c t u a t i o n s c a u s e d

b y t h e p a u c i t y o f s y n c h r o n o u s s p i k e s i n t h e d a t a , l e a d i n g t o a n e r r o n e o u s e s t i m a t i o n o f s u c h p a r a m e t e r s .

T h i s p r o b l e m i s k n o w n a s ` o v e r - t t i n g ' t h e m o d e l t o t h e d a t a . A n o v e r - t t e d m o d e l e x p l a i n s t h e o b s e r v e d

d a t a , b u t l o s e s i t s p r e d i c t i v e a b i l i t y f o r u n s e e n d a t a ( e . g . , s p i k e s e q u e n c e s i n a n e w t r i a l u n d e r t h e

s a m e e x p e r i m e n t a l c o n d i t i o n s ) . I n t h i s c a s e , t h e e x c l u s i o n o f h i g h e r - o r d e r p a r a m e t e r s f r o m t h e m o d e l

m a y b e t t e r e x p l a i n t h e u n s e e n d a t a e v e n i f a n u n d e r l y i n g s p i k e g e n e r a t i o n p r o c e s s c o n t a i n s h i g h e r - o r d e r

i n t e r a c t i o n s . T h e m o d e l t h a t h a s t h i s p r e d i c t i v e a b i l i t y b y o p t i m a l l y r e s o l v i n g t h e b a l a n c e b e t w e e n

g o o d n e s s - o f - t t o t h e o b s e r v e d d a t a a n d t h e m o d e l s i m p l i c i t y i s o b t a i n e d b y m a x i m i z i n g t h e c r o s s -

v a l i d a t e d l i k e l i h o o d o r m i n i m i z i n g t h e s o - c a l l e d i n f o r m a t i o n c r i t e r i o n . I n t h i s s e c t i o n , w e s e l e c t a s t a t e -

s p a c e m o d e l t h a t m i n i m i z e s t h e A k a i k e i n f o r m a t i o n c r i t e r i o n ( A I C ) [ 7 3 ] , w h i c h i s g i v e n a s

A I C = 2log

p (y1:T,1:T|w) d1:T + 2k. ( 1 1 )

T h e r s t t e r m i s t h e l o g m a r g i n a l l i k e l i h o o d , a s i n E q . 1 0 . T h e s e c o n d t e r m t h a t i n c l u d e s

ki s a p e n a l -

i z a t i o n t e r m . T h e A I C u s e s t h e n u m b e r o f f r e e p a r a m e t e r s i n t h e m a r g i n a l m o d e l ( i . e . , t h e n u m b e r o f

f r e e p a r a m e t e r s i n w ) f o r k . P l e a s e s e e i n t h e M e t h o d s s u b s e c t i o n ` S e l e c t i o n o f s t a t e - s p a c e m o d e l b y

i n f o r m a t i o n c r i t e r i a ' f o r a n a p p r o x i m a t i o n m e t h o d t o c o m p u t e t h e m a r g i n a l l i k e l i h o o d . S e l e c t i n g a m o d e l

t h a t m i n i m i z e s t h e A I C i s e x p e c t e d t o b e e q u i v a l e n t t o s e l e c t i n g a m o d e l t h a t m i n i m i z e s t h e e x p e c t e d

( o r a v e r a g e ) d i s t a n c e b e t w e e n t h e e s t i m a t e d m o d e l a n d u n k n o w n u n d e r l y i n g d i s t r i b u t i o n t h a t g e n e r a t e d

t h e d a t a , w h e r e t h e ` d i s t a n c e ' m e a s u r e u s e d i s t h e K u l l b a c k - L e i b l e r ( K L ) d i v e r g e n c e . T h e e x p e c t a t i o n o f

t h e K L d i v e r g e n c e i s c a l l e d t h e K L r i s k f u n c t i o n .

S e l e c t i o n f r o m h i e r a r c h i c a l m o d e l s

H e r e , w e e x a m i n e t h e v a l i d i t y o f i n c l u d i n g h i g h e r - o r d e r i n t e r a c t i o n t e r m s i n t h e m o d e l b y u s i n g t h e A I C .

W e a p p l y t h e m o d e l s e l e c t i o n m e t h o d t o t h e s p i k e t r a i n d a t a o f N = 3 s i m u l a t e d n e u r o n s . T h e d a t a

a r e g e n e r a t e d b y t h e t i m e - v a r y i n g , f u l l l o g - l i n e a r m o d e l t h a t c o n t a i n s a n o n - z e r o t r i p l e - w i s e i n t e r a c t i o n

t e r m s s h o w n i n F i g u r e 4 C ( d a s h e d l i n e s ) . T h e A I C s a r e c o m p u t e d f o r h i e r a r c h i c a l s t a t e - s p a c e l o g - l i n e a r

m o d e l s , i . e . , f o r m o d e l s o f i n t e r a c t i o n o r d e r s u p t o r = 1, 2, 3. T o t e s t t h e i n u e n c e o f t h e d a t a s a m p l e

s i z e o n t h e m o d e l s e l e c t i o n , w e v a r y t h e n u m b e r o f t r i a l s , n, u s e d t o t t h e h i e r a r c h i c a l l o g - l i n e a r m o d e l s .

T h e r e s u l t s a r e s h o w n i n T a b l e 2 f o r

n = 2, 5, 20, 100, 200. F o r a s m a l l n u m b e r o f t r i a l s (

n = 5) , a m o d e l

1 6


17/76

w i t h o u t a n y i n t e r a c t i o n s t r u c t u r e ( r = 1) i s s e l e c t e d . F o r l a r g e r n u m b e r s o f t r i a l s , m o d e l s w i t h l a r g e r

i n t e r a c t i o n o r d e r s a r e s e l e c t e d . F o r n = 100and 200, t h e f u l l l o g - l i n e a r m o d e l ( r = 3 ) i s s e l e c t e d .

B e l o w , w e e x a m i n e w h e t h e r t h e A I C s e l e c t e d a m o d e l t h a t m i n i m i z e s t h e K L r i s k f u n c t i o n b y d i r e c t l y

c o m p u t i n g i t s a p p r o x i m a t i o n u s i n g t h e k n o w n u n d e r l y i n g m o d e l p a r a m e t e r s . F i r s t , T a b l e 3 s h o w s h o w

o f t e n a s p e c i c o r d e r i s s e l e c t e d b y t h e A I C b y r e p e a t e d l y a p p l y i n g t h e m e t h o d t o d i e r e n t s a m p l e s

g e n e r a t e d f r o m t h e s a m e u n d e r l y i n g l o g - l i n e a r p a r a m e t e r s ( F i g u r e 4 C , d a s h e d l i n e s ) . W e e x a m i n e t w o

e x a m p l e s : O n e i n w h i c h a s a m p l e i s c o m p o s e d o f

n = 5t r i a l s ( l e f t ) a n d t h e o t h e r o f

n = 100t r i a l s ( r i g h t ) .

W e r e p e a t e d l y c o m p u t e t h e A I C s o f s t a t e - s p a c e m o d e l s o f d i e r e n t o r d e r s ( r = 1, 2, 3) a p p l i e d t o 1 0 0

d a t a r e a l i z a t i o n s ( o f t h e r e s p e c t i v e n u m b e r o f t r i a l s ) . W e t h e n c o u n t h o w o f t e n a m o d e l o f o r d e r r i s

s e l e c t e d b y m i n i m i z i n g t h e A I C . F o r c o m p a r i s o n , t h e t a b l e i n c l u d e s t h e o u t c o m e s f r o m o t h e r c r i t e r i a s u c h

a s t h e B a y e s i a n i n f o r m a t i o n c r i t e r i o n ( B I C ) [ 7 9 , 8 0 ] a n d t h e p r e d i c t i v e d i v e r g e n c e f o r i n d i r e c t o b s e r v a t i o n

m o d e l s ( P D I O ) [ 8 1 ] , w h i c h a r e s u g g e s t e d f o r m o d e l s c o n t a i n i n g l a t e n t v a r i a b l e s . P l e a s e s e e t h e M e t h o d s

s e c t i o n f o r t h e d e t a i l s o f t h e s e c r i t e r i a . N e x t , T a b l e 4 d i s p l a y s t h e m o s t f r e q u e n t l y s e l e c t e d m o d e l ( f r o m

r= 1 , 2 , 3 ) b y t h e v a r i o u s i n f o r m a t i o n c r i t e r i a w h e n t h e y a r e a p p l i e d t o 1 0 0 d a t a r e a l i z a t i o n s a s a f u n c t i o n

o f t h e n u m b e r o f t r i a l s i n e a c h d a t a s e t , n = 2, 5, 20, 100, 200 ( s e e T a b l e 3 f o r t h e o u t c o m e s o f n = 5 a n d

n = 100) .

W e c o m p a r e t h e o u t c o m e s o f t h e A I C a n d t w o o t h e r i n f o r m a t i o n c r i t e r i a w i t h t h e m o d e l o r d e r t h a t

m i n i m i z e s t h e K L r i s k f u n c t i o n ( K L - r i s k ) . F o r t h i s g o a l , w e i n c l u d e i n T a b l e 4 t h e m o d e l o r d e r t h a t

m i n i m i z e s t h e K L - r i s k b e t w e e n t h e u n d e r l y i n g l o g - l i n e a r m o d e l ( F i g u r e 4 C , d a s h e d l i n e s ) a n d e s t i m a t e s

o f t h e r t h - o r d e r m o d e l . I n a d d i t i o n t o t h e K L - r i s k , w e c a l c u l a t e t h e m e a n s q u a r e d e r r o r ( M S E ) b e t w e e n

t h e u n d e r l y i n g m o d e l p a r a m e t e r s a n d c o r r e s p o n d i n g e s t i m a t e s . P l e a s e s e e i n t h e c a p t i o n o f T a b l e 4 h o w

w e c o m p u t e t h e K L - r i s k a n d M S E f o r t h i s a n a l y s i s . W e n d t h a t t h e K L - r i s k a n d M S E s e l e c t t h e s a m e

m o d e l , e x c e p t f o r t h e c a s e o f n = 5 t r i a l s . I n c o m p a r i s o n t o t h e K L - r i s k , t h e B I C t e n d s t o s e l e c t m o d e l s

w i t h a n e x c e s s i v e l y h i g h e r - o r d e r o f i n t e r a c t i o n ( o v e r - t t i n g ) f o r a s m a l l n u m b e r o f t r i a l s ( n = 2) a n d

t e n d s t o c h o o s e l o w e r - o r d e r m o d e l s f o r n = 20and100. T h e P D I O m o s t l y s e l e c t s l o w e r - o r d e r m o d e l s . I n

c o n t r a s t , t h e A I C f o l l o w s t h e s e l e c t i o n o f t h e K L - r i s k m i n i m i z a t i o n p r i n c i p l e , e x c e p t f o r n = 20 , w h e r e i t

s h o w s a c o n s e r v a t i v e c h o i c e c o m p a r e d t o t h e K L - r i s k .

W e r e p e a t t h e s a m e a n a l y s i s f o r s p i k e d a t a g e n e r a t e d f r o m a n u n d e r l y i n g m o d e l t h a t c o n t a i n s u p t o

p a i r w i s e i n t e r a c t i o n s , b u t d o e s n o t c o n t a i n t h e t r i p l e - w i s e i n t e r a c t i o n t e r m . T h e p u r p o s e o f t h i s a n a l y s i s

i s t o s h o w t h a t t h e m e t h o d s d o n o t s e l e c t m o d e l s w i t h e x c e s s i v e l y h i g h e r o r d e r s o f i n t e r a c t i o n t h a n t h o s e

1 7


18/76

a c t u a l l y c o n t a i n e d i n t h e d a t a . T o c o n s t r u c t s u c h a n u n d e r l y i n g m o d e l , w e p r o j e c t t h e f u l l m o d e l ( s h o w n

i n F i g u r e 4 C ) o n t o t h e s u b s p a c e o f a p a i r w i s e l o g - l i n e a r m o d e l , E2 . T h e p r o j e c t i o n m o d e l d o e s n o t c o n t a i n

a n y t r i p l e - w i s e c o r r e l a t i o n , w h i l e t h e 1 s t a n d 2 n d o r d e r e x p e c t a t i o n p a r a m e t e r s ( I f o r I {1, 2})

a r e t h e s a m e a s t h o s e o f t h e f u l l m o d e l t h a t w a s u s e d t o g e n e r a t e t h e d a t a i n t h e a n a l y s i s o f T a b l e s

2 - 4 . T a b l e 5 d i s p l a y s t h e m o s t f r e q u e n t l y s e l e c t e d m o d e l o r d e r s b y t h e A I C , B I C , P D I O , a l o n g w i t h t h e

s e l e c t i o n s b y t h e K L - r i s k a n d M S E . W e n d t h a t t h e p a i r w i s e m o d e l i s t h e m o s t f r e q u e n t l y s e l e c t e d m o d e l

u n d e r a l l o f t h e c r i t e r i a f o r t h e s a m p l e s w i t h a l a r g e n u m b e r o f t r i a l s (

n = 100, 200) . U n d e r t h i s c o n d i t i o n ,

o n l y t h e A I C a m o n g t h e o t h e r d a t a - d r i v e n m e t h o d s f o l l o w s t h e K L - r i s k s e l e c t i o n . T h e s e r e s u l t s l e a d u s t o

t h e c o n c l u s i o n t h a t t h e A I C i s a r e l i a b l e m e a s u r e t o a s s e s s t h e g o o d n e s s o f t o f t h e s t a t e - s p a c e l o g - l i n e a r

m o d e l .

S e l e c t i o n o f s t a t e t r a n s i t i o n m o d e l

I n a d d i t i o n t o v a l i d a t i n g t h e i n c l u s i o n o f t h e o r d e r o f s p i k e i n t e r a c t i o n s , w e e x a m i n e s t a t e m o d e l s ( E q . 8 )

w i t h d i e r e n t c o n d i t i o n s f o r t h e h y p e r - p a r a m e t e r s b y t h e A I C , u s i n g a s a n e x a m p l e t h e s a m e s p i k e t r a i n

d a t a o f 3 n e u r o n s w i t h n = 100 t r i a l s ( d i s p l a y e d i n F i g u r e 4 A ) . T h e t e s t e d s t a t e m o d e l s a r e ( i ) a t i m e -

i n d e p e n d e n t m o d e l i n w h i c h t h e h y p e r - p a r a m e t e r s a r e x e d a s

Q = 0a n d

F = I, w h e r e

Ii s a n i d e n t i t y

m a t r i x ; ( i i ) a r a n d o m w a l k m o d e l ( F = I) , i n w h i c h o n l y t h e c o v a r i a n c e m a t r i x , Q, i s o p t i m i z e d v i a

t h e E M a l g o r i t h m ; a n d ( i i i ) a 1 s t - o r d e r a u t o r e g r e s s i v e m o d e l , i n w h i c h

Qa n d

Fa r e b o t h o p t i m i z e d .

W i t h t h e s e s e t t i n g s , t h e s t a t e - s p a c e l o g - l i n e a r m o d e l o f c a s e ( i ) b e c o m e s a s t a t i o n a r y l o g - l i n e a r m o d e l ,

w h i c h h a s b e e n f r e q u e n t l y e m p l o y e d i n s p i k e d a t a a n a l y s e s , o f t e n i n t h e f o r m o f a m a x i m u m e n t r o p y

m o d e l [ 5 5 5 7 , 8 2 ] . I n c o n t r a s t , t h e s t a t e - s p a c e m o d e l s o f c a s e s ( i i ) a n d ( i i i ) a r e n o n s t a t i o n a r y b e c a u s e t h e

j o i n t d i s t r i b u t i o n o f t h e s p i k e p a t t e r n c h a n g e s i n t i m e a s a r e s u l t o f t h e t i m e - v a r y i n g l o g - l i n e a r p a r a m e t e r s .

T h e i n t e r a c t i o n p a r a m e t e r s t h e m s e l v e s a r e a s s u m e d t o b e n o n s t a t i o n a r y i n t h e s t a t e m o d e l i n c a s e ( i i ) ,

a n d c a n b e e i t h e r s t a t i o n a r y o r n o n s t a t i o n a r y i n t h e s t a t e m o d e l i n c a s e ( i i i ) . T o s e e t h i s , l e t i b e t h e

e i g e n v a l u e s o f F, i . e . , t h e s o l u t i o n s f o r det(F I) = 0. F o r a s t a t i o n a r y p r o c e s s , t h e e i g e n v a l u e s h a v e t o

s a t i s f y |i| < 1, o t h e r w i s e t h e p r o c e s s i s n o n s t a t i o n a r y . T h i s e x c l u d e s t h e c a s e F = I.

T h e A I C s o f t h e f u l l m o d e l w i t h t h e v a r i o u s s t a t e - e q u a t i o n s b e c o m e p r o g r e s s i v e l y s m a l l e r f o r i n c r e a s -

i n g l y c o m p l e x s t a t e - s p a c e m o d e l s ( 3 8 5 2 5 f o r c a s e ( i ) , 3 6 2 6 3 f o r c a s e ( i i ) , a n d 3 6 2 3 1 f o r c a s e ( i i i ) ) . T h e f a c t

t h a t c o n d i t i o n s ( i i ) a n d ( i i i ) a r e b e t t e r t t e d t o t h e d a t a t h a n c o n d i t i o n ( i ) c o n r m s t h a t t h e p r o p o s e d

m e t h o d o f t i m e - v a r y i n g s p i k e c o r r e l a t i o n a n a l y s i s p e r f o r m s b e t t e r t h a n a n a n a l y s i s b a s e d o n a s t a t i o n a r y

1 8


19/76

l o g - l i n e a r m o d e l f o r t h i s d a t a . I n a d d i t i o n , t h e f a c t t h a t c o n d i t i o n ( i i i ) b e t t e r t s t h e d a t a t h a n c o n d i t i o n

( i i ) s u p p o r t s t h e u s e o f a u t o r e g r e s s i v e m o d e l s ( n o t e : T h e e s t i m a t i o n i n F i g u r e 4 B i s d o n e w i t h s t a t e

m o d e l ( i i i ) ) . W e n d t h a t t h e t t e d F ( t o t h e d a t a i n F i g u r e 4 A ) y i e l d s a n e i g e n v a l u e l a r g e r t h a n 1 ,

i n d i c a t i n g t h a t t h e u n d e r l y i n g s t a t e p r o c e s s ( T = 500 b i n s ) i s m o d e l e d a s a n o n s t a t i o n a r y p r o c e s s . W e

c o n s i d e r t h a t t h e n o n s t a t i o n a r y s t a t e m o d e l i s s e l e c t e d b e c a u s e o f t h e r e l a t i v e l y s h o r t o b s e r v a t i o n p e r i o d ,

d u r i n g w h i c h a n o n s t a t i o n a r y t r e n d f o r t h e p a r a m e t e r s c a n a p p e a r e v e n i f t h e s t a t e p r o c e s s i s s t a t i o n a r y

i n t h e l o n g r u n .

T e s t f o r p r e s e n c e o f s p i k e c o r r e l a t i o n i n n o n s t a t i o n a r y s p i k e s e q u e n c e s

O n e o f t h e g o a l s o f a t i m e r e s o l v e d a n a l y s i s o f s p i k e c o r r e l a t i o n i s t o d i s c o v e r d y n a m i c a l c h a n g e s i n

t h e c o r r e l a t e d a c t i v i t i e s o f n e u r o n s t h a t r e e c t t h e b e h a v i o r o f a n a n i m a l . T h i s i m p l i e s t h e n e c e s s i t y o f

d e a l i n g w i t h t h e w i t h i n - t r i a l n o n s t a t i o n a r i t y t h a t i s t y p i c a l l y p r e s e n t i n t h e d a t a f r o m a w a k e b e h a v i n g

a n i m a l s . H o w e v e r , w e k n o w f r o m o t h e r c o r r e l a t i o n a n a l y s i s a p p r o a c h e s t h a t , i f n o t w e l l c o r r e c t e d f o r ,

n o n s t a t i o n a r y s p i k e d a t a b e a r t h e p o t e n t i a l d a n g e r o f g e n e r a t i n g f a l s e o u t c o m e s [ 2 5 , 8 3 ] . H e r e w e d e a l

w i t h t h e w i t h i n - t r i a l n o n s t a t i o n a r i t y o f t h e d a t a b y u s i n g t h e s t a t e - s p a c e l o g - l i n e a r m o d e l w h i l e a s s u m i n g

i d e n t i c a l d y n a m i c s p i k i n g s t a t i s t i c s a c r o s s t r i a l s ( a c r o s s - t r i a l s t a t i o n a r i t y ) . I n o r d e r t o c o r r e c t l y d e t e c t t h e

t i m e - v a r y i n g c o r r e l a t i o n s t r u c t u r e w i t h i n t r i a l s , w e a p p l y t o t h e s t a t e - s p a c e l o g - l i n e a r m o d e l a B a y e s i a n

m o d e l c o m p a r i s o n m e t h o d b a s e d o n t h e B a y e s f a c t o r ( B F ) [ 7 4 7 6 ] , a n d c o m b i n e i t w i t h a s u r r o g a t e

a p p r o a c h . T h e B F i s a l i k e l i h o o d r a t i o f o r t w o d i e r e n t h y p o t h e t i c a l m o d e l s o f l a t e n t s i g n a l s , e . g . , i n o u r

a p p l i c a t i o n , d i e r e n t u n d e r l y i n g s p i k e c o r r e l a t i o n s t r u c t u r e s . U s i n g t h e B F , w e d e t e r m i n e w h i c h o f t h e

t w o s p i k e c o r r e l a t i o n m o d e l s t h e s p i k e d a t a s u p p o r t s . B y c o m p u t i n g t h e B F f o r a p a r t i c u l a r t a s k p e r i o d

i n a b e h a v i o r a l e x p e r i m e n t , w e c a n t e s t w h e t h e r t h e a s s u m e d c o r r e l a t i o n s t r u c t u r e a p p e a r s i n a s s o c i a t i o n

w i t h t h e t i m i n g o f t h e a n i m a l ' s b e h a v i o r . I n t h e f o l l o w i n g , w e d e n o t e a s p e c i c t a s k p e r i o d o f i n t e r e s t b y

t h e t i m e p e r i o d [a, b].

I n t h i s s t u d y , t h e B F , B12(ya:b), i s d e n e d a s t h e r a t i o o f t h e m a r g i n a l l i k e l i h o o d s o f t h e o b s e r v e d

s p i k e p a t t e r n s ,

ya:b , i n t h e t i m e p e r i o d [a, b] u n d e r d i e r e n t m o d e l s , M1 o r M2 , a s s u m e d f o r t h e h i d d e n

s t a t e p a r a m e t e r s ,

B12(ya:b) =p (ya:b|M1)

p (ya:b|M2). ( 1 2 )

B y s u c c e s s i v e l y c o n d i t i o n i n g t h e p a s t , t h e B F i s c o m p u t e d b y t h e m u l t i p l i c a t i o n o f t h e b i n - b y - b i n o n e - s t e p

1 9


20/76

B F g i v e n a t t i m e t a s B12(ya:b) =b

t=a B12(yt|ya:t1) . H e r e , t h e b i n - b y - b i n B F a t t i m e t, B12(yt|ya:t1),

c a n b e c a l c u l a t e d a s ( s e e t h e M e t h o d s s u b s e c t i o n , ` B a y e s i a n m o d e l c o m p a r i s o n m e t h o d f o r d e t e c t i n g s p i k e

c o r r e l a t i o n ' ) ,

B12(yt|y1:t1) =

S1

p (t|y1:t,w) dtS2

p (t|y1:t,w) dt

S1

p (t|y1:t1,w) dtS2

p (t|y1:t1,w) dt, ( 1 3 )

w h e r e

Si i s t h e s p a c e o f t h e i n t e r a c t i o n p a r a m e t e r s , t , f o r t h e m o d e l , Mi ( i = 1, 2) . I n E q . 1 3 ,

p (t|y1:t,w) i s t h e l t e r d e n s i t y a n d p (t|y1:t1,w) i s c a l l e d t h e o n e - s t e p p r e d i c t i o n d e n s i t y , b o t h o f

w h i c h a r e o b t a i n e d i n t h e B a y e s i a n r e c u r s i v e l t e r i n g a l g o r i t h m d e v e l o p e d i n t h e M e t h o d s s e c t i o n ( c f .

E q s . 2 5 , 2 6 a n d E q s . 3 1 , 3 2 ) . T h e r e f o r e , t h e b i n - b y - b i n B F a t t i m e t, B12(yt|y1:t1), i s t h e r a t i o o f t h e

o d d s ( o f o p p o s i n g m o d e l s ) f o u n d b y o b s e r v i n g t h e s p i k e t r a i n d a t a u p t o t i m e t ( l t e r o d d s , t h e n u m e r a t o r

i n E q . 1 3 ) t o t h e o d d s p r e d i c t e d f r o m

y1:t1 w i t h o u t o b s e r v i n g t h e d a t a a t t i m e t ( p r e d i c t i o n o d d s , t h e

d e n o m i n a t o r i n E q . 1 3 ) . T h u s , a n u n e x p e c t e d s y n c h r o n o u s s p i k e p a t t e r n t h a t s i g n i c a n t l y u p d a t e s t h e

l t e r o d d s f o r t h e i n t e r a c t i o n p a r a m e t e r s f r o m t h e i r p r e d i c t e d o d d s g i v e s r i s e t o a l a r g e a b s o l u t e v a l u e

f o r t h e B F . B e c a u s e t h e p o s t e r i o r d e n s i t i e s a r e a p p r o x i m a t e d a s a m u l t i v a r i a t e n o r m a l d i s t r i b u t i o n i n

o u r l t e r i n g a l g o r i t h m , t h e B F a t t i m e t c a n b e e a s i l y c o m p u t e d b y u s i n g n o r m a l d i s t r i b u t i o n f u n c t i o n s .

P l e a s e s e e t h e s u b s e c t i o n , ` B a y e s i a n m o d e l c o m p a r i s o n m e t h o d f o r d e t e c t i n g s p i k e c o r r e l a t i o n ' , i n t h e

M e t h o d s s e c t i o n f o r t h e d e r i v a t i o n o f E q . 1 3 a n d d e t a i l e d a n a l y s i s o f t h e B F .

T h e B F b e c o m e s l a r g e r t h a n 1 i f t h e d a t a ,

ya:b , s u p p o r t m o d e l M1 a s o p p o s e d t o M2 a s a n u n d e r l

Documents

State-Space Analysis of Time-varying Higher-order Spike Correlation for Multiple Neural Spike Train Data