7/30/2019 amjph00009-0018

1/6

E v a l u a t i n g t h e P u b l i c H e a l t h I m p a c to f H e a l t h P r o m o t i o n I n t e r v e n t i o n s :T h e RE-AIM F r a m e w o r kR u s s e l l E . G l a s g o w , P h D , T h o m a s M . V o g t , MD, MPH, a n d S h a w n M . B o l e s , PhD

A l t h o u g h t h e f i e l d o f h e a l t h p r o m o t i o nh a s m a d e s u b s t a n t i a l p r o g r e s s , 1 - 1 3 o u r a d v a n c e sa r e l i m i t e d b y t h e e v a l u a t i o n m e t h o d s u s e d . Weh a v e t h e p o t e n t i a l t o a s s e s s t h e p o p u l a t i o n -b a s e d i m p a c t o f o u r p r o g r a m s . H o w e v e r , w i t hf e w e x c e p t i o n s , e v a l u a t i o n s h a v e r e s t r i c t e dt h e i r f o c u s t o 1 o r 2 o f 5 " d i m e n s i o n s o f q u a l -i t y " w e b e l i e v e t o b e i m p o r t a n t .T h e r e i s a g r e a t n e e d f o r r e s e a r c hm e t h o d s t h a t a r e d e s i g n e d t o e v a l u a t e t h ep u b l i c h e a l t h s i g n i f i c a n c e o f i n t e r v e n -t i o n s . ' 4 T h e e f f i c a c y - b a s e d r e s e a r c h p a r a -d i g m t h a t d o m i n a t e s o u r c u r r e n t n o t i o n s o fs c i e n c e i s l i m i t i n g a n d n o t a l w a y s t h e m o s ta p p r o p r i a t e s t a n d a r d t o a p p l y . 1 4 " 5 A r e d u c -t i o n i s t i c s c i e n t i f i c p a r a d i g m o v e r s i m p l i f i e sr e a l i t y ' 1 ' 8 i n t h e q u e s t t o i s o l a t e e f f i c a c i o u st r e a t m e n t s . M o s t c l i n i c a l t r i a l s f o c u s o ne l i m i n a t i n g p o t e n t i a l c o n f o u n d i n g v a r i a b l e sa n d i n v o l v e h o m o g e n e o u s , h i g h l y m o t i -v a t e d i n d i v i d u a l s w i t h o u t a n y h e a l t h c o n d i -t i o n s o t h e r t h a n t h e o n e b e i n g s t u d i e d . T h i sa p p r o a c h p r o v i d e s i m p o r t a n t i n f o r m a t i o na n d s t r o n g i n t e r n a l v a l i d i t y ; f r o m a n e x t e r -n a l v a l i d i t y p e r s p e c t i v e , h o w e v e r , i t r e s u l t si n s a m p l e s o f n o n r e p r e s e n t a t i v e p a r t i c i -p a n t s a n d s e t t i n g s . ' 5 1 9 ' 2 0S i m i l a r l y , t h e e m p h a s i s o n d e v e l o p i n gc l i n i c a l l y s i g n i f i c a n t o u t c o m e s o f t e n p r o -d u c e s i n t e r v e n t i o n s t h a t a r e i n t e n s i v e , e x p e n -s i v e , a n d d e m a n d i n g o f b o t h p a t i e n t s a n dp r o v i d e r s . 2 ' T h e s e i n t e r v e n t i o n s t e n d t o b es t u d i e d i n t h e r a r i f i e d , " c o n t r o l l e d " a t m o s -p h e r e o f s p e c i a l t y t r e a t m e n t c e n t e r s u s i n gh i g h l y s t a n d a r d i z e d p r o t o c o l s . T h i s " e f f i -c a c y " p a r a d i g m 2 2 d o e s n o t a d d r e s s h o w w e l la p r o g r a m w o r k s i n t h e w o r l d o f b u s y , u n d e r -s t a f f e d p u b l i c h e a l t h c l i n i c s , l a r g e h e a l t h s y s -t e m s , o r c o m m u n i t y s e t t i n g s . ' 5O u r m e d i c a l c u l t u r e e m p h a s i z e s p h a r -m a c o s u r g i c a l i n t e r v e n t i o n s t h a t p r o d u c ei m m e d i a t e r e s u l t s a n d w h o s e d o s a g e c a n b ee a s i l y d e f i n e d a n d c o n t r o l l e d . T h e r e i s l i t t l er e s e a r c h o n i n t e r v e n t i o n s t h a t a d d r e s s w h o l ep o p u l a t i o n s , a r e l o n g l a s t i n g , o r b e c o m e" i n s t i t u t i o n a l i z e d . " 2 3 - 2 6 I n d e e d , m a n y i n t e r -v e n t i o n s t h a t p r o v e e f f i c a c i o u s i n r a n d o m i z e dt r i a l s a r e m u c h l e s s e f f e c t i v e i n t h e g e n e r a lp o p u i a t i o n . 1 4 , 1 5 , 1 9 , 2 7I n t h i s c o m m e n t a r y we d e s c r i b e t h eRE-AIM e v a l u a t i o n m o d e l , w h i c h e m p h a -s i z e s t h e r e a c h a n d r e p r e s e n t a t i v e n e s s o fb o t h p a r t i c i p a n t s a n d s e t t i n g s , a n d d i s c u s st h e m o d e l ' s i m p l i c a t i o n s f o r p u b l i c h e a l t h

r e s e a r c h . T h e r e p r e s e n t a t i v e n e s s o f p a r t i c i -p a n t s 9 ' 9 2 i s a n i m p o r t a n t i s s u e f o r o u t c o m er e s e a r c h . 2 0 ' 2 9 T h e r e p r e s e n t a t i v e n e s s o f s e t -t i n g s - c l i n i c s , w o r k s i t e s , o r c o m m u n i t i e s -f o r p u b l i c h e a l t h i n t e r v e n t i o n s i s e q u a l l yi m p o r t a n t . Many e v a l u a t i o n s , s u c h a s t h eo t h e r w i s e w e l l - d e s i g n e d C o m m u n i t y I n t e r -v e n t i o n T r i a l f o r S m o k i n g C e s s a t i o n , 3 0e x p l i c i t l y r e s t r i c t s e l e c t i o n o f p a r t i c i p a t i n gc o m m u n i t i e s ( a n d r e s e a r c h c e n t e r s ) t o t h o s em o s t m o t i v a t e d , o r g a n i z e d , a n d p r e p a r e d f o rc h a n g e . 3 0 T h i s r e s u l t s i n e x p e r t , h i g h l y m o t i -v a t e d r e s e a r c h t e a m s a n d s e t t i n g s , w h i c ha r e , b y d e f i n i t i o n , u n r e p r e s e n t a t i v e o f t h es e t t i n g s t o w h i c h t h e i r r e s u l t s a r e t o b ea p p l i e d .R e c o g n i z i n g s o m e o f t h e f o r e g o i n gi s s u e s , b o t h t h e N a t i o n a l C a n c e r I n s t i t u t ea n d t h e N a t i o n a l H e a r t , L u n g , a n d B l o o dI n s t i t u t e h a v e p r o p o s e d s e q u e n t i a l " s t a g e s "o f r e s e a r c h . ' 4 ' 2 2 ' 3 ' T h e s e s t e p s m o v e f r o mh y p o t h e s i s g e n e r a t i o n t o t e s t i n g u n d e r c o n -t r o l l e d c o n d i t i o n s , e v a l u a t i o n s i n " d e f i n e d p o p -u l a t i o n s , " a n d , f i n a l l y , d i s s e m i n a t i o n r e s e a r c h .I n t e r v e n t i o n s f o u n d t o b e e f f i c a c i o u s t h e nu n d e r g o " e f f e c t i v e n e s s " e v a l u a t i o n s , a n d p r o -g r a m s t h a t p r o v e t o b e e f f e c t i v e - e s p e c i a l l yc o s t - e f f e c t i v e 2 2 ' 3 2 - a r e s e l e c t e d f o r d i s s e m i -n a t i o n r e s e a r c h .T h e r e i s o f t e n d i f f i c u l t y , h o w e v e r , i nm a k i n g t h e t r a n s i t i o n a c r o s s p h a s e s . We t h i n kt h i s m a y b e d u e t o a f l a w i n t h e b a s i c m o d e l ,i n t h a t m a n y c h a r a c t e r i s t i c s t h a t m a k e a ni n t e r v e n t i o n e f f i c a c i o u s ( e . g . , l e v e l o f i n t e n -s i t y o f t h e i n t e r v e n t i o n a n d w h e t h e r i t i sd e s i g n e d f o r m o t i v a t e d , h o m o g e n e o u s p o p u -l a t i o n s ) w o r k a g a i n s t i t s b e i n g e f f e c t i v e i nm o r e c o m p l e x , l e s s a d v a n t a g e o u s s e t t i n g sw i t h l e s s m o t i v a t e d p a t i e n t s a n d o v e r w o r k e ds t a f f . 8 3 3 ' 3 4 L o w - i n t e n s i t y i n t e r v e n t i o n s t h a ta r e l e s s e f f i c a c i o u s b u t t h a t c a n b e d e l i v e r e dt o l a r g e n u m b e r s o f p e o p l e m a y h a v e a m o r ep e r v a s i v e i M p a C t . 3 5 3 7R u s s e l l E . G l a s g o w i s w i t h t h e AMC C a n c e rR e s e a r c h C e n t e r , D e n v e r , C o l o . T h o m a s M . V o g t i sw i t h t h e K a i s e r P e r m a n e n t e C e n t e r f o r H e a l t hR e s e a r c h , H o n o l u l u , H a w a i i . S h a w n M. B o l e s i sw i t h t h e O r e g o n R e s e a r c h I n s t i t u t e , E u g e n e , O R .

R e q u e s t s f o r r e p r i n t s s h o u l d b e s e n t t o R u s s e l lE . G l a s g o w , P h D , AMC C a n c e r R e s e a r c h C e n t e r ,1 6 0 0 P i e r c e S t , D e n v e r , CO 8 0 2 1 4 ( e - m a i l : g l a s g o w r @a m c . o r g ) .T h i s p a p e r w a s a c c e p t e d A p r i l 1 7 , 1 9 9 9 .

S e p t e m b e r 1 9 9 9 , V o l . 8 9 , N o . 9

7/30/2019 amjph00009-0018

2/6

C o m m e n t a r i e sA b r a m s a n d c o l l e a g u e s 3 8 d e f i n e d t h ei m p a c t o f a n i n t e r v e n t i o n a s t h e p r o d u c t o fa p r o g r a m ' s r e a c h , o r t h e p e r c e n t a g e o fp o p u l a t i o n r e c e i v i n g t h e i n t e r v e n t i o n , a n d

i t s e f f i c a c y ( I = R X E ) . We e x p a n d o n t h i s" R E " ( R e a c h x E f f i c a c y ) c o n c e p t b y a d d i n g3 d i m e n s i o n s t h a t a p p l y t o t h e s e t t i n g s i nw h i c h r e s e a r c h i s c o n d u c t e d ( A d o p t i o n ,I m p l e m e n t a t i o n , a n d M a i n t e n a n c e : " A I M " )t o m o r e c o m p l e t e l y c h a r a c t e r i z e t h e p u b l i ch e a l t h i m p a c t o f a n i n t e r v e n t i o n .RE-AIM M o d e l

We c o n c e p t u a l i z e t h e p u b l i c h e a l t hi m p a c t o f a n i n t e r v e n t i o n a s a f u n c t i o n o f5 f a c t o r s : r e a c h , e f f i c a c y , a d o p t i o n , i m p l e -m e n t a t i o n , a n d m a i n t e n a n c e . E a c h o f t h e5 RE-AIM d i m e n s i o n s i s r e p r e s e n t e d o n a 0t o 1 ( o r 0% t o 1 0 0 % ) s c a l e .

T h i s f r a m e w o r k i s c o m p a t i b l e w i t h s y s -t e m s - b a s e d a n d s o c i a l - e c o l o g i c a l t h i n k -i n g 1 6 , 3 9 , 4 0 a s w e l l a s c o m m u n i t y - b a s e d a n dp u b l i c h e a l t h i n t e r v e n t i o n s . 4 1 ' 4 2 A c e n t r a lt e n e t i s t h a t t h e u l t i m a t e i m p a c t o f a n i n t e r -v e n t i o n i s d u e t o i t s c o m b i n e d e f f e c t s o n 5e v a l u a t i v e d i m e n s i o n s . T h e RE-AIM m o d e le x p a n d s o n e a r l i e r w o r k l 2 ' 3 8 ' 4 3 a n d i s s u m m a -r i z e d i n T a b l e 1 .R e a c h

R e a c h i s a n i n d i v i d u a l - l e v e l m e a s u r e( e . g . , p a t i e n t o r e m p l o y e e ) o f p a r t i c i p a t i o n .R e a c h r e f e r s t o t h e p e r c e n t a g e a n d r i s k c h a r -a c t e r i s t i c s o f p e r s o n s w h o r e c e i v e o r a r ea f f e c t e d b y a p o l i c y o r p r o g r a m . I t i s m e a -s u r e d b y c o m p a r i n g r e c o r d s o f p r o g r a m p a r -t i c i p a n t s a n d c o m p l e t e s a m p l e o r " c e n s u s "i n f o r m a t i o n f o r a d e f i n e d p o p u l a t i o n , s u c ha s a l l m e m b e r s i n a g i v e n c l i n i c , h e a l t hm a i n t e n a n c e o r g a n i z a t i o n , o r w o r k s i t e . I fa c c u r a t e r e c o r d s a r e k e p t o f b o t h t h e n u m e r -a t o r ( p a r t i c i p a n t s ) a n d t h e d e n o m i n a t o r ( p o p -u l a t i o n ) , c a l c u l a t i o n o f p a r t i c i p a t i o n r a t e s i ss t r a i g h t f o r w a r d .R e a c h ( a s w e l l a s a d o p t i o n ) a l s o c o n -c e r n s t h e c h a r a c t e r i s t i c s o f p a r t i c i p a n t s .A s s e s s i n g r e p r e s e n t a t i v e n e s s i s c h a l l e n g -i n g . 2 0 4 3 I t r e q u i r e s d e m o g r a p h i c i n f o r m a -t i o n - a n d p r e f e r a b l y p s y c h o s o c i a l , m e d i c a lh i s t o r y , o r c a s e m i x i n f o r m a t i o n - o n n o n -p a r t i c i p a n t s a s w e l l a s p a r t i c i p a n t s . D e t a i l e di n f o r m a t i o n o n n o n p a r t i c i p a n t s i s o f t e nc h a l l e n g i n g t o c o l l e c t a n d r a i s e s e t h i c a li s s u e s i n t h a t n o n p a r t i c i p a n t s h a v e t y p i c a l l yn o t c o n s e n t e d t o b e s t u d i e d . 2 8 4 5 C o o p e r a -t i v e a r r a n g e m e n t s t h a t p e r m i t i n v e s t i g a t i o no f t h e e x t e n t t o w h i c h p a r t i c i p a n t s a r e r e p -r e s e n t a t i v e o f t h e l a r g e r " d e n o m i n a t o r "p o p u l a t i o n s h o u l d b e a p r i o r i t y f o r f u t u r er e s e a r c h .

U n f o r t u n a t e l y , p a r t i c i p a n t s i n h e a l t hp r o m o t i o n a c t i v i t i e s s o m e t i m e s a r e t h o s ew h o n e e d t h e m l e a s t ( e . g . , t h e " w o r r i e dw e l l , " 4 6 ' 4 7 t h o s e i n t h e m o r e a f f l u e n t s e g -m e n t s o f t h e p o p u l a t i o n , a n d n o n s m o k e r s ) . 2 0W i t h t h e i n c r e a s i n g g a p b e t w e e n t h e " h a v e s "a n d " h a v e - n o t s " i n o u r c o u n t r y , 4 8 a n d t h ed r a m a t i c i m p a c t o f s o c i o e c o n o m i c s t a t u s o nh e a l t h s t a t u s , 4 9 u n d e r s t a n d i n g t h e d e g r e e t ow h i c h a p r o g r a m r e a c h e s t h o s e i n n e e d i sv i t a l . B e c a u s e p u b l i c h e a l t h i n t e r v e n t i o n s a r ea d d r e s s e d t o l a r g e n u m b e r s o f p e o p l e , e v e ns m a l l d i f f e r e n c e s i n r i s k l e v e l s b e t w e e n p a r -t i c i p a n t s a n d n o n p a r t i c i p a n t s c a n h a v e a s i g -n i f i c a n t i m p a c t o n c o s t - e f f e c t i v e n e s s . 3 5E f f i c a c y

E n t i r e t e x t b o o k s h a v e b e e n d e v o t e d t oe v a l u a t i n g t h e e f f i c a c y o f i n t e r v e n t i o n s . 4 4 5 0 5 1We d i s c u s s 2 s p e c i f i c i s s u e s : t h e i m p o r t a n c eo f a s s e s s i n g b o t h p o s i t i v e a n d n e g a t i v e c o n -s e q u e n c e s o f p r o g r a m s a n d t h e n e e d t oi n c l u d e b e h a v i o r a l , q u a l i t y o f l i f e , a n d p a r -t i c i p a n t s a t i s f a c t i o n o u t c o m e s a s w e l l a sp h y s i o l o g i c e n d p o i n t s .P o s i t i v e a n d n e g a t i v e o u t c o m e s .M o s t p o p u l a t i o n - b a s e d e v a l u a t i o n s f o c u so n i m p r o v e m e n t i n s o m e t a r g e t e d h e a l t h o rr i s k i n d i c a t o r . I n t e r v e n t i o n s d e l i v e r e d t ol a r g e p o p u l a t i o n s c a n a l s o h a v e u n a n t i c i -p a t e d n e g a t i v e e f f e c t s . L a b e l i n g s o m e o n ew i t h a p o t e n t i a l i l l n e s s m a y h a v e p r o f o u n ds o c i a l a n d p s y c h o l o g i c a l c o n s e q u e n c e s . 5 2 ' 5 3M a n y e f f e c t i v e s e r v i c e s r e m a i n u n d e r d e l i v -e r e d , w h i l e o t h e r s a r e d e l i v e r e d t h a t a r e n o tn e c e s s a r y o r e f f e c t i v e i n t h e g r o u p s r e c e i v -i n g t h e m . E v e n s e r v i c e s t h a t c o s t o n l y a f e wd o l l a r s c a n h a v e s u b s t a n t i a l n e g a t i v e ( a s w e l la s p o s i t i v e ) s o c i e t a l e f f e c t s , i n c l u d i n g m i s -p l a c e d r e s o u r c e s a n d l a r g e o p p o r t u n i t y c o s t s ,w h e n d e l i v e r e d t o m i l l i o n s o f p e o p l e . I t i sc r i t i c a l n o t o n l y t o d e t e r m i n e b e n e f i t s b u ta l s o t o b e c e r t a i n t h a t h a r m d o e s n o t o u t -w e i g h b e n e f i t s .O u t c o m e s t o b e m e a s u r e d . C l i n i c a lr e s e a r c h e m p h a s i z e s b i o l o g i c o u t c o m e s -i n p a r t i c u l a r , d i s e a s e r i s k f a c t o r s " ' 5 4 - a n dc o n c e r n s a b o u t l i m i t e d r e s o u r c e s h a v e l e dt o a n i n c r e a s i n g e m p h a s i s o n h e a l t h c a r eu s e . 8 ' 5 5 ' 5 6 S u c h o u t c o m e s a r e i m p o r t a n t , b u ta p u b l i c h e a l t h e v a l u a t i o n s h o u l d i n c l u d em o r e t h a n s i m p l y b i o l o g i c a n d u s e m e a -s u r e s . Two o t h e r t y p e s o f o u t c o m e s m e r i ti n c l u s i o n . F i r s t , b e h a v i o r a l outcomess h o u l d b e a s s e s s e d f o r p a r t i c i p a n t s ( e . g . ,s m o k i n g c e s s a t i o n , e a t i n g p a t t e r n s , p h y s i -c a l a c t i v i t y ) , f o r s t a f f w h o d e l i v e r a n i n t e r -v e n t i o n ( a p p r o a c h i n g p a t i e n t s , d e l i v e r i n gp r o m p t s a n d c o u n s e l i n g , m a k i n g f o l l o w - u pc a l l s ) , a n d f o r t h e p a y e r s a n d p u r c h a s e r s w h os u p p o r t t h e i n t e r v e n t i o n ( a d o p t i n g a n i n t e r -v e n t i o n , c h a n g i n g p o l i c i e s ) . S e c o n d , a p a r t i c -

i p a n t - c e n t e r e d q u a l i t y - o f - l i f e p e r s p e c t i v e ' 8 5 7s h o u l d b e i n c l u d e d t o a l l o w e v a l u a t i o n o fp a t i e n t f u n c t i o n i n g , m e n t a l h e a l t h , a n d c o n -s u m e r s a t i s f a c t i o n , s i n c e t h e s e f a c t o r s p r o -v i d e a c r i t i c a l c h e c k o n t h e i m p a c t o f d e l i v e r yp r a c t i c e s .A d o p t i o n

A d o p t i o n r e f e r s t o t h e p r o p o r t i o n a n dr e p r e s e n t a t i v e n e s s o f s e t t i n g s ( s u c h a s w o r k -s i t e s , h e a l t h d e p a r t m e n t s , o r c o m m u n i t i e s )t h a t a d o p t a g i v e n p o l i c y o r p r o g r a m . 5 8T h e r e a r e c o m m o n t e m p o r a l p a t t e r n s i n t h et y p e a n d p e r c e n t a g e o f s e t t i n g s t h a t w i l la d o p t a n i n n o v a t i v e c h a n g e . 4 3 ' 5 9 A d o p t i o n i su s u a l l y a s s e s s e d b y d i r e c t o b s e r v a t i o n o rs t r u c t u r e d i n t e r v i e w s o r s u r v e y s . B a r r i e r s t oa d o p t i o n s h o u l d a l s o b e e x a m i n e d w h e nn o n p a r t i c i p a t i n g s e t t i n g s a r e a s s e s s e d .I m p l e m e n t a t i o n

T h e t e r m e f f e c t i v e n e s s i s u s e d t od e s c r i b e e v a l u a t i o n s c o n d u c t e d i n r e a l - w o r l ds e t t i n g s b y i n d i v i d u a l s w h o a r e n o t p a r t o f ar e s e a r c h s t a f f . 2 2 ' 3 ' I m p l e m e n t a t i o n r e f e r s t ot h e e x t e n t t o w h i c h a p r o g r a m i s d e l i v e r e d a si n t e n d e d . I t c a n b e t h o u g h t o f a s i n t e r a c t i n gw i t h e f f i c a c y t o d e t e r m i n e e f f e c t i v e n e s s( E f f i c a c y X I m p l e m e n t a t i o n = E f f e c t i v e -n e s s ) . T h e r e a r e b o t h i n d i v i d u a l - l e v e l a n dp r o g r a m - l e v e l m e a s u r e s o f i m p l e m e n t a t i o n .A t t h e i n d i v i d u a l l e v e l , m e a s u r e s o fp a r t i c i p a n t f o l l o w - t h r o u g h o r " a d h e r e n c e "t o r e g i m e n s a r e n e c e s s a r y f o r i n t e r p r e t i n gs t u d y o u t c o m e s . 6 0 6 A t t h e s e t t i n g l e v e l , t h ee x t e n t t o w h i c h s t a f f m e m b e r s d e l i v e r t h ei n t e r v e n t i o n a s i n t e n d e d i s i m p o r t a n t .S t e v e n s e t a l . 6 2 d e m o n s t r a t e d t h a t d i f f e r e n -t i a l l e v e l s o f p r o t o c o l i m p l e m e n t a t i o n w e r e ,i n l a r g e p a r t , t h e r e a s o n t h a t a b r i e f h o s p i t a l -b a s e d s m o k i n g - c e s s a t i o n p r o g r a m w a s m o r es u c c e s s f u l w h e n i m p l e m e n t e d b y r e s e a r c hs t a f f t h a n b y h o s p i t a l r e s p i r a t o r y t h e r a p ys t a f f . I m p l e m e n t a t i o n r e s e a r c h i s c r u c i a l i nd e t e r m i n i n g w h i c h o f a s e t o f i n t e r v e n t i o n sm a y b e p r a c t i c a l e n o u g h t o b e e f f e c t i v e i nr e p r e s e n t a t i v e s e t t i n g s .M a i n t e n a n c e

A m a j o r c h a l l e n g e a t b o t h i n d i v i d u a la n d o r g a n i z a t i o n - c o m m u n i t y l e v e l s i s l o n g -t e r m m a i n t e n a n c e o f b e h a v i o r c h a n g e . 2 4 ' 6 3 ' 6 4A t t h e i n d i v i d u a l l e v e l , r e l a p s e f o l l o w i n gi n i t i a l b e h a v i o r c h a n g e i s u b i q u i t o u s . 6 5 ' 6 6E q u a l l y e s s e n t i a l i s t h e c o l l e c t i o n o f p r o -g r a m - l e v e l m e a s u r e s o f i n s t i t u t i o n a l i z a t i o n , 2 5t h a t i s , t h e e x t e n t t o w h i c h a h e a l t h p r o m o -t i o n p r a c t i c e o r p o l i c y b e c o m e s r o u t i n e a n dp a r t o f t h e e v e r y d a y c u l t u r e a n d n o rm s o fa n o r g a n i z a t i o n . R e c e n t l y , t h e r e h a v e b e e n

A m e r i c a n J o u r n a l o f P u b l i c H e a l t h 1 3 2 3S e p t e m b e r 1 9 9 9 , V o l . 8 9 , N o . 9

7/30/2019 amjph00009-0018

3/6

i n i d e n t i f y i n g f a c t o r s r e l a t e d t oh e e x t e n t t o w h i c h a c h a n g e i s i n s t i t u t i o n a l -A t t h e c o m m u n i t y l e v e l , m a i n t e -r e s e a r c h i s n e e d e d t o d o c u m e n t t h e

t o w h i c h p o l i c i e s a re e n f o r c e d over( e . g . , l a w s c o n c e r n i n g a l c o h o l s a l e s , n o -p o l i c i e s ) . M a i n t e n a n c e measuresh e e x t e n t t o w h i c h i n n o v a t i o n s b e c o m e as t a b l e , e n d u r i n g p a r t o f t h e b e h a v -r e p e r t o i r e o f a n i n d i v i d u a l ( o r o r g a n i z a -

or c o m m u n i t y ) .D i m e n s i o n s

T h e p u b l i c h e a l t h i m p a c t score, repre-a s a m u l t i p l i c a t i v e c om b i n at i o n o f t h e

d i m e n s i o n s ( T a b l e 1 ) , i s p r o b a b l ye b e s t o v e r a l l r e p r e s e n t a t i o n o f q u a l i t y . T h em o d e l i s s i l e n t o n t h e c h o i c e o f e f f i -

y m ea s ur e; a n y outcome t h a t i s q u a n t i f i -r e l i a b l e , v a l i d , a n d i m p o r t a n t t o s c i e n t i f i c ,a n d p r a c t i t i o n e r communities i sE x a m p l e s i n c l u d e h y p e r t e n s i o n ,

s c r e e n i n g , a n d s mo k i n g s t a t u s .I m p l i c i t i n t h e c o n s t r u c t s o f i m pl e m e n -a n d m a i n t e n a n c e i s t h e l e n g t h o f t h ed u r i n g w h i c h d a t a are c o l l e c t e d : a

o f 6 m o n t h s t o 1 year f o r i m p l e -a n d 2 years or l o n g e r f o r m a i n t e -

F r e q u e n cy o f a s s e s s m e n t s h o u l d b eo n t h e p a r t i c u l a r i s s u e , g o a l s , a n d s e t -I f RE-AIM d i m e n s i o n s a re a s s e s s e dt i m e s , t h e n a RE-AIM p r o f i l e c a n b e

R e p e a t e d m e a s u r e m e n t s a n d v i s u a lc a n e n h a n c e u n d e r s t a n d i n g o fe f f e c t s a n d b e u s e d t o c o m p a r ei n t e r v e n t i o n s ( F i g u r e 1 ) . ( A d d i t i o n a l

a n d f i g u r e s r e l a t e d t o a p p l i c a t i o n o f t h ef r a m e w o r k a r e a v a i l a b l e a t w w w . o r i .

T h e l a s t s e v e r a l years h a v e seen a v a r i -t y o f p r o v o c a t i v e a r t i c l e s o n c h a n g i n g p a r a -

o f h e a l t h care. 8 ' 2 3 4 6 9 - 7 3 U n f o r t u -t h e r e h a v e b e e n f e w d i s c u s s i o n s o fm o d e l s f o r t h e s e new p o p u l a t i o n -

p a r a d i g m s . E v e n e c o n o m i c a n a l y s e sn d o u t c o m e s r e s e a r c h 3 2 d o n o t a d d r e s s s e v -

o f t h e c o re e v a l u a t i o n issues a n d k e yo f t h e s e e v o l v i n g a p pr o a ch e s .

m e t h o d s must m a t c h t h e concep-i s s u e s a n d i n t e r v e n t i o n s b e i n g s t u d i e d .t h e s h i f t t o a m u l t i p l e c a u s a t i o n a n do r s y s t e m s a p p r o a c h t o m e d i c a l s c i -

12,17,3573,74 r e c o g n i t i o n o f t h e c o m p l e x -t y a n d vari o u s l e v e l s o f d i s e a s e d e t e r m i -i s r e q u i r e d . 3 8 ' 7 5 7 7

W h i l e c l a s s i c r a n d o m i z e d c o n t r o l l e dh a v e s i g n i f i c a n t l y advanced o u r

o f p h a r m a c o t h e r a p y a n d m e d i -

c o s u r g i c a l i n t e r v e n t i o n s , ' 4 4 7 8 t h e y h a v e l i m i -t a t i o n s w h e n a p p l i e d t o b e h a v i o r a l i s s u e sa n d , e s p e c i a l l y , community i n t e r v e n -t i o n s . 5 1 7 9 - 8 3 R a n d o m i z e d c o n t r o l l e d t r i a l se m p h a s i z e e f f i c a c y t o t h e d e f a c t o e x c l u s i o no f f a c t o r s s u c h a s a d o p t i o n , r e a c h , a n d i n s t i -t u t i o n a l i z a t i o n . 5 1 , 7 9 ' 8 0 RE-AIM p r o v i d e s af r a m e w o r k f o r d e t e r m i n i n g w h a t p r ogr am sa r e w o r t h s u s t a i n e d i n v e s t m e n t a n d f o r i d e n -t i f y i n g t h o s e t h a t w o r k i n r e a l - w o r l d e n v i r o n -m e n t s . RE-AIM c a n b e u se d t o e v a l u a t e r a n -d o m i z e d c o n t r o l l e d s t u d i e s a s w e l l as s t u d i e sw i t h o t h e r d e s i g n s , a n d i t i s c o m p a t i b l e w i t he v i d e n c e - b a s e d m e d i c i n e ; RE-AIM a s s e r t s ,h o w e v e r , t h a t e v i d e n c e s h o u l d b e b r o a d e n e dt o i n c l u d e d i m e n s i o n s i n a d d i t i o n t o e f f i c a c y .T h e m o d e l c a n a l s o b e u se d t o g u i d e q u a l i t a -t i v e r e s e a r c h e f f o r t s b y f o c u s i n g i n q u i r y o ne a c h o f t h e s e i s s u e s . T o t h e e x t e n t t h a t R E -A I M d i m e n s i o n s a r e i n c o r p o r a t e d i n t o e v a l -u a t i o n s , d e c i s i o n m a k e r s w i l l h a v e morec o m p l e t e i n f o r m a t i o n on w h i c h t o b a s ea d o p t i o n or d i s c o n t i n u a n c e o f programs.

D a t a c o l l e c t e d v i a t h e RE-AIM m o d e lc a n serve s e v e r a l e v a l u a t i v e purposes: ( 1 )a s s e s s i n g a n i n t e r v e n t i o n ' s o v e r a l l p u b l i ch e a l t h i m p a c t , ( 2 ) c o m p a r i n g t h e p u b l i ch e a l t h i m p a c t o f a n i n t e r v e n t i o n a c r o s so r g a n i z a t i o n a l u n i t s or over t i m e , ( 3 ) com-p a r i n g 2 o r more i n t e r v e n t i o n s across RE-A I M d i m e n s i o n s ( F i g u r e 1 ) , a n d ( 4 ) mak-i n g d e c i s i o n s a b o u t r e d i s t r i b u t i n g resourcest o w a r d m o r e e f f e c t i v e programs.F u t u r e R e s e a r c h a n d P o l i c y I s s u e s

T h e r e a r e s e v e r a l i m p l i c a t i o n s o f t h eR E - A I M m o d e l . E m p i r i c a l e v a l u a t i o n si n v o l v i n g t h e s e i m p l i c a t i o n s w o u l d g r e a t l yh e l p i n a s s e s s i n g t h e u t i l i t y o f t h e m o d e l a n di n f o r m i n g p o l i c y a n d f u n d i n g d e c i s i o n s .1 . From t h e R E - A I M p e r s p e c t i v e , wee x p e c t t h a t programs t h a t are v e r y e f f i c a -c i o u s ( u n d e r h i g h l y c o n t r o l l e d , o p t i m a l c o n-

d i t i o n s ) may h a v e p o o r i m p l e m e n t a t i o nr e s u l t s . S u c h a n i n v e r s e r e l a t i o n s h i p b e t w e e np r o g r a m e f f i c a c y a n d i m p l e m e n t a t i o n , o rb e t w e e n r e a c h a n d e f f i c a c y , 4 3 h a s s i g n i f i c a n ti m p l i c a t i o n s f o r t h e t y p e s o f i n t e r v e n t i o n st h a t s h o u l d r e c e i v e h i g h p r i o r i t y .2 . T h e RE-AIM m o d e l d o e s n o t e x p l i c -i t l y i n c l u d e e c o n o m i c f a c t o r s . 3 2 H o w e v e r ,c o s t i s s u e s are a d d r e s s e d i n 3 w a y s . F i r s t ,we t h i n k t h a t c o s t i s o f t e n a m a j o r f a c t o rd e t e r m i n i n g w h e t h e r a program w i l l b ea d o p t e d , i m p l e m e n t e d c o n s i s t e n t l y , o rm a i n t a i n e d . 8 4 8 6 T h i s h y p o t h e s i s s h o u l d b et e s t e d a n d s u b s t a n t i a t e d o r r e f u t e d . S e c -o n d , c o s t - e f f e c t i v e n e s s a n d c o s t - b e n e f i tare c e r t a i n l y a p p r o p r i a t e o u t c o m e s . T h e yd e t e r m i n e how w e l l r e s o u r c e s are b e i n gu s e d a n d w h e t h e r o r n o t m o r e g o o d c o u l db e a c c o m p l i s h e d t h r o u g h a l t e r n a t i v e use s( o p p o r t u n i t y c o s t s ) . F i n a l l y , a p o p u l a t i o n -b a s e d c o s t - e f f e c t i v e n e s s i n d e x c o u l d b ec a l c u l a t e d b y d i v i d i n g t h e r e s u l t i n g p u b l i ch e a l t h i m p a c t b y t h e t o t a l s o c i e t a l c o s t s 3 2o f a p r o g r a m . D i v i d i n g e a c h R E - A I Mcomponent s c o r e b y t h e c o s t s r e l e v a n t t ot h a t d i m e n s i o n c o u l d h e l p i d e n t i f y areas o fe f f i c i e n c y a n d w a s t e . T h e r e i s a n e e d f o rf u r t h e r w o r k on s i m i l a r f o r m u l a s a n d e v a l -u a t i o n o f t h e e x t e n t t o w h i c h p r o v i d i n gd e c i s i o n m a k e r s w i t h i n f o r ma t i o n on RE-A I M d i m e n s i o n s i n f l u e n c e s d e c i s i o n s .3 . S y s t e m a t i c r e v i e w s t h a t d e t e r m i n et h e e x t e n t t o w h i c h d i f f e r e n t r e s e a r c h f i e l d sh a v e s t u d i e d - o r n e g l e c t e d - e a c h o f t h eR E - A I M d i m e n s i o n s a re n e e d e d . Weh y p o t h e s i z e t h a t a d o p t i o n a n d m a i n t e n a n c e -i n s t i t u t i o n a l i z a t i o n w i l l b e t h e most u n d e r -s t u d i e d d i m e n s i o n s , b u t t h i s n e e d s t o b ed o c u m e n t e d f o r d i f f e r e n t r e s e a r c h t o p i c s .L i m i t a t i o n s o f RE-AIM

T h e p r e c i s e n a t u r e o f t h e r e l a t i o n s h i p sa m o n g t h e 5 R E - A I M d i m e n s i o n s , a n d ho w

A m e r i c a n J o u r n a l o f P u b l i c H e a l t h

TABLE 1-RE-AIM E v a l u a t i o n D i m e n s i o n sD i m e n s i o n a L e v e l

R e a c h ( p r o p o r t i o n o f t h e t a r g e t p o p u l a t i o n t h a t I n d i v i d u a lp a r t i c i p a t e d i n t h e i n t e r v e n t i o n )E f f i c a c y ( s u c c e s s r a t e i f i m p l e m e n t e d a s i n I n d i v i d u a lg u i d e l i n e s ; d e f i n e d a s p o s i t i v e o u t c o m e sm i n u s n e g a t i v e o u t c o m e s )A d o p t i o n ( p r o p o r t i o n o f s e t t i n g s , p r a c t i c e s , O r g a n i z a t i o na n d p l a n s t h a t w i l l a d o p t t h i s i n t e r v e n t i o n )I m p l e m e n t a t i o n ( e x t e n t t o w h i c h t h e i n t e r v e n t i o n i s O r g a n i z a t i o ni m p l e m e n t e d a s i n t e n d e d i n t h e r e a l w o r l d )M a i n t e n a n c e ( e x t e n t t o w h i c h a p r o g r a m i s I n d i v i d u a l a n d o r g a n i z a t i o ns u s t a i n e d o v e r t i m e )a T h e p r o d u c t o f t h e 5 d i m e n s i o n s i s t h e p u b l i c h e a l t h i m pa c t s co r e ( p op u l a t i on - b a se de f f e c t ) .

S e p t e m b e r 1 9 9 9 , V o l . 8 9 , N o . 9

7/30/2019 amjph00009-0018

4/6

C o m m e n t a r i e s

H i g h e f f i c a c y a n d h i g h - c o s t i n t e r v e n t i o n- - - Low e f f i c a c y a n d l o w - c o s t i n t e r v e n t i o n0 . 9

0 . 7 -

- a 0 . 5cEZ 0.3-w

0 . 1I R e a c h E f f i c a c y A d o p t i o n I m p l m e n t a t i o n M a i n t e n a n c e

F I G U R E 1 - D i s p l a y o f 2 d i f f e r e n t i n t e r v e n t i o n p r o g r a m s on v a r i o u s R E - A I Md i m e n s i o n s .

t h e y c o m b i n e t o d e t e r m i n e o v e r a l l p u b l i ch e a l t h i m p a c t , i s u n k n o w n . We h a v e r e p r e -s e n t e d t h e s e f a c t o r s a s i n t e r a c t i n g m u l t i p l i c a -t i v e l y b e c a u s e w e b e l i e v e t h a t t h i s i s c l o s e r t or e a l i t y t h a n a n a d d i t i v e m o d e l . A h i g h l y e f f i -c a c i o u s p r o g r a m t h a t i s a d o p t e d b y f e w c l i n -i c s o r t h a t r e a c h e s o n l y a s m a l l p r o p o r t i o n o fe l i g i b l e c i t i z e n s w i l l h a v e l i t t l e p o p u l a t i o n -b a s e d i m p a c t . I n f u t u r e r e s e a r c h , i t w i l l b en e c e s s a r y t o d e t e r m i n e t h e p r e c i s e m a t h e -m a t i c a l f u n c t i o n s t h a t b e s t c h a r a c t e r i z e t h ei n t e r p l a y o f t h e s e d i m e n s i o n s .I n t h i s i n i t i a l m o d e l , w e h a v e i m p l i c i t l ya s s u m e d , i n t h e a b s e n c e o f d a t a t o t h e c o n -t r a r y , t h a t a l l 5 RE-AIM d i m e n s i o n s a r ee q u a l l y i m p o r t a n t a n d t h e r e f o r e e q u a l l yw e i g h t e d . T h i s m a y n o t a l w a y s b e t h e c a s e .I n s i t u a t i o n s i n w h i c h 1 o r m o r e o f t h eRE-AIM d i m e n s i o n s a r e c o n s i d e r e d m o s ti m p o r t a n t , d i f f e r e n t i a l w e i g h t s c o u l d b ea s s i g n e d . S i m i l a r l y , i t m a y n o t b e n e c e s s a r yt o a s s e s s a l l RE-AIM c o m p o n e n t s i n e v e r ys t u d y .F i n a l l y , t h e t i m e i n t e r v a l s we h a v es u g g e s t e d f o r a s s e s s i n g i m p l e m e n t a t i o n( 6 m o n t h s - I y e a r ) a n d m a i n t e n a n c e( 2 + y e a r s ) a r e a r b i t r a r y . F u t u r e r e s e a r c hi s n e e d e d t o d e t e r m i n e w h e t h e r t h e r e a r en e c e s s a r y o r o p t i m a l i n t e r v a l s f o r e v a l u a t -i n g t h e s e d i m e n s i o n s .C o n c l u s i o n

P u b l i c h e a l t h i n t e r v e n t i o n s s h o u l d b ee v a l u a t e d m o r e c o m p r e h e n s i v e l y t h a n h a s t r a -d i t i o n a l l y b e e n d o n e . 4 2 ' 5 5 ' 7 ' D i m e n s i o n s s u c ha s r e a c h , a d o p t i o n , a n d i m p l e m e n t a t i o n a r e

c r u c i a l i n e v a l u a t i n g p r o g r a m s i n t e n d e d f o rw i d e - s c a l e d i s s e m i n a t i o n . We h o p e t h a t t h eR E - A I M f r a m e w o r k , o r s i m i l a r m o d e l s t h a tf o c u s o n o v e r a l l p o p u l a t i o n - b a s e d i m p a c t , w i l lb e u s e d t o m o r e f i l l y e v a l u a t e p u b l i c h e a l t hi n n o v a t i o n s . S u c h a n e v a l u a t i o n f r a m e w o r kh e l p s r e m i n d u s o f t h e k e y p u r p o s e s o f p u b -l i c h e a l t h , o r g a n i z a t i o n a l c h a n g e , a n d c o m -m u n i t y i n t e r v e n t i o n s . 7 1 , 8 3 , 8 7 , 8 8 I t i s t i m e t o r e -a i m o u r e v a l u a t i o n e f f o r t s . DC o n t r i b u t o r sR . E . G l a s g o w o r i g i n a t e d t h e i d e a f o r t h e RE-AIMf r a m e w o r k a n d s e r v e d a s e d i t o r . T . M . V o g t d r a f t e ds e c t i o n s o n i m p l i c a t i o n s a n d c o i n e d t h e a c r o n y mR E - A I M . S . M . B o l e s d r a f t e d c o n t e n t o n t h e v a r i o u su s e s o f t h e m o d e l a n d c o n t r i b u t e d t h e f i g u r e a n di d e a s a b o u t d i s p l a y s . A l l a u t h o r s c o n t r i b u t e d s u b -s t a n t i a l l y t o t h e w r i t i n g o f t h e p a p e r .

A c k n o w l e d g m e n t sP r e p a r a t i o n o f t h i s m a n u s c r i p t w a s s u p p o r t e d b yg r a n t s R O I D K 5 1 5 8 1 , R O I D K 3 5 5 2 4 , a n d R O IH L 5 2 5 3 8 f r o m t h e N a t i o n a l I n s t i t u t e s o f H e a l t h .A p p r e c i a t i o n i s e x p r e s s e d t o D r s G a r y C u t t e r ,M a r k D i g n a n , E d L i c h t e n s t e i n , a n d D e b o r a h T o o b e r tf o r t h e i r h e l p f u i l c o m m e n t s o n a n e a r l i e r v e r s i o n o ft h i s a r t i c l e .

R e f e r e n c e s1 . B a n d u r a A . S o c i a l F o u n d a t i o n s o f T h o u g h t a n dA c t i o n : A S o c i a l C o g n i t i v e T h e o r y . E n g l e w o o dC l i f f s , N J : P r e n t i c e H a l l ; 1 9 8 6 .2 . G r e e n L W , K r e u t e r M W . H e a l t h P r o m o t i o nP l a n n i n g : An E d u c a t i o n a n d E n v i r o n m e n t a lA p p r o a c h . M o u n t a i n V i e w , C a l i f : M a y f i e l dP u b l i s h i n g C o ; 1 9 9 1 .

3 . G r e e n L W , R i c h a r d L , P o t v i n L . E c o l o g i c a lf o u n d a t i o n s o f h e a l t h p r o m o t i o n . A m J H e a l t hP r o m o t i o n . 1 9 9 6 ; 1 0 : 2 7 0 - 2 8 1 .4 . G l a n z K , R i m e r B K . T h e o r y a t a G l a n c e . A

G u i d e f o r H e a l t h P r o m o t i o n P r a c t i c e . B e t h -e s d a , M d : N a t i o n a l C a n c e r I n s t i t u t e ; 1 9 9 5 .5 . G l a s g o w R E , L a C h a n c e P , T o o b e r t D J , e t a l .L o n g t e r m e f f e c t s a n d c o s t s o f b r i e f b e h a v i o r a ld i e t a r y i n t e r v e n t i o n f o r p a t i e n t s w i t h d i a b e t e sd e l i v e r e d f r o m t h e m e d i c a l o f f i c e . P a t i e n t E d u cC o u n s e l i n g . 1 9 9 7 ; 3 2 : 1 7 5 - 1 8 4 .6 . M e e n a n R T , S t e v e n s V J , H o r n b r o o k MC, e t a l .C o s t - e f f e c t i v e n e s s o f a h o s p i t a l - b a s e d s m o k i n g -c e s s a t i o n i n t e r v e n t i o n . Med C a r e . 1 9 9 8 ; 3 6 :6 7 0 - 6 7 8 .

7 . W a s s o n J , G a u d e t t e C , W h a l e y F , e t a l . T e l e -p h o n e c a r e a s a s u b s t i t u t e f o r r o u t i n e c l i n i c f o l -l o w - u p . J A M A . 1 9 9 2 ; 2 6 7 : 1 7 8 8 - 1 7 9 3 .

8 . K a p l a n RM. T h e H i p p o c r a t i c P r e d i c a m e n t :A f f o r d a b i l i t y , A c c e s s , a n d A c c o u n t a b i l i t y i nA m e r i c a n H e a l t h C a r e . S a n D i e g o , C a l i f : A c a d -e m i c P r e s s I n c ; 1 9 9 3 .

9 . H e a l t h P l a n E m p l o y e r D a t a a n d I n f o r m a t i o nS e t 3 . 0 . W a s h i n g t o n , D C : N a t i o n a l C o m m i t t e ef o r Q u a l i t y A s s u r a n c e ; 1 9 9 6 .1 0 . F e r g u s o n T . H e a l t h O n l i n e . R e a d i n g , M a s s :A d d i s o n - W e s l e y P u b l i s h i n g C o ; 1 9 9 6 .1 1 . S t r e e t RL J r , R i m a l R N . H e a l t h p r o m o t i o n a n di n t e r a c t i v e t e c h n o l o g y : a c o n c e p t u a l f o u n d a -t i o n . I n : S t r e e t RL J r , G o l d WR, M a n n i n g T ,e d s . H e a l t h P r o m o t i o n a n d I n t e r a c t i v e T e c h n o l -o g y : T h e o r e t i c a l A p p l i c a t i o n s a n d F u t u r eD i r e c t i o n s . M a h w a h , N J : L a w r e n c e E r l b a u mA s s o c i a t e s ; 1 9 9 7 : 1 - 1 8 .1 2 . G l a s g o w R E , W a g n e r E , K a p l a n RM, e t a l . I fd i a b e t e s i s a p u b l i c h e a l t h p r o b l e m , w h y n o tt r e a t i t a s o n e ? A p o p u l a t i o n - b a s e d a p p r o a c h t oc h r o n i c i l l n e s s . A n n B e h a v M e d . 1 9 9 9 ; 2 1 : 1 - 1 3 .

1 3 . S h a w KM, B u l p i t t C J , B l o o m A . S i d e e f f e c t s o ft h e r a p y i n d i a b e t e s e v a l u a t e d b y a s e l f - a d m i n i s -t e r e d q u e s t i o n n a i r e . J C h r o n i c D i s . 1 9 7 7 ; 3 0 :3 9 - 4 8 .1 4 . S o r e n s e n G , E m m o n s KM, D o b s o n A J . T h ei m p l i c a t i o n s o f t h e r e s u l t s o f c o m m u n i t y i n t e r -v e n t i o n t r i a l s . A n n u R e v P u b l i c H e a l t h . 1 9 9 8 ;1 9 : 3 7 9 - 4 1 6 .1 5 . S t a r f i e l d B . Q u a l i t y - o f - c a r e r e s e a r c h : i n t e r n a le l e g a n c e a n d e x t e r n a l r e l e v a n c e [ c o m m e n t a r y ] .J A M A . 1 9 9 8 ; 2 8 0 : 1 0 0 6 - 1 0 0 8 .1 6 . S t o k o l s D . E s t a b l i s h i n g a n d m a i n t a i n i n g h e a l t h ye n v i r o n m e n t s : t o w a r d a s o c i a l e c o l o g y o f h e a l t hp r o m o t i o n . A m P s y c h o l . 1 9 9 2 ; 4 7 : 6 - 2 2 .1 7 . C a p r a F . T h e W e b o f L i f e : A New U n d e r s t a n d i n go f L i v i n g S y s t e m s . New Y o r k , N Y : D o u b l e d a y ;1 9 9 7 .1 8 . G o u l d S J . F u l l H o u s e : T h e S p r e a d o f E x c e l -l e n c e F r o m P l a t o t o D a r w i n . P i t t s b u r g h , P a :T h r e e R i v e r s P r e s s ; 1 9 9 7 .1 9 . G l a s g o w R E , E a k i n E G , T o o b e r t D J . Ho w g e n -e r a l i z a b l e a r e t h e r e s u l t s o f d i a b e t e s s e l f - m a n -a g e m e n t r e s e a r c h ? T h e i m p a c t o f p a r t i c i p a t i o na n d a t t r i t i o n . D i a b e t e s E d u c . 1 9 9 6 ; 2 2 : 5 7 3 - 5 8 5 .2 0 . C o n r a d P . Who c o m e s t o w o r k s i t e w e l l n e s s p r o -g r a m s ? A p r e l i m i n a r y r e v i e w . J O c c u p M e d .1 9 8 7 ; 2 9 : 3 1 7 - 3 2 0 .2 1 . DCCT R e s e a r c h G r o u p . L i f e t i m e b e n e f i t s a n dc o s t s o f i n t e n s i v e t h e r a p y a s p r a c t i c e d i n t h eD i a b e t e s C o n t r o l a n d C o m p l i c a t i o n s T r i a l .J A M A X . 1 9 9 6 ; 2 7 6 : 1 4 0 9 - 1 4 1 5 .2 2 . F l a y B R . E f f i c a c y a n d e f f e c t i v e n e s s t r i a l s ( a n do t h e r p h a s e s o f r e s e a r c h ) i n t h e d e v e l o p m e n t o f

S e p t e m b e r 1 9 9 9 , V o l . 8 9 , N o . 9 A m e r i c a n J o u m a l o f P u b l i c H e a l t h 1 3 2 Z

7/30/2019 amjph00009-0018

5/6

C o m m e n t a r i e s

h e a l t h p r o m o t i o n p r o g r a m s . P r e v M e d . 1 9 8 6 ;1 5 : 4 5 1 - 4 7 4 .2 3 . H o f s t e d e G . C u l t u r e s a n d O r g a n i z a t i o n . S o f t -w a r e o f t h e M i n d . New Y o r k , N Y : M c G r a w - H i l lI n t e r n a t i o n a l B o o k C o ; 1 9 9 7 .2 4 . G o o d m a n RM, S t e c k l e r A . T h e l i f e a n d d e a t h o fa h e a l t h p r o m o t i o n p r o g r a m: a n i n s t i t u t i o n a l i z a -t i o n p e r s p e c t i v e . I n t Q C o m m u n i t y H e a l t hE d u c . 1 9 8 8 ; 8 9 : 5 - 1 9 .

2 5 . G o o d m a n RM , M c L e r o y K R , S t e c k l e r A , e t a l .D e v e l o p m e n t o f l e v e l o f i n s t i t u t i o n a l i z a t i o ns c a l e s f o r h e a l t h p r o m o t i o n p r og r a ms . H e a l thE d u c Q . 1 9 9 3 ; 2 0 : 1 6 1 - 1 7 8 .2 6 . C l a r k e G N . I m p r o v i n g t h e t r a n s i t i o n f r o m b a s i ce f f i c a c y r e s e a r c h t o e f f e c t i v e n e s s s t u d i e s :m e t h o d o l o g i c a l i s s u e s a n d p r o c e d u r e s . J C o n -s u l t C l i n P s y c h o l . 1 9 9 5 ; 6 3 : 7 1 8 - 7 2 5 .2 7 . P a u l G L , L e n t z R J . P s y c h o s o c i a l T r e a t m e n t o fC h r o n i c M e n t a l P a t i e n t s . C a m b r i d g e , M a s s :H a r v a r d U n i v e r s i t y P r e s s ; 1 9 7 7 .2 8 . D e r t o u z o s M L . W h a t W i l l B e : Ho w t h e New W o r l do f I n f o r m a t i o n W i l l C h a n g e O u r L i v e s . New Y o r k ,N Y : H a r p e r E d g e P u b l i s h e r s I n c ; 1 9 9 7 .

2 9 . G l a s g o w R E , F i s h e r E , A n d e r s o n B J , e t a l .B e h a v i o r a l s c i e n c e i n d i a b e t e s : c o n t r i b u t i o n sa n d o p p o r t u n i t i e s . D i a b e t e s C a r e . 1 9 9 9 ; 2 2 :8 3 2 - 8 4 3 .3 0 . COMMI T R e s e a r c h G r o u p . C o m m u n i t y I n t e r -v e n t i o n T r i a l f o r S m o k i n g C e s s a t i o n (COM-M I T ) : s u m m a r y o f d e s i g n a n d i n t e r v e n t i o n .J N a t l C a n c e r I n s t . 1 9 9 1 ; 8 3 : 1 6 2 0 - 1 6 2 8 .3 1 . C u l l e n J W . D e s i g n o f c a n c e r p r e v e n t i o n s t u d i e s .C a n c e r D e t e c t P r e v . 1 9 8 6 ; 9 : 1 2 5 - 1 3 8 .3 2 . G o l d MR, S i e g e l J E , R u s s e l l L B , e t a l . C o s t -E f f e c t i v e n e s s i n H e a l t h a n d M e d i c i n e . NewY o r k , N Y : O x f o r d U n i v e r s i t y P r e s s I n c ; 1 9 9 6 .3 3 . B o d e n h e i m e r T S , G r u m b a c h K E . U n d e r s t a n d -i n g H e a l t h P o l i c y : A C l i n i c a l A p p r o a c h . S t a m -f o r d , C o n n : A p p l e t o n & L a n g e ; 1 9 9 5 .3 4 . C a l i f a n o J A J r . R a d i c a l S u r g e r y : W h a t ' s N e x tf o r A m e r i c a s H e a l t h C a r e . New Y o r k , N Y :R a n d o m H o u s e ; 1 9 9 4 .3 5 . V o g t T M , H o l l i s J F , L i c h t e n s t e i n E , e t a l . T h em e d i c a l c a r e s y s t e m a n d p r e v e n t i o n : t h e n e e d f o ra new p a r a d i g m . HMO P r a c t . 1 9 9 8 ; 1 2 : 6 - 1 4 .3 6 . K r i s t e i n M M, A r n o l d C B , W y n d e r E L . H e a l t he c o n o m i c s a n d p r e v e n t i v e c a r e . S c i e n c e . 1 9 7 7 ;1 9 5 : 4 5 7 - 4 6 2 .3 7 . H a t z i a n d r e w E J , S a c k s J J , B r o w n R , e t a l . T h ec o s t - e f f e c t i v e n e s s o f t h r e e p r o g r a m s t o i n c r e a s eu s e o f b i c y c l e h e l m e t s a m o n g c h i l d r e n . P u b l i cH e a l t h R e p . 1 9 9 5 ; 1 1 0 : 2 5 1 - 2 5 9 .3 8 . A b r a m s D B , O r l e a n s C T , N i a u r a R S , e t a l . I n t e g r a t -i n g i n d i v i d u a l a n d p u b l i c h e a l t h p e r s p e c t i v e s f o rt r e a t m e n t o f t o b a c c o d e p e n d e n c e u n d e r m a n a g e dh e a l t h c a r e : a c o m b i n e d s t e p p e d c a r e a n d m a t c h i n gm o d e l . A n n I n t e r n M e d . 1 9 9 6 ; 1 8 : 2 9 0 - 3 0 4 .3 9 . G r e e n L W , K r e u t e r MW B e h a v i o r a l a n d e n v i -r o n m e n t a l d i a g n o s i s . I n : G r e e n L W , K r e u t e rMW, e d s . H e a l t h P r o m o t i o n a n d P l a n n i n g : AnE d u c a t i o n a l a n d E n v i r o n m e n t a l A p p r o a c h .M o u n t a i n V i e w , C a l i f : M a y f i e l d P u b l i s h i n g C o ;1 9 9 1 : 1 2 5 - 1 4 9 .4 0 . S t o k o l s D . T r a n s l a t i n g s o c i a l e c o l o g i c a l t h e o r yi n t o g u i d e l i n e s f o r c o m m u n i t y h e a l t h p r o m o t i o n .Am J H e a l t h P r o m o t i o n . 1 9 9 6 ; 1 0 : 2 8 2 - 2 9 8 .

4 1 . B r a c h t N . C o m m u n i t y O r g a n i z a t i o n S t r a t e g i e sf o r H e a l t h P r o m o t i o n . N e w b u r y P a r k , C a l i f :S a g e P u b l i c a t i o n s ; 1 9 9 0 .

4 2 . G r e e n L W , J o h n s o n J L . D i s s e m i n a t i o n a n d u t i -l i z a t i o n o f h e a l t h p r o m o t i o n a n d d i s e a s e p r e -v e n t i o n k n o w l e d g e : t h e o r y , r e s e a r c h a n d e x p e r i -e n c e . C a n J P u b l i c H e a l t h . 1 9 9 6 ; 8 7 ( s u p p l 2 ) :S l l - S 1 7 .4 3 . G l a s g o w R E , M c C a u l K D , F i s h e r K J . P a r t i c i -p a t i o n i n w o r k s i t e h e a l t h p r o m o t i o n : a c r i t i q u eo f t h e l i t e r a t u r e a n d r e c o m m e n d a t i o n s f o rf u t u r e p r a c t i c e . H e a l t h Educ Q . 1 9 9 3 ; 2 0 :3 9 1 - 4 0 8 .4 4 . M e i n e r t C L . C l i n i c a l T r i a l s : D e s i g n , C o n d u c ta n d A n a l y s i s . New Y o r k , N Y : O x f o r d U n i v e r s i t yP r e s s I n c ; 1 9 8 6 .4 5 . R i n d DM, K o h a n e I S , S z o l o v i t s P , e t a l . M a i n -t a i n i n g t h e c o n f i d e n t i a l i t y o f m e d i c a l r e c o r d ss h a r e d o v e r t h e I n t e r n e t a n d t h e W o r l d W i d eW e b . A n n I n t e r n M e d . 1 9 9 7 ; 1 2 7 : 1 3 8 - 1 4 1 .4 6 . V o g t TM, L a C h a n c e P A , G l a s s A . S c r e e ni n gi n t e r v a l a n d s t a g e a t d i a g n o s i s f o r c e r v i c a l a n db r e a s t c a n c e r . P a p e r p r e s e n t e d a t : A n n u a l M e e t -i n g o f t h e A m e r i c a n S o c i e t y o f P r e v e n t i v eO n c o l o g y ; M a r c h 1 9 9 8 ; B e t h e s d a , M d .4 7 . Emmons KM. M a x i m i z i n g c a n c e r r i s k r e d u c -t i o n e f f o r t s : a d d r e s s i n g r i s k f a c t o r s s i m u l t a n e -o u s l y . C a n c e r C a u s e s C o n t r o l . 1 9 9 7 ; 8 ( s u p p l 1 ) :S 3 1 - S 3 4 .4 8 . A t h a n a s i o u T . D i v i d e d P l a n e t : T h e E c o l o g y o fR i c h a n d P o o r . B o s t o n , M a s s : L i t t l e B r o w n &C o I n c ; 1 9 9 6 .4 9 . M a r m o t MG, B o b a k M , S m i t h G D . E x p l a n a -t i o n s f o r s o c i a l i n e q u i t i e s i n h e a l t h . I n : A m i c kB C , L e v i n e S , T a r l o v A R , W a l s h D C , e d s . S o c i -e t y a n d H e a l t h . New Y o r k , N Y : O x f o r d U n i v e r -s i t y P r e s s I n c ; 1 9 9 5 : 1 7 2 - 2 1 0 .5 0 . C o o k T D , C a m p b e l l D T . Q u a s i - E x p e r i m e n t a lD e s i g n a n d A n a l y s i s I s s u e s f o r F i e l d S e t t i n g s .C h i c a g o , I l l : R a n d M c N a l l y ; 1 9 7 9 .

5 1 . B r a d l e y C . D e s i g n i n g m e d i c a l a n d e d u c a t i o n a li n t e r v e n t i o n s t u d i e s . D i a b e t e s C a r e . 1 9 9 3 ; 1 6 :5 0 9 - 5 1 8 .5 2 . B l o o m J R , M o n t e r o s s a S . H y p e r t e n s i o n l a b e l -i n g a n d s e n s e o f w e l l - b e i n g . A m J P u b l i cH e a l t h . 1 9 8 1 ; 7 1 : 1 2 2 8 - 1 2 3 2 .5 3 . D o w n s WR, R o b e r t s o n J F , H a r r i s o n L R . C o n -t r o l t h e o r y , l a b e l i n g t h e o r y , a n d t h e d e l i v e r y o fs e r v i c e s f o r d r u g a b u s e t o a d o l e s c e n t s . A d o l e s -c e n c e . 1 9 9 7 ; 3 2 : 1 - 2 4 .5 4 . G l a s g o w R E , O s t e e n V L . E v a l u a t i n g d i a b e t e se d u c a t i o n : a r e we m e a s u r i n g t h e m o s t i m p o r t a n to u t c o m e s ? D i a b e t e s C a r e . 1 9 9 2 ; 1 5 : 1 4 2 3 - 1 4 3 2 .5 5 . N u t b e a m D . E v a l u a t i n g h e a l t h p r o m o t i o n -p r o g r e s s , p r o b l e m s a n d s o l u t i o n s . H e a l t h P r o -m o t i o n I n t . 1 9 9 8 ; 1 3 : 2 7 - 4 4 .5 6 . V i n i c o r F . I s d i a b e t e s a p u b l i c - h e a l t h d i s o r d e r ?D i a b e t e s C a r e . 1 9 9 4 ; 1 7 : 2 2 - 2 7 .5 7 . S p i l k e r B . Q u a l i t y o f L i f e i n C l i n i c a l T r i a l s .New Y o r k , N Y : R a v e n P r e s s ; 1 9 9 0 .5 8 . E m o n t S L , C h o i W S , N o v o t n y T E , e t a l . C l e a ni n d o o r a i r l e g i s l a t i o n , t a x a t i o n , a n d s m o k i n gb e h a v i o u r i n t h e U n i t e d S t a t e s : a n e c o l o g i c a la n a l y s i s . T o b C o n t r o l . 1 9 9 2 ; 2 : 1 3 - 1 7 .5 9 . R o g e r s EM. D i f f u s i o n o f I n n o v a t i o n s . NewY o r k , N Y : F r e e P r e s s ; 1 9 8 3 .6 0 . G l a s g o w R E . C o m p l i a n c e t o d i a b e t e s r e g i m e n s :c o n c e p t u a l i z a t i o n , c o m p l e x i t y , a n d d e t e r m i n a n t s .I n : C r a m e r J A , S p i l k e r B , e d s . P a t i e n t C o m p l i -a n c e i n M e d i c a l P r a c t i c e a n d C l i n i c a l T r i a l s .N e w Y o r k , N Y : R a v e n P r e s s ; 1 9 9 1 : 2 0 9 - 2 2 1 .

6 1 . Mahoney M J , T h o r e s e n C E . S e l f - C o n t r o l :P o w e r t o t h e P e r s o n . M o n t e r e y , C a l i f : B r o o k s /C o l e ; 1 9 7 4 .6 2 . S t e v e n s V J , G l a s g o w R E , H o l l i s J F , e t a l . I m p l e -m e n t a t i o n a n d e f f e c t i v e n e s s o f a b r i e f s m o k i n gc e s s a t i o n i n t e r v e n t i o n f o r h o s p i t a l p a t i e n t s . MedC a r e . I n p r e s s .6 3 . M a r l a t t GA, G o r d o n J R . D e t e r m i n a n t s o fr e l a p s e : i m p l i c a t i o n s f o r t h e m a i n t e n a n c e o fb e h a v i o r c h a n g e . I n : D a v i d s o n P , D a v i d s o n S ,e d s . B e h a v i o r a l M e d i c i n e : C h a n g i n g H e a l t hL i f e s t y l e s . New Y o r k , N Y : B r u n n e r / M a z e l ;1 9 8 0 : 4 1 0 - 4 5 2 .6 4 . S t e c k l e r A , G o o d m a n RM. Ho w t o i n s t i t u t i o n -a l i z e h e a l t h p r o m o t i o n p r o g r a m s . A m J H e a l t hP r o m o t i o n . 1 9 8 9 ; 3 : 3 4 4 4 .6 5 . M a r l a t t G A , G o r d o n J R . R e l a p s e P r e v e n t i o n :M a i n t e n a n c e S t r a t e g i e s i n t h e T r e a t m e n t o fA d d i c t i v e B e h a v i o r s . New Y o r k , N Y : G u i l f o r dP r e s s ; 1 9 8 5 .6 6 . S t u n k a r d A J , S t e l l a r E . E a t i n g a n d I t s D i s o r -d e r s . New Y o r k , N Y : R a v e n P r e s s ; 1 9 8 4 .6 7 . C l e v e l a n d WS. T h e E l e m e n t s o f G r a p h i n gD a ta . M o n t e re y , C a l i f : W a d sw o r t h A d v a n c e dB o o k s a n d S o f t w a r e ; 1 9 8 5 .6 8 . T u f t e E R . V i s u a l E x p l a n a t i o n s : I m a g e s a n dQ u a n t i t i e s , E v i d e n c e a n d N a r r a t i v e . C h e s h i r e ,C o n n : G r a p h i c s P r e s s ; 1 9 9 7 .6 9 . G r e e n l i c k MR. E d u c a t i n g p h y s i c i a n s f o r p o p u -l a t i o n - b a s e d c l i n i c a l p r a c t i c e . J A M A . 1 9 9 2 ; 2 6 7 :1 6 4 5 - 1 6 4 8 .7 0 . V o n K o r f f M , G r u m a n J , S c h a e f e r J , e t a l . C o l -l a b o r a t i v e m a n a g e m e n t o f c h r o n i c i l l n e s s . A n nB e h a v M e d . 1 9 9 7 ; 1 2 7 : 1 0 9 7 - 1 1 0 2 .7 1 . A b r a m s D B , E m m o n s K , N i a u r a R D , e t a l .T o b a c c o d e p e n d e n c e : a n i n t e g r a t i o n o f i n d i v i d -u a l a n d p u b l i c h e a l t h p e r s p e c t i v e s . I n : N a t h a nP E , L a n g e n b u c h e r J W , M c C r a d y B S , F r a n k e n -s t e i n W , e d s . T h e A n n u a l R e v i e w o f A d d i c t i o n sT r e a t m e n t a n d R e s e a r c h . New Y o r k , N Y : P e r g a -mo n P r e s s ; 1 9 9 1 : 3 9 1 - 4 3 6 .7 2 . S o b e l D . R e t h i n k i n g m e d i c i n e : i m p r o v i n gh e a l t h o u t c o m e s w i t h c o s t - e f f e c t i v e p s y c h o s o -c i a l i n t e r v e n t i o n s . P s y c h o s o m M e d . 1 9 9 5 ; 5 7 :2 3 4 - 2 4 4 .7 3 . M c K i n l a y J B . A t a l e o f 3 t a i l s . A m J P u b l i cH e a l t h . 1 9 9 9 ; 8 9 : 2 9 5 - 2 9 8 .7 4 . S t o k o l s D , P e l l e t i e r K R , F i e l d i n g J E . T h e e c o l -o g y o f w o r k a n d h e a l t h : r e s e a r c h a n d p o l i c yd i r e c t i o n s f o r t h e p r o m o t i o n o f e m p l o y e eh e a l t h . H e a l t h E d u c Q . 1 9 9 6 ; 2 3 : 1 3 7 - 1 5 8 .

7 5 . G l a s g o w R E , E a k i n E G . I s s u e s i n d i a b e t e s s e l f -m a n a g e m e n t . I n : S h u m a k e r S A , S c h r o n E B ,O c k e n e J K , McBee W L , e d s . T h e H a n d b o o k o fH e a l t h B e h a v i o r C h a n g e . New Y o r k , NY:S p r i n g e r P u b l i s h i n g C o ; 1 9 9 8 : 4 3 5 - 4 6 1 .7 6 . A m i c k BC I I I , L e v i n e S , T a r l o v A R , e t a l . S o c i -e t y a n d H e a l t h . New Y o r k , N Y : O x f o r d U n i v e r -s i t y P r e s s I n c ; 1 9 9 5 .7 7 . G o c h m a n D S . H a n d b o o k o f H e a l t h B e h a v i o rR e s e a r c h I I . N e w Y o r k , N Y : P l e n u m P r e s s ; 1 9 9 7 .7 8 . K a z d i n A E . R e s e a r c h D e s i g n i n C l i n i c a l P s y -c h o l o g y . B o s t o n , M a s s : A l l y n & B a c o n ; 1 9 9 2 .7 9 . B r a d l e y C . C l i n i c a l t r i a l s - t i m e f o r a p a r a d i g ms h i f t ? D i a b e t M e d . 1 9 8 8 ; 5 : 1 0 7 - 1 0 9 .

8 0 . P i n c u s T . R a n d o m i z e d c o n t r o l l e d c l i n i c a l t r i a l sv e r s u s c o n s e c u t i v e p a t i e n t q u e s t i o n n a i r e d a t a -b a s e s . P a p e r p r e s e n t e d a t : A n n u a l C o n f e r e n c e

1 3 2 6 A m e r i c a n J o u r n a l o f P u b l i c H e a l t h S e p t e m b e r 1 9 9 9 , V o l . 8 9 , N o . 9

7/30/2019 amjph00009-0018

6/6

C o m m e n t a r i e s

o f t h e S o c i e t y o f B e h a v i o r a l M e d i c i n e ; M a r c h1 9 9 8 ; R o c k v i l l e , M d .8 1 . B i g l a n A . C h a n g i n g C u l t u r a l P r a c t i c e s : A C o n -t e x t u a l i s t F r a m e w o r k f o r I n t e r v e n t i o n R e s e a r c h .R e n o , N e v : C o n t e x t P r e s s ; 1 9 9 5 .8 2 . W e i s s S M . C o m m u n i t y h e a l t h d e m o n s t r a t i o np r o g r a m s . I n : M a t a r a z z o J D , W e i s s S M , H e r d J A ,M i l l e r N E , e d s . B e h a v i o r a l H e a l t h : A H a n d b o o ko f H e a l t h E n h a n c e m e n t a n d D i s e a s e P r e v e n t i o n .New Y o r k , N Y : J o hn W i l e y & S o n s I n c ; 1 9 8 4 .

8 3 . F i s h e r EB J r . T h e r e s u l t s o f t h e COMMIT T r i a l[ e d i t o r i a l ] . Am J P u b l i c H e a l t h . 1 9 9 5 ; 8 5 : 1 5 9 - 1 6 0 .8 4 . S m i t h T J , H i l l n e r B E , D e s h C E . E f f i c a c ya n d c o s t - e f f e c t i v e n e s s o f c a n c e r t r e a t m e n t :r a t i o n a l a l l o c a t i o n o f r e s o u r c e s b a s e d o nd e c i s i o n a n a l y s i s . J N a t l C a n c e r I n s t . 1 9 9 3 ;8 5 : 1 4 6 0 - 1 4 7 3 .8 5 . R u s s e l L B . Some o f t h e t o u g h d e c i s i o n sr e q u i r e d b y a n a t i o n a l h e a l t h p l a n . S c i e n c e .1 9 8 9 ; 2 4 6 : 8 9 2 3 - 8 9 2 6 .

8 6 . A a r o n H , S c h w a r t z W B . R a t i o n i n g h e a l t h c a r e :t h e c h o i c e b e f o r e u s . S c i e n c e . 1 9 9 0 ; 2 4 7 :4 1 8 - 4 2 2 .8 7 . L i c h t e n s t e i n E , G l a s g o w R E . S m o k i n g c e s s a -t i o n : w h a t h a v e we l e a r n e d o v e r t h e p a s td e c a d e ? J C o n s u l t C l i n P s y c h o l . 1 9 9 2 ; 6 0 :5 1 8 - 5 2 7 .8 8 . S u s s e r M . T h e t r i b u l a t i o n s o f t r i a l s - i n t e r v e n -t i o n i n c o m m u n i t i e s [ e d i t o r i a l ] . A m J P u b l i cH e a l t h . 1 9 9 5 ; 8 5 : 1 5 6 - 1 5 8 .

-~~ ~ ~ ~ ~ -C o m m u n i t y - O r i e n t e d P r i m a r y C a r e :H e a l t h C a r e f o r t h e 21st C e n t u r yE d i t e d b y R o b e r t R h y n e , M D , R i c h a r d B o g u e , P h D , ' s AG a r y K u k u l k a , P h D , a n d H u g h F u l m e r , MDT h i s book w i l l g i v e i n s i g h t i n t o : l* Ho w m e d i c i n e , h e a l t h s y s t e m s , n o n - h e a l t h c o m m u n i t y l e a d e r s , a n d s o c i a l s e r v i c e s c a n b e s u p p o r t i v e a sA m e r i c a ' s p u b l i c h e a l t h p r a c t i c e c o n t i n u e s t o b e c h a l l e n g e d , r e s t r u c t u r e d a n d r e d e f i n e d* New m o d e l s o f c o m m u n i t y - o r i e n t e d p r i m a r y c a r e i n a w i d e r a n g e o f s e t t i n g s* M e t h o d s a n d i n t e r v e n t i o n s o n p o p u l a t i o n - d e r i v e d h e a l t h n e e d s* H e a l t h p r o m o t i o n a n d d i s e a s e p r e v e n t i o n a s p a r t o f t h e o v e r a l l r e o r g a n i z a t i o n o f h e a l t h s e r v i c e s* U n d e r s t a n d i n g ho w c o m m u n i t y - o r i e n t e d p r i m a r y c a r e v a l u e s c a n c o m p l e m e n t m a n a g e d c a r e a n dc o m m u n i t y b e n e f i t p r o g r a m s f o r t h e 2 1 s t C e n t u r y* T h i s p r a c t i c a l , u s e r - f r i e n d l y compendium o f s p e c i f i c s k i l l s a n d t e c h n i q u e s f o r i m p l e m e n t i n g a c o m -m u n i t y - o r i e n t e d p r i m a r y c a r e p r o c e s s i n c l u d e s h o w - t o i n s t r u c t i o n s a n d t o p i c s n o t n o r m a l l y l e a r n e di n h e a l t h p r o f e s s i o n a l e d u c a t i o n .$ 2 7 . 0 0 f o r APHA members* * $ 3 9 . 0 0 f o r non-members1 9 9 8 , s o f t c o v e r , 2 2 8 p p . , S t o c k N o . 0 8 7 5 5 3 2 3 6 5 / C D A D 9 8

A m e r i c a n P u b l i c H e a l t h A s s o c i a t i o n * P u b l i c a t i o n s S a l e sPO B o x 7 5 3 , W a l d o r f , MD 2 0 6 0 4 - 0 7 5 3 .V o i c e : ( 3 0 1 ) 8 9 3 - 1 8 9 4 ; F a x : ( 3 0 1 ) 8 4 3 - 0 1 5 9E - m a i l : TASCO1@APHA.ORG; Web: w w w . a p h a . o r g * A P H A m e m b e r s m a y p u r c h a s e u p t o 2 c o p i e s a t t h i s p r i c e