Powell, Shklov (1984) Further Developments With The SETE Unit

8/2/2019 Powell, Shklov (1984) Further Developments With The SETE Unit

1/24

F u r t h e r D e v e l o p m e n t sw i t h t h B E T E

U n i t

b

o

F a c u l t y o E d u c a t i o nU n i v e r s i t y o W i n d s o r

a n

N o r m S h K 1 o v

D e p a r t m e n t o M t h e m * , c

p a p e r w a p r e pt h P s y c h o m e t r i c S

r e t o p r e si e t y , S a n t a

n t a t i o nB a r b a r a ,

a t h e a n n u a l r n e e t i n q o fC J u n e 2 " ^ , 1 ? 3 4 >


2/24


3/24

A B S T R A C T

T h i T e r h r r a a o - = e s o p h i s t i c a t e d t e c h n i q u e s b a s e d u p o n t h U L M . T s u p p o r t t h u s o t n e s e t e c h n i q u e s , l e a r n i n g m u s t b m o n o t o n i c w i t h l i n e a r t e s t

s s d p r r o r r : .

T h e s e a s s u m p o n s . c a b d e r i v e d l o g i c a l l y f r o m t h a s s o c i a t i o n i s t o b e h a v i o r i s t a p p r o a c h e s t l e a r n i n g . N h e r e

e i t h e r r o t e l e a r n i n g o f t h p e r f o r r n a n r e o o r e s o e c e s k i l l s i

t h e r e o b o e s o

m o d e l o t h m a t h e m t i c a l a n a l o g y d e r i v e d - f r o m t h e S L M .W h e n 1 e a r n e r u n d e r s t a n d i a n f i e x b i 1 i t i h o b J e c v e

N G N ~ L I N E A R r r e s e e t h d e T h B E T E u n i t w a d e v e l o p e d f o s i m p l e c o n t i n g e n c y t a b l e

a p p r o a c h t c o d i f y i n g f l e x i b l e o n o n l i n e a r r e s p o n s e p a t t e r n s .T b s m o f o e p i n g l e c e l l o f s u c

a b 1 e s n e e d e d .T h m u l t i p ! i c a t i v e b i n o m i a l c a b m a d e t f i t h e s e d a t a ,

b u t t h e d e r i v a t i o n o t h t h i r d p a r a m e t e r f r o m t h k n o w n

p e r * " n e e l e m e n t y b e e n e a e


4/24

F u r t h e r D e v e l o p m e n t su * i t h t h B E T EU n i t

b

J C P o w e l 1B S ' Q

N o r m S h K 1 o v

B A C K 6 R 0 U N D

O v e r t h e l a s t f i f t e e n y e a r s o s o s e v e r a l o u h a v e b e e n

w o r k i n g o o o b e i e d u c a t i o n a l m e a s u r e m e n t w h i c h b e g a n a m a t t e r o i n t e r e s t a n n o t * a p p e a r s t o n o c r i t i c a l i m p o r t a n c e .

I b e g a n w i t h s e r i e s o s t u d i e s ( P o w e l 1 1 9 6 3 , 1 9 7 0 ; P o w e l la n I s b i s t e r 1 9 7 4 ) w h i c h a d d r e s s e d t h i n f o r m a t i o n c o n t e n t o " w r o n g " a n s w e r s g v e t m u 1 t d 1 c h o i c e t s s t s .

T y p i c a l p r a c t i c e h a b e e n t a s s u m e " c a s i n o " a p p r o a c h" w r o n q " a n s w e r i n q . I k e e p i n g w i t h t h a s s o c i a t i o n i s t t h e o r y o

p s y c h o l o g y w h i c h o p - i g n s . t e d w i t h T h o r n d i k e , W a t s o n a n H u l l" w r o n g " a n s w e r s h a v e b e e n a s s u m e d t b u n p r e d i c t a b l e ( r a r i d o m )

A c c o r d i n g t t h i s t h e o r y . m o s t r i g h t a n s w e r s w i l l r e p r e s e n t- " e - j B - t a b s h e d ' ' c o n n e c t i o n s " o " a s s o c i a t i o n s " b e t w e e n s t i m u l u s a n

r e s p o n s e . S o m e ' ' r i g h t 1 1 a n s w e r s w i l l b e " l u c k y g u e s s e s " a r e s u l t o " v i c a r i o u s t r i a l - a n d - e r r o r . "

F r o m t h i s l a t t e r a s s u m p t i o n , a n s i n g l e " r i g h t " a n s w e r

o d s o b e a d o r n " e v e n e d e e o o n o f

i n d i v i d u a l r e s p o n s e s - a m b i g u o u s a n m a k i n g t h t o t a l c o r r e c ts c o r e t h b e s t a v a i l a b l e e s t i m a t e


5/24

F n * i u s o r e f l e c t t h e s e b e a . o 3 . a . s u m o o m o d i f i c a t i o n o t h i s i d e s , u s u a l l y r e f e r r e d t i t e r m s

" p a r t i a l i n f o r m a t i o n " t h e o r y , - , o o o s e s t h a t ] ^ ^ r n e r m a o a b l et i n c r e a s e t h e i r p r o b a b i l i t y o p r o v i d i n g " r i g h t " a n s w e r s b

f o k o l e d g e 1 ' . I t h i s a d a p t a t i o n , a s

b . T ' e s t p s r e E . u m e d t - b " r a n d o m . " f t h e o r y i w h i c h p a r t i c u l a r

o a t t e r n s o " p a r t i a l i n f o r m a t i o n " m i g h t i n c r e a s e t h p r o b a b i l i t y

r , - f s e l e c t i n g p a r t i c u l a r " w r o n o " a n s w e r s d o e s n o e x i s t i f i a e e l i t e e

" A l g o r i t h m i c v a r i a n c e s " a o p r o a c h e s t a n s w i e r a n a l y s i s ( l i k eX e r o x ' s B U G G Y s D D r c 3 . c h ) w h i c h i m p l y d i a g n o t i c v a l u e s t " w r o n g "a n s w e r s h a v e s h o w n s o m e a c c e p t a n c e r e c e n t l y ( s e e : B i r e n b a u m a n T a s o u l a 1 9 8 3 ) S u c h a p p r o a c h e s i m p l y d i a g n o s t i c v a l u e s t " w r o n g " a n s w e r s , b u i g n o r e t h p o s s i b i l i t y t h a t a l t e r n a t i v ea l g o r i t h m s o a l t e r n a t i v e p r o b l e m i n t e r p r e t a t i o n s m a y b

l e g i t i m a t e , l e a d i n g t " r i g h t " a n s w e r s w h i c h d n o c o n f o r m t e s c o r i n g k e y ,

0 a s i i m p _ o o n e t n t a n c e , i t e s t t e r n s a r s - e l e c t e d t f o r m r e p r e s e n t a t i v e s a m p l o f a na r e a o k n o w l e d g e , t h e n t h n u m b e r o " r i g h t " a n s w e r s s h o u l da p p r o x i m a t e m o n o t o n i c r e l a t i o n s h i p w i t h t h p r o p o r t i o n o t h k n o w l e d g e a r e a ' ' k n o w n " b e a c h l e a r n e r .

S i m i l a r l y f r o m t h i s t h e o r y w e m a y a s s u m e a G a g n e ( 1 9 7 0 )s u g g e s t s , t h a t h i g h e r o r d e r s k 1 m a b c o m p o s i t e s o 1 o w e rs k 1 s I t h i s c a s e t h n u m b e r o Q u e s t i o n s a n s w e r e d c o r r e c t l y

a o m o r e d i f f i c u l t s I b . a p * .a p p r o x i m a t e l y m o n o t o n i c w i t h t h l e a r n e r s ' s k i l l l e v e l s . ( s e e :


6/24

I t n i s t n c n o t o r i c r e l a t o n s n h o l d s o b o t h K n o w l e d g e a n s k i l l s , t h e n a n h o m o g e n e o u s s c a l e s h o u l d b l i n e a r a n d t h G L o s o o h ~ & - r ' ; . 7 - * =

i n f e r e n c e t o l i n e a r t n o a e l s h o u l d t h e n a p p l y t t h m t e r p r s t a t i o n o r t e s t r e s u l f c s .

O n o t h e s e r u l e s i t h a t w r o n g a n s w e r s s h o u l d b l i n e a r l y. d e p e n d e n t w i t h r i g h t a n s w e r s . E v e n i t h e y c o n t a i n e d i n f o r m a t i o n ,t h e y w o u l d n o c o n t i b u t e i n d e p e n d e n t l y t t h e x p l a i n e d v a r i a n c e

o b t a i n e d f r o m l i n e a r a n a l y s i s ,

H i d d e n P r o b i e m

A l t h o u g h t h e r - e i n p r o b l e m w i t h t h m a t h e m a t i c a ld e r i v a t i o n o t h e G L M , t h e r e i h i d d e n p r o b l e m w i t h t h

p s y c h o l o g i c a l a s s u m p t i o n s j u s t o u t l i n e d ( s e e : L o r d , 1 9 7 5 ) . T h e s e

a s s u m p t i o n s a r e , i - f a c t , c i r c u l a r , E s s e n t i a l l y w r o n g a n s w e r s n a v e b e e n t r e a t e d a r a n d o m e v e n t s b e c a u s e ( w i t h o u t

c o n f i r m a t i o n ) t h e y ' v e b e e n a s s u m e d t b r a n d o m . T h u s u a l t e s t

a n a l y s i s p r o c e d u r e d r o p s " w r o n g " a n s w e r s B E F O R E a n a l y s i s , r e n d i n gt e s t a b l e

D o u b t s a b o u t t h v a l i d i t y o t h i s p s y c h o l o g i c a l a s s u m p t i o nw e r e r a i s e d a b o u t 2 y e a r s a g w h e n i w a f o u n d ( P o w e l l , 1 9 6 8 )

t ^ f r T i - m ' i t ~ 5 ^ = f , j - , ] e v o o e i e o o r t e

r e a s o n i n g ' a b o u t 6 ' / , " > w i t h a d u l t l e a r n e r s a m o n g t h w r o n ga n s w e r s o c c u r r e d i c o m m o n a n a l y t i c f a c t o r s . T h i s r e a s o n i n qp r e d i c t e d o b t i s a m e 1 e v e l t h r s o n i n g p o r t s t h

t h m t e s t - u o m e


7/24

~ = g u e s s e s a p p e i r e " t b r e a s o n e d 5 . t n e r t h a n b l i n d .R e p l i c a t i o n ( F o w e ' I , 1 9 . 7 > w i t h c h i l d r e n o t h s a m e t e s t s h o w e d3 " i ' - z e r i g e o ^ o / . c o n s i s t e n c y a m o n g w r o n g 3 n = : s r - * . s s c n i n c w t n i n

= ~ 1 3 . l - o r n o g e n e c s u b g r o u p i h q s o t h e s e a n s w e r s . * h e s es u 0 1 e s t s t o r r n e d - s i r r t 0 e o r d e r - w c , p e e 1 . ; . t s d

s e e . T h l o g i c b e h i n d t h " e r r o r s ' 1 f o i l o w e c 9 d e v e l o p m e n t a l s e q u e n c e . I a b o u t 3 p e c e n t o t h ' ' w r o n g "a n s w e r s , t h i s r e a s o n i n g r e p r e s e n t e d v A L I D A L T E R N A T I V E1 n e r p r t o n o t h t e s t e m s . l a t e r 1 n d e p e n d e n t d u s i n g t h e S A T , S C A T , C T B S a n M i l l e r s A n a l o g y t e s t s ( H a n e y a n dS c o t t , 1 9 S 0 ) a l s o - f o u n d t h i s w o n a s w e t * a m q y

w h e n P o w e l a n I s b i s t e r 1 9 7 4 ) u s e d f a c t o r a n a l y s i s o b c i t h" r 1 q h t " a n " w r o n g " a n s w e r s o n w r o n g a n s w e r s u b t e s t h a d , i n d e e d ,

l a r g e i n v e r s e l o a d i n g o t h s a m e - f a c t o r a r i g h t a n s w e rs u b t e s t . s e c o n d w r o n g a n s w e r s s u b t e s t l o a d e d m o n o t o n i c a 1 t

r i g h t a n s w e r s u b t e s t . T h e t h i r d r i g h t a n s w e r s u b t e s t h a n w r o n ga n s w e r s u b t e s t s c o n n e c t e d . T h l a s t t h r e e w r o n g a n s w e r s u b t e s t sc o l e c t i v e l y f o r m e d t w m o r e i n d e p e n d e n t f a c t o r j . A l e a s t u n d e r- f a c t o r a n a l y s i s c o n d i t i o n s ( w i t h o n e a n s w e r p s ~ - i t e m s u p p r e s s e db e c a u s e o i n - f r e q u e n t s e l e c t i o n ) t h e x p e c t e d l i n e a r d e p e n d e n c i e sd i n o e m e r g e . I n t e r n a l , w i t h i n i t e m , d e p e n d e n c i e s d i n o e x p l a i n t h o b s e r v e d p a t t e r n s . T h a s s u m p t i o n o l i n e a r

d e p e n d a n c y a p s y c h o l o g i c a l , r a t h e r t h a n m a t h e m a t i c p r o p e r t yp p e


8/24

F u r t h e r r e f u t a t i o n a r o s e w h e n P o w e l l ( 1 9 7 0 ; u s i n g r i g h ta n s w e r s u o s c o r s s a n w r o n o s n s w s r s u f a s c o r s s t p r e d i c t( i n d e p e n d e n t l y ) t h i r d s e t o t a l - c o r r e c t s c o r e s H f o u n d t h

W R O N G a r . s i . M e r s e x p l a i n e d s i g n i f i c a n t l y m o r e v a r i a n c e < t h a n t h r i g h t a n s w e r s - f r o m t h s a m e t e s t . T h e s e v a r i a n c e e s t i m a t e s s h o u l d

b a b o u t e q u a l i l i n e a r d e p e n d e n c y w e r e v a l i d a s s u m p t i o n ,

l a t e r r e p l i c a t i o n w i t h d i f f e r e n t g r o u p a n d i f f e r e n t t e s t s P P o w e l 1 1 9 7 6 ) g a v e t h s a m e r e s u l t s .

* = t h s e * = d i r e c t b

t e s t o r r e n t t h w e l i a p e p e r f o r m a n c e w h i c h a r m o n o t o n i c w i t h t e s t s c o r e s . H o w e v e r , R o w e l; - I 9 ' 7 8 ^ u s e d l i n e a r a n d n o n - l i n e a r m o d e l s t t e s t t h i s h y p o t h e s i s .H m a t c h e d o b s e r v a t i o n s - f r o m - f o u r a n s w e r , f o u r t i m e p o i n t

g i a n 1 1 y d i e e n b e w e e n m o d e 1 a o b s e r v o e s t a b l i s h f i t . H f o u n d t h a t i r e q u i r e d q u a d r a t i c a n c u b i cc u r v e s a n A L F O U R a n s w e r s ( o n l y o n o w h i c h w a s " r i g h t " ) t g e a s t a t i s t i c a l f i t , T e q e e c u r e

' e x c e p t i o n o n a l t h r e e o t h t h r e e i t e m s t e s t e d . T h r i g h t

a n s w e r p a 1 1 e r n = r e q u r e c u b i d o e g c u r v e w c p a . t t e r n p l i c a t e d i n o h e s d y o b s e r a n s u b s e q u e n t

o n e s ( P o w e l 1 9 7 9 ; P o w e l 1 9 8 0 ; W a i n e r J a n Y 1 9 7 7 ? c a s t" d o u b t u p o n t h v a i d t o t h m o n o t o n i c a s s u m p t i o n a t ' c u r r e n t l y a p p l i e d t h u m a n p e r f o r m a n c e m e a s u r e s . M o s t i m p o r t a n t l yf m t h e s c o e u r p = p e e D E E S i

C L O S E D - E N D E D r e s p o n s e s c o r e d D O E S N O N E C E S S A R I L Y m e a n d e c r e a s ei O V E R A L L P E R F O R M A N C E .


9/24

n e i t h e r t h r a c o r n n o t h m o n o t o a s s u n p t o w b l e t h u m a n p e 7 " - 1 o t i . ? e m e ? , s u r e ; ,

t e s t r e s u i t b e c o m e s i n 1 . / . ; . * i ( s e e : R o w e l 1

t h D

W h e n e v e r t h e s e p o i n t s h a v e 0 9 9 0 r s i s s d i m e e t i n g s s u c h a t h i s o n e t h r e c o u r s e o p r o t a o o n s t t e n d s t b t h a t t h e r e - i n o t h i n g " F a u l t w t t h e s e a s s u m p t i o n s w h e r e R I G H T a n s w e r s - a r e

o c e r n e d .I c a b e o c o u r s e , t h a t u n d e r H e i s e n b e r q ' s

U n c s r t a i t P r i n c p & , a t e s s t a t h h i Q h e r ] e v e 1 o a b s t r a c t i o n , R I G H T A N S W E R S D N O E X I S T . E v e n a t h l o w e r l e v e l s

r i n o : ' s s r a s b e r r i , c r r e a b

d i a c j n o s t i c a l u s e f u l ] ( s e e : B i r e n b a u t t i S T a t s o u a 1 9 8 3 )w e v e r p a r r i e o s t h

e o n e e : - . < * e p e o b e R R E L Yc h o o s e o s u p p l y " w r o n g " a n s w e r B L I N D L Y a t h " c a s i n oa s s u m p t i o n " s e e m s t s p s c i + y , T h e r e i a l s o s u b s t a n t i a l e v i d e n c en o a v a i l a b l e t s u g g e s t t h a t f o h i g h e r o r d e r l e a r n i n g s ,m o n o t o n i c r e l a t i o n s h i p b e t w e e n t e s t s c o r e s a n p e r f o r m a n c e

c o m p e t e n c e D O E S N O E X I S T . T h i s c o n c l u s i o n f a c e s u w i t hd i i e m m a w i t h r e s p e c t t c u r r e n t t e s t i n g p r a c t i c e . O u p r a c t i c e

M A H A V E S E L E C T E D A N I N A D E Q U A T E P S Y C H O L O G I C A L M O D E L F O D E S I G N I N GT E S T T H E O R Y .


10/24

h o m i g h t w e r e s o ' v e t h i s d i ) e m m a " S i n e s t h m i ' 9 7 0 ' s

s e v e r a l o u < P o w e l i v ' ? b : P o w e l 1 9 7 ? ; P o w e l 1 l ? 8 0 a ; P o w e l 1

l ' ? 3 0 b ; P o w e l l a n d I s o i s t e r , 1 9 7 4 ; P o w e l l S h k l o v a r i d K a n i m ,I t S G ; P o w e l l a n S h K l o v , I V b i , i v 8 2 ; P o w e l l a n B a l l , 1 9 8 3 ; Y

1 9 7 7 ) . n a v e t u r n e d o u a t t e n t i o n t s e v e r a l i s s u e s i a a t t e m p ta t t a c k t h i s p r o b l e m . C u r r e n t p r a c t i c e s u p p o r t s t h

s . s s o c a o s t o b e n a v i o s t t h e o r y o l e a r n i n g , T h m i s t i o b o t h t h c a s i n o t h m o n o t o n i c a s s u m p t o n t o s o m e a c t u a l t e s t

r r e d s y f

d e s c r i b e h u m a n l e a r n i n g .

I s i m p l e s t t e r m s , e d u c a t i o n c a n o e v i e w e d i t w w a y s . I c a b r e g a r d e d a p r o c e d u r e t c c e i v e r i n g p r e ~ d e " f i n e d c o n t e n ta n s K i 1 1 s t s t u d e n t s . I t h i s c o n t e x t , r i g h t a n s w e r s m a y . b u n e e d n o r e p r e s e n t t h e i r m a s t e r y o t h i s c o n t e n t a n t h e s e

s k i l l s . A c o m p u t e r s i n v a r i a b l y d o l e a r n i n g c a p r o d u c e " r i g h t "

a n s w e r s t h r o u g h r o t e , W I T H O U T S j N D E R S T A H D I N S . R i g h t a n s w e r s - f i tt h i s p a r a d i g m b u d n o d i s t i n g u i s h b e t w e e n u n d e r s t a n d i n g a n

t h e b e r e e d a s a p

w h i c h l e a d s l e a r n e r s t o w a r d u n d e r s t a n d i n g . I t h i s s e c o n d c a s e .s k i l l s b e c o m e v e h i c l e d e v e l o p i n g p e e p e

l I t h d e v e l o p m e n t o u n d e r s t a n d i n g , e x p l o r a t i o no a t e r n a v e c r 1 1 c a m d n e e . s h r i g h t / w r o e v 1 a o o a r a d g p p e 1 1 d o p u V - > g 1 " A


11/24

m o n o t o r i r

" s r " i 3 x o

t t - k . b e r o u n

5 D " - 5 i " i e e

E n t e r t h B E T E U n i t

o t T i t h d o p o i n t o v i e w , t h r e s e a r c h r e p o r t e ds u q o e i t s t h a t r e a s o n i n g b e h i n d a n s w e r i n g t r a n s f o r m s w i t h

c a a

d o 8 d u r 8 s o r r r

s o m e f o r m o c i : - " 1 t 1 ' . t q u t ? . t v h o o r o a c n e sa v i w i t h e o o n d a t a T i a y b e q r e

O u w o r k t h i s f a h a s u g g e s t e d t h B E T E u n i t t b h i g h l yp r o T i i s p " ' " h i s u n i t r e p r e s e n t s a e n t r y i n t o s i n g l e c e l l i n

- r ; .

v 4 b e g i n w i t h a s s i o s y s t e m , t h s i m p l e s t o - w h i c h~ n a t s - n a t i v e c h o i c e s o r r t u l t p e - c h o i c e t e s t , A m o r e

w o b b o - j a p a m a k e e q u i v a l e n t o b s e r v a t i o n s a t w o r a t m o r - e

e a r n e r - ' = . r e s p o n s e s a r a s s i e a n


12/24

- . - ? o b e ' ' a o a r c o s ; . - < . b u 5 ^ o e r s o n i c s t e g oC w ~ c o b i - e r v i t i o r ? : ~ e ' . . - - - j ' i o s h o w " s t - i b ^ e " r e s p o n s e :

r e s t a b i e B E T E u n i t )

a r e d i T e r e n t a c r o s s t h e s p s e d T i m e s u c h a s ( C h a n g e E u n i t )

T h u s e a c h u n i t 0 o b s e r v a t i o n i c o m p o s i t e w i t h t n e m e n

1 t o b e g i n n i n g s t a t s

2 E r t o r E l a p s e d > i ^ s

T

E a c h B E T E u n i t t h e r e f o r e i s a t l e a s t t - i r i c a a t h i c k a s t h eR - - ' N ( r i g h t / w r o n g ) a s s i f c . s . o s y s t e m i c u r - r e n t u s e . A t

r n i n i m u r r i t h c a t e g o r i e s a a b a l i k e t n a l t e r n a t i v e a s w e r

p o s i t i o n s o s m u t i p ' s c h o i c e t e s t . A t o r o t t h e y a r i n t e r p r e t i v e c a t e g o r i e s l i k e K o h l b u r g ' s l e v e l s o m o r a lr e a s o n i n g . A w i t h s o m e c t h t e s t s a l r e a d y s t u d i e d , r e s e a r c h

m a y c o n v e r t a r b i t r a r y c a t e g o r i e s i n t o i n t e r p r e t e d o q u a s i -

e D < = e c a t e g o r i e s . ( S e e : B i r e n b a u f T i a n T a t s u o k a , i ' ? 3 3 )R e a s o n i n g w h i c h i a b o u t 6 p e c e n t c o n s i s t e n t s h o u l d b r e g a r d e d a q u a s i - t e r - p r e t e d "

O u w o r k a l s o s h o w s t h a t a g ( o t h l o o f a g e ) \ T i S . y b

r e a s o n a b l e ! i n e a r s c a l e a g a i n s t w h i c h t p r o j e c t B E T E u n i tr - a n - s f o m a o F r e q u e n c i e s o t h e s e u n i t s w 1 b n o r i - i n e a r l y

r e l a t e d t s e a ; . = . i e e x p e c t c f r e q u e n c i e s o p a r t i c u l a rB E T E u n t a s o m e a q e s t h a n o t h e r s . ,

1


13/24

T h e A n a l y s i s P r o b l e m

T h p r o b l e m o - i n t e r p r e t a t i o n o B E T E u n i t s i . a f a m i l i a re i g n t a b l e a

d s b r , c 5 s o o g e n e i t y , t o c o n t i n g e n c y t a b l e s c a n b e a n a l y z e d u s i n g S i g n i f i c a n td i f f e r e n c e s i n d i c a t e n o n r a n d o m n e s s o n o n - h o m o q e n i e t y . f u r t h e rb r e a k d o w n t i n d i v i d u a l r o w s o c o l u m n s c a n b e m a d e u s i n g t h o t h n o r m a 1 s r i b t i o n . T h i n e r p r e 1 1 o n a b m p o v e ds o m e w h a t , a G o o d m a n ( 1 9 7 8 ) s h o w e d , i t h c e l l s a r n o r m a l i s e d .

T h s t a t i s t i c a l i n t e r p r e t a t i o n p r o c e d u r e s f o S I K S L E C E L L So t h i s t y p e o t a b l e a r e a s y u n d e r t h r a n d o m n e s s a s s u m p t i o n .T h e x p e c t e d v a l u e f o e a c h c e l l i s

N / r * c w h e r e i t h t o t a l n u m b e r o o b s e r o n p i n m b e ro r o w s a n d i t h n u m b e r o

u m o t h t a b l e .T s t h e p e e d r b o o r e q u e n e i a n c e l l

i l b n o m i a d i t b i o w l t o p o b 1 f e q e e o a n c o n d i t i o n a l p r o b a b i l i t y o p = l / r , z . F r o m t h i so b s e r v a t i o n , w s e t h a t t h e d i s t r i b u t i o n o e e f r e q u e n c i e s i d e p e n d e n t b o t h u p o n g r o u p s i z e a n n u m b e r o c e l l s . W e u s e dM o C a e q e a o i e a

J

$ u p p o r t e d . 0 h a v e r a g t h v a i u e s - j e r s o s m a l l t h a . 9 p e c e n t o t h e m w o u l d b e x p e c t e d t b g r e a t e r t h a n t h o s eo b s e r v e d .


14/24

W a l r e a d y k n o w t h a t t h e r e i h i g h d e g r e e o - s y s t e m a t i cb e . a o a o o b s e r v a o R e d e r d e p a r t u r e o

a n d o t n n e s i s a n e e r c i s e i e d n d a n

O g r e a t e r i n t e r e s t , < t q s e s p e s t h d e t e r m i n a t i o n o w h i c h r e s p o n s e p a i r s a r s y s t e m a t i c a n w h i c hn o t . T h i s i p r o b l e m o d e p a r t u r e f r o m h o m o q e n e i t y T h c o n d i t i o n o h o m o g e n e i t y i i m p o r t a n t b e c a u s e w w i s h t k n o ww h i c h c e l l s , i n y c o n t r i b u t e s i g n i f i c a n t l y t p a i r sm a r g i n a v a l u e s .

I s i m p l e s t t e r m s w e a r e a 1 1 e m p t i n g t t e s t t h n u l lh y p o t h e s i s ;

W h e r e i t h o b 5 e r v e dc e l l f r e q u e n c

a n i t h e x p e c t e dc e l l f r e q u e n c y .

i < .

o

1

t h i s p r o b l e m i e q u i v a l e n t t d e t e r m i n i n gt h d i s t r i b u t i o n o f f o e a c h c a s e w h e r e a n a r e k n o w n ,

i a e o e l a

d i s t r i b u t i o n w h o s e m a t h e m a t c p o p e r t i e a n o k n o w n b a p p e a r s t b e i t h e r p r o d u c t o r a t i o o t w b i n o m i a l s . T h


15/24

t - . 1

a n

o e r r , . * "

2 d c - t t ' - , 9

. i n e d h o t

r ~ 3 3 . I T ;

a r a n C o n c l u s i o n

O ' . - v t o f T r * * ~ i t ^

. - i . ^ ^ . f - r - .

t u r e o + t h

= : / - J ; i _ .

i : - ? r s e n c e 5 y - ; i ~ n r 5 i u r m e ' > - ' ' ; - - o u

- s d u c s t i - -

o n ? =

s g - i t e d

c t r o r n w r o n g

s h o w n t h e . t


16/24

c ? . 1 i ~ . i 0 ' ' z - : . i D p o 1 * ' t i C * " c ~ c t ! j . . \ ^ ' ~ o ~

f ^ o - j ? ; t o = > = n - . c , n t 1 r , . . . . . = , ' - , - , - , o - e ^ c s r e p j n

S " ' C e j v i t 9 " : r i c j i - ' v c o c s e ^ - . - ' e c r a ~ a v i o l a t e b o r n

o u ^ o t o ^ v a n n n o o G : . / ' ' b a s e c r r i c o e " = a r e - i n a p p r o p r i a t e t o - 1 a t h e o r y - - t s r o v i d s t o : p q 1 o o - f - a

e d u c a t i o n . ? ' 1 s s t e r n * . 5 = X : r . t e ; : ' i b ' u n d e r t a n r a t h e r t h a n

b j r e c u i r e n e s j t h e o r y . o r o r r , s n d i r e c t i o n 1 - P o r - m o f o u a l i t a t i v e s . . n a l y s - i s w h i c h e m p l o y s t h B E T E a s t h e u n i to o b s e r v a t i o n . F o t h i s u n i t t b u s e f u l w e n e e d m e t h o d f o

d e t e r m i n g t h e s t a t i s t i c s . ! s i g n i f i c a n c e ' j r , Q ^ - h o r n o q e n e i t o r C o 1 o e i - ? .

q ! j p n = , t ? ' n o i i i t h s t a t i s t i c * ] s t r e n g t h o f i i n q i c e l l s

i r i v c ' v e s t h d e s i r e t o b t a i n p p s n n q u i n t e r p r e t a t i o n o t h e a a . s o r r r ; s o i r ' ' d > . ; a u o r a c r o s s

p r e d e t e r m i n e d e l a p s e d t i m e . T h e s e t r a n - . f o r m c a ' u s i n g t h B E T Eb c o n v e n i e n t ! c o e t e i t h f o r r r : o o b s e r v e d

f ' e c u e n c i e s w i t h i n s i n g l e c e l l s i a c o n t i n g e n c y t a . b i . ? .W i t h a g a . - n e a . r s c a l e , n p a t t e r n o ^ e a n n q c h a n g e s

t h e s e f r e q u e n c i e s b e c o m e s t h c r i t i c a l o b s e r v a t i o n o t h : = ; , - - n f i p r o c e s s e s r , : : l t h b s ? i - = f o r t r a . c K i n g a i n d i v i d u a . 1

; c ; r - . p r ' o r o g r e s s , T i s i t h i s c o n t e x t * a \ ~ e v e r r e n u i o u

b b a s e d u p o n a n s i - v e r o a t t e r r r a t h e r t h a n t e - = t s c o r e a n a

a ? ' . . ! = i . ' . i o u b o o t e n a m e a n i n g f u l A l t e r n a t i v e s i m u l t i p l e - c h o i c e f o r m a t w o u l d n o * b e l i n e a r ' y d e p e n d e n t a ' o n g a s

v ? r - t r t r - r r - c o o e t

? a o

1


17/24

T h i s p r o c e d u r e - s h o u l d i m p r o v e e d u c a t i o n a l m e a s u r e m e n t i t h r e e w a y s . F i r s t t h n u m b e r o i n t e r p r e t a b l e e l e m e n t s i

s i n g l e o b s e r v a t i o n i i n c r e a s e d . S e c o n d , t h n u m b e r o m e a n n q c a t e g o r i e s i n t o w h i c h w c a p l a c e e a c h i n t e r p r e t a b i e l e m e n t i

a l s o i n c r e a s e d . T h i r d , t h p r o p o r t i o n o m i s c 1 a s i f i c a t i o n o a n s w e r s a n p i e r s o n s s h o u l d b d e t e r m n a b ! a n d , f r o m w o r k t h u s

f a r , s u b s t a n t i a l l y s m a l l e r t h a n o c c u r s i c u r r e n t p r o c e d u r e s .B e t t e r i n f o r m a t i o n t t h t e a c h e r u l t i m a t e l y m e a n s b e t t e r

t e a c h i n g , b e t t e r l e a r n i n g a n l e s s w a s t a g e o o u r - m o s t p r e c i o u s -r e s o u r c u r s e 1 v e s n u f f s p i n g .

p r o b l e m w h i c h w a s m e r e l y " i n t e r e s t i n g " t w e n t y o s y e a r sa g o n o w a p p e a r s t b c r u c i a l a w e e n t e r t h i n f o r m a t i o n a g e .

T h o s e w h o w i s h t t a k e u t h i s c a u s e , p l e a s e c o n t a c t u s O u w o r k , t h o u g h l a r g e l y u n p u b i i s h b e c a u s e o i t r a d i c a l n a t u r e , i

s u f f i c i e n t l y e x t e n s i v e t h a t w c a p r o b a b l y s a v e y o u r h a v i n g t n v t h e w h e e l

A d d r e s s c o r r e s p o n d e n c e t

J a C P o w e i 1o E d o

d s 6 0 0 T h C o n c e s s i o n R o a d .

a N 9 1 A

e ( 5 1 ? > 6 9 - 0 5


18/24

R e f e r e n c e s

B i r e n b a u n M e n u c h a a n T a t s u o k a , K i K a m i . T h e e f f e c t s o s c o r i n gs y s t e m b a s e d o t h a l g o r i t h m u n d e r l y i n g t h e s t u d e n t s ' 'r e s p o n s e c a t e r n s o t h d i m e n s i o n a l i t y o - a c h i e v e m e n t t e s td a t a o t h p r o b l e m s o l v i n g t y p e . J o u r n a l o E d u c a t i o n a lM e a s u r e m e n t , 1 9 8 3 , 2 0 , 1 7 - 2 6 .

G a g n e , R o b e r t , C o n d i t i o n s o L e a r n i n g , N e Y o r k : H o l t , R i n e h a r ta n W i n s t o n , i ? 7 0 .

C u b a , E G a n L i n c o l n , Y . S . E f f e c t i v e E v a l u a t i o n , S a F r a n s i s c o : J o s s e y - B a s s , 1 9 8 1 .

H a n e y , W a l t , a n d S c o t t , L a u r i e , T a i K i n g w i t h c h i l d r e n a b o u tt e s t s : A p i l o t s t u d y o t e s t a m b i g u i t y . S t a f f C i r c u l a r N 7 ( U n p u b l i s h e d ) . C a m b r i d g e 5 M A N a t i o n a l C o n s o r t i u m o T e s t i n g , 1 9 8 0 .

L o r d F r e d e r i c k M . F o r m u l a . s c o r i n g a n n u m b e r - r i g h t s c o r i n gJ o u r n a l o E d u c a t i o n a l M e a s u r e m e n t , 1 9 7 5 , 1 2 7 - 1 2 .

P o p h a m , W J a m e s . t ' o a e r n E o u c a t i o n a l M e a s u r e m e n t , E n q i e w o o dC l i f f s , P r e n t i c e - H a l l , 1 9 3 1 .

P o e J . C . T h i n t e r p r e t s t i o o w r o n a n s w e r r r o mm u l t i p l e - c h o i c e t e s t , J o u r n a l o E d u c a t i o n a l a n dP s y c h o l o g i c a l M e a s u r e m e n t , 1 9 6 8 , 2 8 4 0 3 - 4 i 2 .

o e l l , A E x o o i n t o t h D e v a o o - A e v e m e nI n f o r m a t i o n - f r o m t h W r o n g A n s w e r s G i v e n t M u l t i p i e C h o i c e

T e s t . U n p u b l i s h e d P h . D . D i s s e r t a t i o n , U n i v e r s i t y o A l b e r t a ,M a 1 9 7 0 , x i i i + 2 4 0 p p

P o w e l l J C E v i d e n c e f o r - S t a g e a n P h a . s e D e v e l o p ? r s e n t s lS e q u e n c e F r o m R e s p o n s e P a t t e r n s o M u l t i p ! e C h o i c e T e s t s .P a p e r p r e s e n t e d a t h a n n u a l m e e t i n g o t h A m e r i c a nP c s y c h o l o g i c A s s o c i a o n W a s h i n o n D . . S e p t e m b e r 1 9 7 6( E R I C D o u m e n t R e p r o d t o S e r v i N o E 3 3 7 2 )

P o w e l l , J C T h e d e v e l o p m e n t a l s e q u e n c e o c o g n i t i o n a r e v e a l e db w r o n g a n s w e r s . A l b e r t a J o u r n a l o E d u c a t i o n a l R e s e a r c h .1 9 7 7 , 2 3 4 3 - 5 1 .

P o w e l l J . C . W r o n g a n s w e r s : B l i n d g u e s s e s o - s y s t e m a t i c c n o i c e s ? ? < - a

S o - ; e t > , - * . - > , ; : o C r : t ? r - t o : : 9 7 S . ( E R I CS e o r o o o j ; : < o .


19/24

P o w e l l J . C . C a d e v e l o p m e n t a l i n f o r m a t i o n b o b t a i n e d f r c * T iw r o n g a n s w e r s ? P a p e r p r e s e n t e d a t h a n n u a l m e e t i n g o t h N a t i o n a l c o u n c i l o M e a s u r e m e n t i E d u c a t i o n , S a F r a n s i s c o :1 9 7 9 . ( E R I C D o c u m e n t R e p r o d u c t i o n S e r v i c e N o E 1 7 7 8 2 )

R o w e l J . C . T h e n o - a . E R A : R e q u i e m t o p - t h 6 L H 5 R I P , P a o e rp r e s e n t e d a t h a n n u a l m e e t i n g o - t h P s y c n o m e t r S o c i e t y ,I o w a C i t y : 1 9 S C

P o w e l l J C P a t t e r n s o - c h a n g e a m o n g a n s w e r s e l e c t i o n , P a c e rp r e s e n t e d a t h a n n u a l m e e t i n g o t h N a t i o n a l C o u n c i l o

M e a s u r e m e n t E d a o n 1 9 8 0 .P o w e i J C a n S a 1 C o i n J . A c h i e v e m e n t t e s t i n g : I c u r r e n t

p r a c t i c e f d a r n e r s a 1 ! f l a w e d ? P a p e r p r e p a r e d f o f F r ; ; , S

P o w e l l J C a n I s b i - r - t e r , A l v i n G c o m p a r i s o n b e t w e e n r i g h ta n w r o n g a n s w e r s o r r m l t i D ' i e c h o i c e t e s t . J o u r n a l o E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t . 1 9 7 4 , 3 4 , 4 9 ? -5 9

P o w e i J C a n d S h k l o v , N M o r e e - ^ i d e n c e r e l a t i n g t t h i n v a l i d i t y o t h g e n e r a S l i n e a r h y p o t h e s i s , P a p e r p r e s e n t e da t h a n n u a l m e e t i n g o t h P s y c h o m e t r i c S o c i e t y . C h a p e iH i l l , M a 1 9 3 1 .

P o w e l l , J . C . a n S h k l o v , > \ C a t e g o r i c a l , a n a l y s i s u s i n g C h S q u a r e . P a p e r p r e s e n t e e a t h a n n u a l m e e t i n g o t h P s y c h o m e t r i c S o c i e t y , M o n t r e a l : M a y 1 9 3 2 .

P o w e l l ; J C S h k l o v , N a n R a h i m , M A M o n t e C a r l o a p p r o a c ht d e t e r m i n i n g t h c r i t i c a l v a l u e s f o c e l l C h i S q u a r e .P a p e r p r - e s e n t e t h a n n u a m e e t i n g o t h P s y c h o m e t rS o c i e t y . I o w a C i t y : M a 1 9 8 0 .

Y u K e n n e t h . D e v e l o p m e n t s 1 p a t t e r n s o m u l t i p l e - c h o i c e t e s t s o e l e r a e n t a r y s t u d e n t s . U n p u b l i s h e d m a j o r p a p e r . D e p a r t m e n t o M h e s U n v e r = 1 n d s o r , J n 1 9 7 7 .


20/24

T A B L E

C o r n - p a r s o o - f i t B e t w e e n B i n o m i a l

a n d K B i n o m i a l e F r e q u e n c y D a t a .

C o n t r o l s T a b l e Q M n o m i B i n o m i a- f r e q u e n c y

r o

1 9 1 . 0 6 8 2 . 0 9 N 6 . N

2 2 3 1 . 1 0 6 3 . 7 4 N 1 7 . S ? . 1 2 1 . 1 1 6 3 . 9 1 N 2 1 . 7 1 . 0 0 12 9 7 1 , 2 2 5 1 1 . 4 5 . 0 1 3 . 4 8 . 0

5 7 1 . 1 3 3 0 . 2 4 N 3 S . 2 6 . 0

N o t e s : f o r b i o a f r o m

r e o n s h

G r e a t e r b e 1 1 u s i n g e 1 - - 't h i s v a r i e d f r o m h b o v e .. T h i t h v a l u e o t h t h i r d p a r a m e t e r w h e n i m i n i m i z e dt h e r e i p o s s i b l e d e s c e r n a b l e p a t t e r n t Q i t h a t t h e s m a l l e ri t h l a r g e r i a r i d t h l a r g e r i t h l a r g e r i 0 . W

1


21/24

E P R O G R A M ' T A B L E S 2 ' G I V E S T H D I S T R I B U T I O N O C E L L F R E Q U E N C I E SR E M F O R C O N T I N G E N C Y T A B L E S C O N S T R U C E D U S I N G T H E M O N T E C A R L OR E T E C H N I Q U E , W H E N T H E S E D I S T R I B U T I O N S A R C O N T R O L L E D F O T H R E M A R G I N A L T O T r L S A N D T H E C E L L E X P E C T E D V A L U E S .R E D I M E N S I O N D A T A T A B L E .D I S ( 1 7 , 1 7 , 1 7 )

R E I N P U T C O N T R O L V A R I A B L E S ; N U M B E R O T A B L E S T B E S T A B L I S H E D .R E N U M B E R O E V E N T S I O N T A B L E ( M A X = l 6 ) .R E N U M B E R O R O N S I E A C H T A B L E ( M A X = 2 ) .R E N U M B E R O C O L U M N S I E A C H T A B L E C M A X = 2 ) .I N P U T B N R

R E E S T A B L I S H M E A N C E L L P R O B A B I L I T Y1 / < : R X C )

R E M S E T U P T O T A L O ' B T A B L E S .F O R M = T F O T

R E M O N T E C A R L O T E C H N I Q U E ; O B T A I N R A N D O M N U M B E R F O R C E L L E V E N T SR N D C 1

R E P L A C E E V E N T I N T O A P P R O P R I A T E C E L L .R E M I N I M U M C O N D I T I O N F O R A N D O M P A R T I T I O NF O T F O T

C * ( J 1 ( K 1 - I > F * A N ( F + 1 ) * P T H E N T < J , K ) T < J , K )N E X T K N E X T J N E X T - :R E D E T E R M I N E M A R G I N A L T O T A L S ,R E Y < R ) R O T O T A L S .R E Z ( C ) C O L U M N T O T A L S .F O T F O T Y < I ) Y ( I ) T < I , J )Z J 2 J T ( I , J )N E X T J N E X T

R E D E T E R M I N E E X P E C T E D V A L U E F O E A C H C E L L I T A B L E E ( R , C >- O T F O T E ( I , J ) = ( Y ( I ) k ' Z ( J ) ) / N

N E X T J N E X T


22/24

R E C O U N T F R E Q U E N C I E S O T A B U L A R E V E N T S I N T O S ( G , Y ( R ) , T < R , C ) >R E A N S ( G , Z C , T ( R , C ) )R E W H E R ER E E X P E C T E D C E L L U A L U ER E R O U N D E D T N E A R E S TR E M I N T E G E R .R E Y ( R > O Z < C ) = M A R G I N A LR E T O T A L S .R E A N T < R , C ) I T H O B S E R V E DR E C E L L F R E Q U E N C Y .F O T F O T

I N T C E c I , J ) . 5 S < G , Y < I > , T ( I , J ) ) S < G , Y < I ) , T ( I , J ) )S < G , 2 < J ) , T < I , J ) ) S < G , Z ( J ) , T ( I , J ) )N E X T J N E X T

R E I N I T I A L I Z E U A L U E S F O N E X T T A B L E .F O T F O T E < I , J ) 0 T ( I , J ) 0 Y d 0 Z < J ) =

N E X T J N E X TR E R E T U R N F O N E X T T A B L EN E X T

R E P R I N T D A T A T A B L E S .L R R I N T " R U N S " ; 3 , " G R O U P S I Z E = " ; N . " R O W S = H ; R , " C O L U M N S = " ; CL P R I N T : L P R I N T : L P R . I N F O T F O T

R E S K I P A N Y S E Q U E N C E W H I C H I A L ' ' Z E R O S ' - .F O 0 = T

S < I , J , O )N E X TI < T H E N 4 9 E L S E 5 1 5L P R I N T " T A B L E F O E X P E C T E D U A L U E " ; I ; " A N D M A R G I N A L T O T A L " ; J ; a S H O W I N G C E L LE S . "R E R E S E T ' A N L E A U E S P A C E A F T E R T A B L E T I T L E .

0 L P R I N T : L P R I N TF O T O R E S k i p T H P R I N T I N G O E M P T Y C E L L SI S ( I , . J , K ) T H E N 5 5

L P R I N T K S C I , J , K >L P R I N T

N E X T K N E X T J N E X TL P R I N T : L P R I N T : L P R I N TE N


23/24

C T * v s . j a f l | < ( ~

I N P U T N , P , RF O T N P R I N T " E N T E R F R E Q U E N C Y F O V A R I A B L E " ; ! : I N P U T6 0 S U B 1 4 I F A N T H E N F F F S E T G O T O S I F T H E N F F F : E l E E K 1 G O T O 1 1 I A N > T H E M F F F : E l E E 0 G O T O S

F l F E E F T ( F E l A 2 ) / E 1

L P R I N T F l , E l ,X = X + N E X TL P R I N T X 2E N A = l ; F O R T N A J : N E X TB = l : F O T I = B * J : N E X ~C = l : F O T N - I i C a J : N E X T

R E T U R N


24/24

A ( > , L t C ^ a i * v _ - - ^ , - \ J * ~ ^ " * > C ' ^

N E X R 0 E X / N

O T O 1 F O T N A s J : N E X T . 1 F O T I B * J : N E X T1 F O T N - I ; C X J : N E X T

= A / < B ^ C )d D * ( P A I ) ! ( ( ( 1 - P ) A ( M - I ) )

E I

O T R I N T " E N T E R F R E Q U E N C Y F O V A R I A B L E " ; I

R * < < E < I ) * H < I ) ) / G >' . T H E N F F F : E l M B G O T O 1 > O = T H E N G O T O 1 0

F E = M A N E T H E N E M

X X ( < F 1 E 1 ) A 2 ) / E 1P R I N T I F l , E l : F 0 E N E X TL P R I N T N Q , 0 , X E N

Documents

Powell, Shklov (1984) Further Developments With The SETE Unit