Presenting Information in Sound -S. Bly

7/29/2019 Presenting Information in Sound -S. Bly

1/5

P r e s e n t i n g I n f o r m a t i o n i n S o u n d

Sara BlyLawrence L ive rmore Na t iona l Labora to ry

Livermore , Cal i fornia 94550

I n t h e p a s t f e w y e a r s , t h e i n c r e a s e i n i n t e r a c t i v eu s e o f c o m p u t e r s h a s l e d t o a n e m p h a s i s o n h u m a nf a c t o r s a n d t h e w a y s i n w h i c h d i g i t a l i n f o r m a t i o nc a n b e s t b e p r e s e n t e d t o u s e r s . C o m p u t e r g r a p h i c sh a s b e e n a t t h e f o r e f r o n t o f t h i s g r o w t h i n v o l v i n gv i s i o n a s a n a c t i v e a i d i n i n t e r p r e t i n g d a t a . B a rc h a r t s , p s u e d o - c o l o r i m a g e p r o c e s s i n g , a n d3 - d i m e n s i o n a l f i g u r e s a r e b u t a f e w m e a n s o fp r o v i d i n g t h e v i e w e r w i t h d a ta i n f o r m a t i o n .

A s t h e u s e o f c o m p u t e r s i n c r e a s e s , t h e n e e d f o r av a r i e t y o f a l t e r n a t i v e s o f i n t e r a c t i n g w i t hc o m p u t e r s a l s o i n c r e a s e s . C o m p u t e r - g e n e ra t e d s o u n di s o n e c a p a b i l i t y n o t b e i n g f u l l y u t i l i z e d i n t h e

c o m p u t e r / h u m a n i n t e r fa c e . J u s t a s a n x - y p l o tr e v e a l s r e l a t io n s h i p s i n d a t a , s o u n d s m i g h t a l s or e v e a l r e l a t i o n s h i p s i n d a t a . T h i s r e p o r t f o c u s e so n t h e p o t e n t i a l f o r u s i n g c o m p u t e r g e n e r a t e ds o u n d s t o p r e s e n t d a t a i n f o r m a t i o n . T h e f i r s ts e c t i o n a d d r e s s e s m u l t i v a r i a t e d a t a p r o b l e m s w h i c hm i g h t b e a i d e d b y s o u n d o u t p u t . T h e s e c o n dd e s c r i b e s e x p e r i m e n t s p e r f o r m e d t o d e t e r m i n ew h e t h e r l i s t e n e r s c a n d i s c r i m i n a t e a m o n g d a t a s e t sb a s e d o n s o u n d . T h e f i n a l s e c t i o n d i s c u s s e so n g o i n g w o r k a n d f u t u r e d i r e c t io n s .

P R E S E N T I N G I N F O R M AT I O N

Va s t q u a n t i t i e s o f c o m p u t e r o u t p u t a r e u s e f u l o n l y

i f p r e s e n t e d i n w a y s w h i c h c a n b e u n d e r s t o o d a n du t i l i z ed b y h u m a n a n a l y s t s . I n p r o b l e m s i n v o l v i n gs e v e r a l v a r i a b l e s , i t i s p a r t i c u l a r l y d i f f i c u l t t ov i s u a l i z e t h e r e l a t i o n s h i p s a m o n g d a t a s a m p l e s a n dt h e d i f f e re n c e s a m o n g d a t a s e t s . C o m p u t e r g r a p h i c sh a s b e c o m e a w i d e l y u s e d a n d s o p h i s t i c a t e dt e c h n i q u e f o r t h e o u t p u t o f t h e s e d i g i t a lc a l c u l a t i o n s [ 5 ] . H o w e v e r , i n a r e a s i n w h i c h t h en u m b e r o f v a r y i n g p a r a m e t e r s e x c e e d s o u r v i s u a lr e s p o n s e t o c o l o r , r o t a t i o n a n d d i m e n s i o n o r i na r e a s i n w h i c h t h e d a t a d o e s n o t c o r r e s p o n d t o o u rf a m i l i a r t h r e e - d i m e n s i o n a l p e r c e p t i o n , g r a p h i c a ld i s p l a y s a r e i n a d e q u a t e . W h e n t r a d i t io n a l m e t h o d so f g r a p h i c a l p l o t t i n g a r e u s e d t o d i s p l a y t h e d a t a ,i n f o r m a t i o n i s o f t e n l o s t b e c a u s e o n l y a f e wd i m e n s i o n s m a y b e p r e s e n t e d .

1981 ASSOCIATION F O R C O M P U T I N G M A C H I N E R Y][~'mimd~m to copy without Ice all or part of this mate rial is grant ed provided t hatth e :opiss are ~ nmde or distri buted for direct commerical advantag e, the ACMcclpyrigllt mJdtic at~d the t itl e of the publicat ion and i ts d ate appear, and notice isgi va that copying is by permission of the Association for Computing Machinery.T~ ~ oti s-wi se, or to republish, requires a fee and/or specific permission.

Tw o p a r t i c u l a r l y i n t e r e s t i n g g r a p h i c a l m e t h o d s u s em u l t i v a r i a t e d a t a w i t h o u t r e s t r i c t i n g t h e

I I I I I

I I I I I

@ @ @ @2 2 2 2 2

@ @ @ @ @2 2 2 2 2

@ @ @ @3 3 3 3 3

@ @ @ @3 3 3 3 3

F i g u r e I: C h e r n o f f ' s FA C E S

d i m e n s i o n a l i t y . A n d r e w s d e s c r i b e s f u n c t i o n s w h o s ec o e f f i c i e n t s a r e t h e d a t a v a r i a b l e s o f s a m p l e s [ I ] .F o r d a t a s e t s w h i c h a r e d i s t i n c t , t h e r e s u l t i n gc u r v e s w i l l c l u s t e r t o g e t h e r a c c o r d i n g l y . C h e r n o f fd e p e n d s o n t h e a b i l i t y o f a h u m a n a n a l y s t t od i s t i n g u i s h a m o n g f a c e s [ 3 ] . T h e d a t a s a m p l ev a r i a b l e s a r e m a p p e d t o f a c i a l c h a r a c t e r i s t i c s s ot h a t e a c h d a t a s a m p l e p r o d u c e s a c o r r e s p o n d i n gf a c e . F i g u r e 1 p l o t s t e n d a t a s a m p l e s f r o m e a c h o ft h r e e s e t s . T h e f i r s t t w o r o w s o f f a c e s a r e f r o ms e t 1 , t h e n e x t t w o f r o m s e t 2 , a n d t h e l a s t t w of r o m s e t 3 . T h e d i f f e r e n c e s i n f a c i a lc h a r a c t e r i s t i c s c l e a r l y s e p a r a t e t h e t h r e e s e t s o fd a t a .

D e s p i t e t h e s u c c e s s o f g r a p h i c a l m e t h o d s f o rp r e s e n t i n g i n f o r m a t i o n , p r o b l e m s o f a d e q u a t e l yc o n v e y i n g m u l t i v a r i a t e d a t a t o a h u m a n a n a l y s tr e m a i n . I n o r d e r t o u t i l i z e g r a p h i c a l o u t p u t , t h eh u m a n m u s t f i r s t f o c u s v i s u a l a t t e n t io n d i r e c t l y ot h e o u t p u t , t h e r e b y r e s t r i c t i n g t h e i n f o r m a t i o np r e s e n t e d t o t h a t w h i c h i s b e f o r e t h e e y e s .S e c o n d l y , g r a p h i c s a r e g e n e r a l l y l i m i t e d t o af i n i t e n u m b e r o f d i m e n s i o n s , r e q u i r i n g t h a t m a n

3 7 1

Bly, S. (1982b) "Presenting Information in Sound," CHI `82 Conference on Human Factors in Computer Systems, pp. 371-375.


2/5

m u l t i v a r i a t e d a t a p r o b l e m s b e r e d u c e d t o f e we r

d i m e n s i o n s b e f o r e a n a l y s i s . T h i r d l y , w h e n d e a l i n gw i t h d a t a a b o u t w h i c h v e r y l i t t l e i s k n o w n , av a r i e t y of p e r c e p t i o n s o f th e d a t a i s h e l p f u l . F o r

m a n y a p p l i c a t i o n s , c u r r e n t m e a n s of p r e s e n t i n g

i n f o r m a t i o n f r o m t h e c o m p u t e r t o t h e h u m a n a r e n o t

s u f f i c i e n t .

S o u n d m i g h t i m p r o v e t h e s e l i m i t a t i o n s b y p r o v i d i n ga u d i t o r y c u e s o f s i g n i f i c a n t e v e n t s w h en t h e y o c c u r( a n d t h u s e a s i n g t h e r e s t r i c t i o n o f f o c u s e d

a t t e n t i o n ) , b y i n c r e a s i n g t h e d i m e n s i o n a l i t y o f t h eg r a p h i c s , a n d by p r e s e n t i n g a n a l t e r n a t i v e " v i e w "o f t h e d a t a [ 1 3 ~ . C o m p u t e r g e n e r a t e d s o u n d i s a n

a v a i l a b l e t e c h n o l o g y w h i c h o f f e r s a n u m b e r o fa t t r i b u t e s f o r r e p r e s e n t i n g d a t a d i m e n s i o n s . I t i s

w o r t h e x a m i n i n g s o u n d a s a m e a n s o f i n c r e a s i n g t h eb a n d w i d t h o f i n f o r m a t i o n f r o m a c o m p u t e r t o a

h u m a n .

E X P E R I M E N T

To v e r i f y t h a t s o u n d d o e s h a v e p o t e n t i a l f o rp r e s e n t i n g d a t a i n f o r m a t i o n t o a n a l y s t s , 1 r a ns e v e r a l e x p e r i m e n t s . T h e s e e x p e r i m e n t s s e r v e d t wop u r p o s e s ; t h e f i r s t t o d e t e r m i n e t h a t s o u n d d o e s

c o n v e y a c c u r a t e i n f o r m a t i o n a b o u t t h e d a t a a n d t h es e c o n d t o e x a m i n e t h e p o t e n t i a l o f u s i n g s o u n d t oc o n v e y m o re i n f o r m a t i o n t h a n t h e u s u a l m e a n s o fd a t a a n a l y s i s . T he f o l l o w i n g s e c t i o n s d e s c r i b e o n em e t h o d o f e n c o d i n g d a t a i n t o s o u n d , t h e m e t h o d sf o r t h e e x p e r i m e n t s , a n d t h e r e s u l t s o f e a c h p h a s eo f t h o s e e x p e r i m e n t s .

P r o c e d u r e s

I n o r d e r t o p r e s e n t d a t a i n f o r m a t i o n i n s o u n d ,t h e r e m u s t b e a m e a n s o f e n c o d i n g d a t a v a l u e s i ns o u n d c h a r a c t e r i s t i c s . C o n s i d e r a m a p p i n g b e t w e e na p a r t i c u l a r n - d i m e n s i o n a l d a t a s m ~ p l e a n d ad i s c r e t e s o u n d o r n o t e . C h a r a c t e r i s t i c s o f a n o t ei n c l u d e p i t c h , v o l u m e , d u r a t i o n , w a v e s h a p e a n d

e n v e l o p e . E a c h o f t h e s e m ay v a r y o v e r aw e l l - d e f i n e d r a n g e . A s i n g l e d a t a s a m p l e c a n t h e nb e e n c o d e d i n t o a s i n g l e n o t e b y u s i n g t h e v a l u e o fe a c h v a r i a b l e t o d e t e r m i n e t h e l e v e l o f a s o u n dc h a r a c t e r i s t i c . T h u s , e a c h d a t a s a m p l e p r o d u c e s ac o r r e s p o n d i n g n o t e w h i c h i s d e t e r m i n e d b y a m a p p i n gf r o m d a t a d i m e n s i o n s t o s o u n d c h a r a c t e r i s t i c s .

F o r t h e e x p e r i m e n t s . I u s e d s i x - d i m e n s i o n a l d a t aa n d m a p pe d i t t o s i x c h a r a c t e r i s t i c s o f s o u n d( p i t c h , v o l u m e , n o t e d u r a t i o n , f u n d a m e n t a lw a v e s h a p e , a t t a c k e n v e l o p e , a n d o v e r t o n ew a v e s h a p e ) . P i t c h v a r i e d o v e r t h e 4 8 n o t e s i n f o u ro c t a v e s o f a p i a n o s c a l e , v o l u m e v a r i e d f r o m v e r ys o f t t o v e r y l o u d i n t w e l v e i n c r e m e n t s , a n dd u r a t i o n v a r i e d f r o m 5 0 m s e c t o 1 0 50 m s e c i n

i n c r e m e n t s o f 5 m s e c . T h e w a v e s h a p e o f af u n d a m e n t a l f r e q u e n c y v a r i e d f r o m a p u r e s i n e t o ar a n d o m b u z z . F i g u r e 2 s h o w s f o u r o f t h e t e nv a r i a t i o n s o f w a v e s h a p e u s e d . S i m i l a r l y, a f i f t ho v e r t o n e v a r i e d i n w a v e s h a p e a n d w a s a d d e d t o t h ef u n d a m e n t a l . An a t t a c k e n v e l o p e v a r i e d f r o m al o n g , s l o w a t t a c k t o a c o n s t a n t e n v e l o p e .

E a c h t r i a l o f t h e e x p e r i m e n t c o n s i s t e d o f t w o s e t so f d a t a w h i c h d i f f e r e d f r o m o n e a n o t h e r i n aw e l l - d e f i n e d m a n n e r . F i f t y s a m p l e s m ad e u p e a c hs e t of d a t a a n d e a c h s a m p l e w a s s i x d i m e n s i o n a l .T he s u b j e c t s w e r e g i v e n n o i n f o r m a t i o n a b o u t t h e

S ~ llll~lll~ UlIKSI~AP( .4

n l 48 m

m

o i i b 4 /, i i

08 ~gtt PT tO

i i i 4 /, /, " o /I i ~ i i "

F i g u r e 2 : Wa v e s h ap e Va r i a t i o n s

w a y s i n w h i c h t h e tw o s e t s d i f f e r e d . I n t h ee x p e r i m e n t , s a m p l e s w e r e p r e s e n t e d t o t h e s u b j e c ta s c o m p u t e r g e n e r a t e d s o u n d s . A s u b j e c t f i r s th e a r d t e n n o t e s i d e n t i f i e d a s b e i n g f r o m s e t 1 a n dt e n n o t e s id e n t i f i e d a s b e i n g f r o m s e t 2 . T h e s ew e r e c o n s i d e r e d t h e t r a i n i n g s a m p l e s . A f t e rr e p e a t i n g t h e n o t e s a s o f t e n a s d e s i r e d , a s u b j e c tt h e n e n t e r e d t h e t e s t i n g p o r t i o n o f t h e e x p e r i m e n t .F o r a g i v e n t r i a l , t h e g o a l o f t h e e x p e r i m e n t w a s

f o r t h e s u b j e c t t o c o r r e c t l y i d e n t i f y t h o s e t e s ts a m p l e s w h i c h w e r e i n s e t 1 a n d t h o s e w h i c h w e re i ns e t 2 . T h a t i s , t h e s u b j e c t h e a r d a n o t e an d w a sa s k e d t o d e t e r m i n e w h e t h e r t h a t n o t e b e l o n g e d t os e t 1 o r t o s e t 2 . F o r e a c h t e s t s a m p l e , t h es u b j e c t ' s r e s p o n s e w a s r e c o r d e d . A s u b j e c t ' s f i n a ls c o r e w a s t h e n u m b e r o f c o r r e c t r e s p o n s e s i nd e t e r m i n i n g w h e t h e r t e s t s a m p l e s b e l o n g e d i n s e t 1o r s e t 2 .

P h a s e 1

To e s t a b l i s h a b a s i s f o r t h e f a c t t h a t s o u n d d o e sc o n v e y d a t a i n f o r m a t i o n , d a t a b a s e s w e r e g e n e r a t e di n w h i c h s e t 2 v a r i a b l e s w e r e t r a n s f o r m e d r e l a t i v et o s e t 1 . I n i t i a l l y s e t s 1 a n d 2 w e r e s e t s o f

s i x - d i m e n s i o n a l r a n d o m n o r m a l d a t a . F o r o n e g r o u po f s u b j e c t s , s e t 2 wa s t r a n s l a t e d r e l a t i v e t o s e t1 . F o r a n o t h e r , s e t 2 w a s s c a l e d r e l a t i v e t o s e t 1a n d . f o r t h e t h i r d , t h e v a r i a b l e s i n s e t I w e r es t r o n g l y c o r r e l a t e d r e l a t i v e t o s e t 2 . F o rs i m p l i c i t y, a l l v a r i a b l e s w e r e e q u i v a l e n t ; t h a t i s ,e a c h d i m e n s i o n o f a t r a n s f o r m e d s e t w a s t r a n s l a t e d .s c a l e d , o r c o r r e l a t e d e q u a l l y.

372


3/5

T R A N S L A T I ON

o o

. ~ ~ y . ' o

, o .

#

. .

i.

.. C O R R E L AT I O N ""

o o

, o O o O ~ o

. o . 1 %

o l o o . $

o o o ~ : ~,

0o, o

0

. z s o . o . o . o . o .7 7 v a . p N .

SCAL I NGo

~ o

oo o o

o .~. . , ~ :

o 8

~ o o o

F i g u r e 3 : P h a s e 1 D a t a S e t s

0

F i g u r e 3 s h o w s 2 - d i m e n s i o n a l g r a p h i c a lr e p r e s e n t a t i o n s o f t h r e e p a i r s o f d a t a s e t s . I nt h e f i r s t p l o t , s e t 2 i s t r a n s l a t e d i n a l l s i xd i m e n s i o n s r e l a t i v e t o s e t 1 . I n t h e s e c o n d p l o t .s e t 2 i s s c a l e d i n a l l s i x d i m e n s i o n s r e l a t i v e t os e t 1. I n t h e t h i r d p l o t , s e t 2 v a r i a b l e s a r e n o tc o r r e l a t e d w h i l e s e t 1 v a r i a b l e s a r e . N o t e t h a ts u b j e c t s d i d n o t s e e a d i s p l a y o f t h e d a t a b u tr a t h e r h e a r d s i x - d i m e n s i o n a l r e p r e s e n t a t i o n s i ns o u n d .

Tab le I i s a summary o f t he r e su l t s fo r t he

e x p e r i m e n t s i n d e t e r m i n i n g w h e t h e r t h e s o u n de n c o d i n g o f m u l t i v a r i a t e d a t a w o u l d c o n v e y

# s u b j # t e s t g c o r r e c t

Tr a n s l a t i o nby 3by 1b y 0 . 5

S c a l i n gby 8by 4by 2r e p e a t b y 8

C o r r e l a t i o n. 99

7 40 92~7 40 70~7 40 53~

7 40 69~7 40 74~2 40 55~5 40 76. 5~

4 6 0 6 0 ~

Ta b l e 1

c o n s i s t e n t i n f o r m a t i o n .T h e f i r s t g r o u p o f s e v e n s u b j e c t s w a s f i r s t t e s t e do n d a t a i n w h i c h s e t 2 w a s t r a n s l a t e d 3 s t a n d a r dd e v i a t i o n s f r o m s e t 1 . T he s u b j e c t s w e r e t h e nt e s t e d o n d a t a i n w h i c h s e t 2 w a s t r a n s l a t e d 1s t a n d a r d d e v i a t i o n f r o m s e t 1 a n d f i n a l l y o n d a t a

i n w h i c h s e t 2 w a s t r a n s l a t e d . 5 s t a n d a r dd e v i a t i o n s f r o m s e t 1 , S i m i l a r l y, t h e s e c o n d g r o u po f s u b j e c t s w a s t e s t e d o n d a t a i n w h i c h s e t 2 w a ss c a l e d b y 8 s t a n d a r d d e v i a t i o n s a n d on d a t a i nw h i c h s e t 2 w a s s c a l e d b y 4 s t a n d a r d d e v i a t i o n s .T he t h i r d t r i a l o f t h e s e c o n d g r o u p w a s d a t a i nw h i c h s e t 2 w a s s c a l e d b y 2 s t a n d a r d d e v i a t i o n s f o rt w o o f t h e s u b j e c t s . T h e r e m a i n i n g 5 s u b j e c t s w e r ea g a i n t e s t e d o n d a t a i n w h i c h s e t 2 w a s s c a l e d b y 8s t a n d a r d d e v i a t i o n s . T h e t h i r d g r o u p o f s u b j e c t sw a s t e s t e d o n d a t a i n w h i c h t h e v a r i a b l e s o f s e t 1w e r e s t r o n g l y c o r r e l a t e d . A s e x p e c t e d , g e n e r a l l yt h e f u r t h e r s e p a r a t e d t h e t w o s e t s , t h e b e t t e r t h es u b j e c t s w e r e a b l e t o d i s t i n g u i s h b e t w e e n t h e m .

P h a s e 2

D u r i n g t h e s e c o n d p h a s e o f t h e e x p e r i m e n t , t h ei n t e n t w a s t o d i s c o v e r i f , f o r s om e d a t a , s o u n dc o u l d a d d m o r e i n f o r m a t i o n t h a n o t h e r m e t h o d sa l o n e . I t w a s d e s i r a b l e t o p r o v i d e a d a t a b a s ew h o s e c h a r a c t e r i s t i c s w e r e d e p e n d e n t o n t h em u l t i v a r i a t e n a t u r e o f t h e d a t a s o t h a td i s c r i m i n a t i o n b y u s u a l m e t h o d s w as m o r e d i f f i c u l t .O ne s e t o f s a m p l e s o f 6 - d i m e n s i o n a l d a t a w a so b t a i n e d f r o m a m u l t i v a r i a t e n o r m a l r a n d o m d e v i a t eg e n e r a t o r. S a m p l e s w e r e t h e n s e p a r a t e d i n t o t w ose t s such tha t a s ample , s ffi ( x l , x2 . x3 , x4 x5 ,x 6 ) . b e l o n g e d t o s e t 2 i f a n d o n l y i f

x22 + x32 + x42 + x52 + x62 1. 52o r

xl 2 + x3 2 + x4 2 + x5 2 + x6 2 ~ 1. 5 2

o rxl 2 + x22 + x42 + x52 + x62 ~ 1. 52

O n l y s a m p l e s i n w h i c h a l l s i x v a r i a b l e s h a dp o s i t i v e v a l u e s w e r e i n c l u d e d . T h u s , a t l e a s t f i v eo f t h e s i x v a r i a b l e s i n e a c h s a m p l e o f s e t 2 h a dv a l u e l e s s t h a n 1 . 5 a n d a t m o s t o n e o f t h ev a r i a b l e s x l , x 2 , o r x 3 c o u l d h a v e v a l u e g r e a t e rt h a n 1 . 5 . I n a c o m p l e t e p o s i t i v e a n d n e g a t i v e

s p a c e , o n e c a n t h i n k a b o u t t h e d a t a i n s e t 2 b e i n gc o n t a i n e d i n t h r e e " c y l i n d e r s " , e a c h o f r a d i u s 1 . 5a b o u t t h e f i r s t t h r e e a x e s . F i f t y s a m p l e s w e r eu s e d f r o m e a c h o f t h e t w o s e t s . T h e e x p e r i m e n tt h e n c o n s i s t e d o f t h r e e d i f f e r e n t m e a n s o fp r e s e n t i n g t h e d a t a i n f o r m a t i o n - - v i s u a l l y a u r a l l y, a n d w i t h a c o m b i n a t i o n o f v i s u a l s a n ds o u n d .

F o r s o u n d o u t p u t , a l l s i x d i m e n s i o n s w e r e u s e d b ym a p p i n g t h e v a r i a b l e s t o p i t c h , d u r a t i o n , v o l u m e ,w a v e s h a p e , e n v e l o p e , a n d o v e r t o n e . F o r g r a p h i c a lo u t p u t , o n l y t w o d i m e n s i o n s w e r e u s e d i n a n x - yp l o t . T h e p o i n t s w e r e n o t i d e n t i f i e d a s b e l o n g i n gto s e t 1 o r s e t 2 . When a s ample was u sed fo rt r a i n i n g o r t e s t i n g , t h e p o i n t w a s h i g h l i g h t e d o n a

d i s p l a y s c r e e n . N o t e t h a t t h e i n t e n t w a s n o t t oc o m p a r e s i x - d i m e n s i o n a l s o u n d w i t h t w o - d i m e n s i o n a lg r a p h i c s b u t t o d e t e r m i n e w h e t h e r t h e s o u n d c o u l di n f a c t i n c r e a s e t h e d i m e n s i o n a l i t y o f t h eg r a p h i c s .

7 5 s u b j e c t s p a r t i c i p a t e d , 2 5 i n e a c h o f t h r e eg r o u p s . E a c h s u b j e c t ' s t r i a l c o n s i s t e d o f 1 0t r a i n i n g s a m p l e s r a n d o m l y s e l e c t e d f r o m s e t 1 a n d10 f rom se t 2 . The sub jec t t hen had 40 t e s ts a m p l e s t o i d e n t i f y. T h e f i r s t g r o u p o f 2 5 h e a r d

373


4/5

e a c h s a m p l e , t h e s e c o n d g r o u p b o t h h e a r d a n d s a we a c h s a m p l e , a n d t h e t h i r d g r o u p o n l y s a w e a c h

s a m p l e .

T h e a v e r a g e p e r c e n t a g e o f s a m p l e s c o r r e c t l y

i d e n t i f i e d w a s 6 2 % f o r t h e g r a p h i c s o n l yp r e s e n t a t i o n , 6 4 . 5 % f o r t h e s o u n d o n l y

p r e s e n t a t i o n , a n d 6 9% f o r t h e p r e s e n t a t i o nc o m b i n i n g s o u n d a n d g r a p h i c s . F i g u r e 4 i s a p l o to f t h e r a w d a t a i n w h i c h t h e s u b j e c t s h a v e b e e no r d e r e d f r o m l o w s c o r e t o h i g h s c o r e w i t h i n e a c h

EXPERIMENT DATA , PHASE 2

4 0-

c"ue

oU

3oL@

.o

E25

z

eL 20oo

7 , ~ - /

" l ' l ' l ' | ' l ' l ' l ' l ' l ' l ' l "3 5 7 9 11 . 15 17 FJ 21 23 25

. i n ~ or e ~ S u b j e c t

F i g u r e 4 : P h a s e 2 R e s u l t s

Sound andGraphics

- - - - Graphics

g r o u p . N o t e t h a t f o r t h o s e s u b j e c t s c o r r e c t l yi d e n t i f y i n g a t l e a s t 22 o f t h e 4 0 t e s t i t e m s , t h eg r o u p u s i n g b o t h s o u n d a n d g r a p h i c s h a dc o n s i s t e n t l y h i g h e r s c o r e s . T h e g r o u p w i t h s o u n do n l y p e r f o r m e d a s w e l l a s t h o s e w i t h g r a p h i c so u t p u t . T h e s e s c o r e s s u g g e s t t h a t s o u n d d o e s a d du s e f u l i n f o r m a t i o n t o g r a p h i c a l o u t p u t a n d t h a te v e n s o u n d a l o n e i s u s e f u l i n d i s c r i m i n a t i n gb e t w e e n d i f f e r en t s e t s o f d a t a .

S e v e r a l m o n t h s a f t e r t h e o r i g i n a l e x p e r i m e n t , 1 0 o ft h e 2 5 s u b j e c t s w h o p a r t i c i p a t e d i n t h e s o u n d - o n l yt r i a l s w e r e r a n d o m l y s e l e c t ed t o p a r t i c i p at e i n as e c o n d e x p e r i m e n t . T h e g o a l o f t h i s s e c o n de x p e r i m e n t w a s t o f i n d o u t w h e t h e r f u r t h e r t r a i n i n gw o u l d i m p r o v e a s u b j e c t ' s p e r f o r m a n c e . T h es u b j e c t s w e r e g i v e n m o r e e x p e r i e n c e u s i n g t h ef a c i l i t y w i t h a v a r i e t y o f s o u n d o u t p u ta p p l i c a t io n s . I n a d d i t i o n , t h e t r a i n i n g s a m p l e s o ft h e d a t a w e r e a v a i l a b l e t o t h e s u b j e c t t h r o u g h o u tt h e e x p e r i m e n t p r o v i d i n g a r e f e r e n c e a t a n y t i m e .T h e s u b j e c t s s t i l l l h a d n o k n o w l e d g e o f t h e d a t ab a s e i t s e l f . T h e s e s u b j e c t s w h o h a d f u r t h e rt r a i n i n g c o r r e c t l y i d e n t i f i e d 7 4 ~ o f t h e t e s ts a m p l e s .

O v e r a l l t h e r e s u l t s a r e a p o s i t i v e i n d i c a t i o n t h a ts o u n d c a n i n d e e d i n c r e a s e t h e i n f o r m a t i o n a b o u tm u l t i v a r i a t e d a t a w h e n i t i s p r e s e n t e d t o a h u m a n

a n a l y s t . T h e r e s p o n s e s f r o m a l l g r o u p s w e r e b e t t e r

t h a n c o u l d b e e x p e c t e d f r o m g u e s s i n g . T h e f a c t

t h a t f u r t h e r t r a i n i n g i m p r o v e d t h e s u b j e c t ' s

a b i l i t y t o d i s c r i m i n a t e d a t a s a m p l e s b a s e d o n s o u n da l o n e s u g g e s t s t ha t t h e m a x i m u m p e r f o r m a n c e l e v el

m a y n o t h a v e b e e n r e a c h e d . I t i s a l s o p o s s i b l e

t h a t i m p r o v e d m e t h o d s f o r p r o v i d i n g a r e f e r e n c e f o rc o m p a r i n g s o u n d s ( m u c h l i k e th e r o l e of a x e s i n a n

x - y p l o t ) c o u l d i n c r e a s e t h e p e r f o r m a n c e . S e v e r a la r e a s o f u s i n g s o u n d s y n t h e s i s f o r d a t a

p r e s e n t a t i o n o p e n t h e m s e l v e s f o r f u t h er

e x p l o r a t i o n .

0 N - G O I N G W O R K

O n e i m p l i c a t i o n o f t h e r e s u l t s o f t h e e x p e r i m e n t i s

t h a t s o u n d n o t o n l y c o n v e y s m e a n i n g f u l i n f o r m a t i o n

a b o u t m u l t i v a r i a t e d a t a b u t a l s o h a s p o t e n t i a l f o r

i n c r e a s i n g t h e i n f o r m a t i o n p r e s e n t e d t o a h u m a na n a l y s t . I t i s p o s s i b l e i n s o m e c a s e s th a t s o u n dm a y y i e l d m o r e i n f o r m a t i o n t o a h u m a n a b o u tm u l t i v a r i a t e d a t a t h a n g r a p h i ca l m e t h o d s . H o w e v e r ,

t h e e x p e r i m e n t s m a d e n o a t t e m p t t o c o m p a r e t h ev a r i o u s m e t h o d s o f p r e s e n t i n g m u l t i v a r i a t e d a t a

w i t h g r a p h i c s a l o n e . I n s t e a d i t s e e m s m o s te x c i t i n g t o c o n s i d e r t h e p o t e n t i a l o f u s i n g b o t h

s o u n d a n d g r a p h i c s t o g e t h e r . A t t h i s t i m e ,h o w e v e r , d i s c o v e r i n g m o r e a b o u t t h e u s e o f s o u n da l o n e i s c r i t i c a l t o f u t u r e s t u d i e s i n v o l v i n g b o t h

s o u n d a n d g r a p h i c s .

A p p l i c a t i o n s

S i n c e s o u n d i s n o t s t a t i c b u t v a r i e s w i t h t i m e , i t

s e e ms p a r t i c u l a r l y a p p r o p r i a t e t o c o n s i d e r

a p p l i c a t i o n s i n w h i c h o n e o f th e v a r i a b l e s i s t i m e .

A r e a l - t i m e s i m u l a t i o n i s o n e s u c h a p p l i c a t i o nc u r r e n t l y b e i n g e x a m i n e d w i t h s o u n d o u t p u t [ 2 ~ .S i m u l a t i o n s w h i c h r u n f o r s e v e r al h o u r s g e n e r a t e

p a g e s o f s t a t i s t i c s d e s c r i b i n g e a c h t i m e s t e p o f

t h e m o d e l . I n m o s t c a s e s , t h e r e a re s e v e r a lv a r i a b l e s i n v o l v e d a n d v e r y d i f f e r e n t i n t e r m e d i a t e

r e s u l t s m a y c a u s e t h e s a m e e n d r e s u l t . B y e n c o d i n gt h e v a r i a b l e s a t e a c h t i m e s t e p i n t o t h e p a r a m e t e r so f s o u n d s , e a c h r u n o f t h e s i m u l a t i o n t h e n h a s ac o r r e s p o n d i n g " s o n g " . L i s t e n i n g t o t h e " s o n g s " f or

s e v e r a l r u n s o f a s i m u l a t i o n c a n a i d a h u m a n

a n a l y s t i n d e t e r m i n i n g t h o s e s t a g e s o f t h es i m u l a t i o n w h i c h a r e p a r t i c u la r l y m e a n i n g f u l o r i nw h i c h a s i g n i f i c a n t c h a n g e o c c u r e d .

I n a d d i t i o n t o t h e m u l t i v a r i a t e a p p l i c a t io n sd e s c r i b e d , a t l e a s t t w o o t h e r a r e a s o f f e r p o t e n t i a lf o r s o u n d e x p l o r a t i o n . S i n c e s o u n d h a s t h ec h a r a c t e r i s t i c o f n o t r e q u i r i n g a p a r t i c u l a r f o c u s ,a u d i t o r y c u e s w o u l d b e u s e f u l i n d r a w i n g a t t e n t i o nt o s p e c i f i c e v e n t s . S o u n d m i g h t a l s o b ea p p r o p r i a t e f o r d i f f e r e n t t y p e s o f d a t a , s u c h a s

l o g a r i t h m i c d a t a , w h i c h i s o f t e n d if f i c u l t t o j u d g ev i s u a l l y .

S o u n d C h a r a c t e r i s t i c s

A l t h o u g h t h e a p p l i c a t io n s f o r s o u n d e n c o d i n g a r ei m p o r t a n t , t h e c h a r a c t e r i s t i c s o f s o u n d d e s e r v ef u r t h e r a t t e n t i o n . F i r s t , s o u n d p a r a m e t e r s a r e n o ti n d e p e n d e n t a n d t h u s a f f e c t t h e r e l a t io n s h i p s a m o nd a t a v a r i a b l e s . F o r e x a m p l e a t c o n s t a n t v o l u m e ,

3 7 4


5/5

h i g h f r e q u e n c y n o t e w i l l s o u n d s o f t e r t h a n a l o wf r e q u e n c y n o t e . S e c o n d , t h e t i m b r e o f a n o t e i se s p e c i a l l y s i g n i f i c a n t i n d e t e r m i n i n g t he

p e r c e p t i o n o f t h a t n o t e . M o r e w o r k s h o u l d b e d o n e

i n c o n s i d e r i n g t h e p o s s i b l e u s e s a n d v a r i a t i o n s o ft i m b r e . L i k e w i s e , l o c a t i o n o r s t e r e o e f f e c t s o f

s o u n d c o u l d a d d d i m e n s i o n a l i t y . T h i r d , i t i s n o tc l e a r h o w m a n y s o u n d p a r a m e t e r s c a n b ed i s t i n g u i s h e d a n d w h i c h o f t h o se p a r a m e t e r s h a v e

t h e m o s t m e a n i n g .

S U M M A R Y

A l l o f t h e w o r k t h u s f a r h a s i n d i c a t e d t h a t s o u n dc a n b e a u s e f u l m e a n s o f p r e s e n t i n g i n f o r m a t i o n t oa h u m a n u s e r . A s v i s u a l f e e d b a c k f r o m c o m p u t e r s

i m p r o v e s h u m a n u s e o f d i g i t a l c a l c u l a t i o n s , i t

s e e m s a p p r o p r i a t e t o e x a m i n e o t h e r h u m a n m e a n s o f

o b t a i n i n g i n f o rm a t i on . A l t h o u g h e x p e r i m e n t s h a v eb e e n d o n e w i t h t o u c h [ 6 ] , m o s t c o m p u t e r r e s e a r c hi n v o l v i n g s e n s e s o t h e r t h a n v i s i o n h a s b e e n w i t h

s o u n d . S i n c e s o u n d t e c h n o l o g y a l r e a d y e x i s t s f o r

m a s s r e p r o d u c t i o n a n d p l a y b a c k , i t s e e m s a n a t u r a lc h o i c e f o r f u r t h e r s t u d y o f i t s u s e s t o c o n v e y

d i g i t a l i n f o r m a t i o n . T h e c o m p u t e r / h u m a n i n t e r f a c ec a n o n l y b e e n h a n c e d b y a n o t h e r m e a n s o f p r e s e n t i n gi n f o r m a t i o n .

A C K N O W L E D G E M E N T

T h i s w o rk w a s p e r f o r m e d u n d e r t h e a u s p i c e s o f t h eU . S . D e p a r t m e n t o f E n e rg y b y L a w r e n c e L i v e r m o r eN a t i o n a l L a b o r a t o r y u n d e r c o n t r a c t W- 7 4 0 5 - E n g - 4 8 .

[63 G e y e r, K . E . a n d Wi l s o n , K. R . " C o m p u t i n gWi t h F e e l i n g " , P r o c . o f t h e C o n f e r e n c e O n C o m p u t erG r a p h i c s , P a t t e r n R e c o g n i t i o n , a n d D a t a S r u c t u r e ,1EEE Ca ta log No. 75CH0981-1C, p. 343, 1975.

[7 ] Mathews , M.V. T he T e c h n o l o g y o f C o m p u t e rM u s i c , T he M . I . T. P r e s s , C a m b r i d g e , M a s s . 19 6 9.

[ 8 ] M o o r e r, J . A . " S i g n a l P r e c e s s i n g A s p e c t s o fC o m p u t e r M u s i c - - A S u r v e y " , C o m p u t er M u s i c J o u r n a l ,Vol. 1, No. 1, p. 4, 1977.

[ 9 3 R i s s e t , J . C . " S y n t h e s i s o f S o u n ds b yC o m p u te r a n d P r o b l e m s C o n c e r n i n g Ti m b r e " , M u s i c a n dT e c h n o l o g y , P r o c e e d i n g o f t h e S t o c k h o l m M e e t i n g ,1970.

[ 1 0 ] R o s e n s t e i n , M. " C o m p u t e r - G e n e r a t e d P u r eTo n e s a n d N o i s e a nd I t s A p p l i c a t i o n t oP s y c h o a c o u s t i c s " , J o u r n a l o f t h e A u d i o E n g i n e e r i n gS o c i e t y , Vol. 21, No. 2, p. 121, 1973.

[ 11 3 Ta y l o r, C . A. T he P h y s i c s o f M u s i c a l S o u n d sA m e r i c a n E l s e v i e r P u b l i s h i n g C o mp a ny, I n c . NewYork, 1965.

[ 1 2 ] Te n n e y, J . C . " T he P h y s i c a l C o r r e l a t e s o fT i m b r e " , C r a v e s a n e r B l a t t e r , Vol. 7, No. 26, p.106, 1965.

[ 1 3 3 Ye u n g, E . S . " P a t t e r n R e c o g n i t i o n b y A u d i oR e p r e s e n t a t i o n o f M u l t i v a r i a t e A n a l y t i c a l D a t a " ,A n a l y t i c a l C h e m i s t r y Vol. 52, No. 7, p. 1120, 1980.

R E F E R E N C E S

[ 1 ] A n d r e w s , D . F. " P l o t s o f H i g h - d i m e n s i o n a lD a t a " , B i o m e t r i c s , Vol. 28, p. 125, 1972.

[ 2 ] B l y, S . A . " S o un d a n d C o m p u te r I n f o r m a t i o nP r e s e n t a t i o n " , Ph D D i s s e r t a t i o n ( w o rk i n p r o g r e s s ) ,U n i v e r s i t y o f C a l i f o r n i a , D a v i s .

[ 3 ] C h e r n o f f . H . " T he Us e of F a c e s t o R e p r e s e n tP o i n t s i n k - D i m e n s i o n a l S p a c e G r a p h i c a l l y " , J o u r n a lo f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n , Vol 3 6 1 ,p. 361, 1973.

[4 ] Chowning , J .M. "The Syn t hes i s o f ComplexA u d i o S p e c t r a b y M e a ns o f F r e q u e n c y M o d u l a t i o n " ,J o u r n a l o f t h e A u d i o E n g i n e e r i n g S o c i e t y ,Vol . 21 ,No. 7, p. 526, 1973.

[ 5 ] E v e r i t t , B . S . G r a p h i c a l T e c h n i q u e s f o rM u l t i v a r i a te D a t a , H e i n e m a n n E d u c a t i o n a l B o o k s ,London, 1978.

NOTICE

T h i s r e p o r t w a s p r e p a r e d a s a n a c c o u n t o f wo r ks p o n s o r e d by t h e U n i t e d S t a t e s G o v e r n m e n t . N e i t h e rt h e U n i t e d S t a t e s n o r t h e U n i t e d S t a t e s D e p a r t m e n to f E n e rg y, n o r a n y o f t h e i r e m p l o y e e s , n o r a n y o ft h e i r c o n t r a c t o r s , s u b c o n t r a c t o r s , o r t h e i re m p l o y e e s , m a k e s a n y w a r r a n t y, e x p r e s s o r i m p l i e d ,o r a s s u m e s a n y l e g a l l i a b i l i t y o r r e s p o n s i b i l i t yf o r t h e a c c u r a c y, c o m p l e t e n e s s o r u s e f u l n e s s o f a n yi n f o r m a t i o n , a p p a r a t u s , p r o d u c t o r p r o c e s sd i s c l o s e d , o r r e p r e s e n t s t h a t i t s u s e w o u l d n o ti n f r i n g e p r i v a t e l y - o w n e d r i g h t s .

Ref e re nce to a company or p roduc t name does no ti m p l y a p p r o v a l o r r e c o m m e n d a t i o n o f t h e p r o d u c t b yt h e U n i v e r s i t y o f C a l i f o r n i a o r t h e U . S .D e p a r t m e n t o f E n e rg y t o t h e e x c l u s i o n o f o t h e r st h a t m ay b e s u i t a b l e .

37 5

Documents

Presenting Information in Sound -S. Bly