siam93-pvmgc

8/14/2019 siam93-pvmgc

1/5

U s i n g P V M 3 . 0 t o R u n G r a n d C h a l l e n g e A p p l i c a t i o n s

o n a H e t e r o g e n e o u s N e t w o r k o f P a r a l l e l C o m p u t e r s

J a c k D o n g a r r a

O a k R i d g e N a t i o n a l L a b o r a t o r y a n d U n i v e r s i t y o f T e n n e s s e e

A l G e i s t

O a k R i d g e N a t i o n a l L a b o r a t o r y

R o b e r t M a n c h e k

U n i v e r s i t y o f T e n n e s s e e

W e i c h e n g J i a n g

D a r t m o u t h U n i v e r s i t y

D e c e m b e r 2 3 , 1 9 9 2

A b s t r a c t . T h i s p a p e r d e s c r i b e s s o m e r e c e n t r e s e a r c h o n P V M ( P a r a l l e l V i r t u a l

M a c h i n e ) . O n e o f t h e n e w f e a t u r e s a d d e d i n P V M 3 . 0 i s m u l t i p r o c e s s o r i n t e g r a t i o n . T h i s

i s t h e a b i l i t y t o r u n P V M a p p l i c a t i o n s o n t h e n o d e s o f s e v e r a l d i e r e n t d i s t r i b u t e d m e m o r y

m u l t i p r o c e s s o r s a s t h o u g h t h e y c o n s t i t u t e o n e l a r g e p a r a l l e l c o m p u t e r . W e d e s c r i b e h o w

m u l t i p r o c e s s o r i n t e g r a t i o n i s a c c o m p l i s h e d i n P V M 3 . 0 a n d i l l u s t r a t e i t s u s e w i t h e x a m p l e s

u s i n g s o m e o f t h e p a r a l l e l c o m p u t e r s i n O R N L ' s C e n t e r f o r C o m p u t a t i o n a l S c i e n c e .

S e v e r a l c o m p u t a t i o n a l G r a n d C h a l l e n g e p r o b l e m s a r e b e i n g a d d r e s s e d a t O a k R i d g e

N a t i o n a l L a b o r a t o r y . T w o e x a m p l e s a r e t h e c a l c u l a t i o n o f t h e e l e c t r o n i c s t r u c t u r e o f s o l i d s

f r o m r s t p r i n c i p l e s a n d g r o u n d w a t e r t r a n s p o r t . W e w i l l r e p o r t o n t h e u s e o f P V M i n t h e

s o l u t i o n o f t h e s e p r o b l e m s .

1 I n t r o d u c t i o n

T h e f a c e o f s c i e n t i c c o m p u t i n g i s c h a n g i n g . T o d a y ' s i n f r a s t r u c t u r e o f n e t w o r k s a n d

p o w e r f u l w o r k s t a t i o n s a l l o w s r e s e a r c h e r s t o c o l l a b o r a t e a n d c o m p u t e r e m o t e l y i n a n e c i e n t

m a n n e r . T h e l a t e s t t r e n d i n s c i e n t i c c o m p u t i n g i s t o e x p l o i t t h e a g g r e g a t e p o w e r a n d

m e m o r y o f c l u s t e r s o f c o m p u t e r s s i t t i n g o n l o c a l a r e a n e t w o r k s . T h i s t r e n d i s b e i n g d r i v e n

T h i s r e s e a r c h w a s s u p p o r t e d b y t h e A p p l i e d M a t h e m a t i c a l S c i e n c e s R e s e a r c h P r o g r a m , O c e o f E n e r g y

R e s e a r c h , U . S . D e p a r t m e n t o f E n e r g y , u n d e r c o n t r a c t D E - A C 0 5 - 8 4 O R 2 1 4 0 0 a n d t h e N a t i o n a l S c i e n c e

F o u n d a t i o n ' s S c i e n c e a n d T e c h n o l o g y C e n t e r C o o p e r a t i v e A g r e e m e n t N o . C C R - 8 8 0 9 6 1 5 .

1


2/5

b y t h r e e f a c t o r s : f a m i l i a r d e v e l o p m e n t e n v i r o n m e n t o f l o c a l w o r k s t a t i o n s , r o b u s t n e s s a n d

e x i s t i n g s y s t e m s u p p o r t f o r t h e m a c h i n e s , a n d m o s t i m p o r t a n t l y l o w c o s t . B y u t i l i z i n g

u n u s e d c y c l e s o f e x i s t i n g h a r d w a r e , s u p e r c o m p u t e r p e r f o r m a n c e c a n b e g e n e r a t e d w i t h n o

a d d i t i o n a l h a r d w a r e e x p e n s e .

O n e o f t h e i n i t i a l p r o b l e m s e n c o u n t e r e d i n t h i s c o m p u t i n g e n v i r o n m e n t i s h e t e r o g e n e i t y ,

w h i c h i s g e t t i n g m a c h i n e s w i t h d i e r e n t a r c h i t e c t u r e s , o p e r a t i n g s y s t e m s , a n d d a t a f o r m a t s

t o c o o p e r a t e . P V M ( P a r a l l e l V i r t u a l M a c h i n e ) i s o n e o f t h e r s t s o f t w a r e s y s t e m s

s p e c i c a l l y d e s i g n e d t o a l l o w a h e t e r o g e n e o u s c o l l e c t i o n o f c o m p u t e r s h o o k e d t o g e t h e r b y

a n e t w o r k t o b e u s e d a s a s i n g l e l a r g e p a r a l l e l c o m p u t e r 1 ] . P V M i s a n o n g o i n g r e s e a r c h

p r o j e c t i n v o l v i n g V a i d y S u n d e r a m a t E m o r y U n i v e r s i t y , A l G e i s t a t O R N L , B o b M a n c h e k a t

t h e U n i v e r s i t y o f T e n n e s s e e ( U T ) , A d a m B e g u e l i n a t C a r n e g i e M e l l o n U n i v e r s i t y , a n d J a c k

D o n g a r r a a t O R N L a n d U T . I t i s a b a s i c r e s e a r c h e o r t a i m e d a t s t u d y i n g a n d a d v a n c i n g

t h e s t a t e o f t h e a r t i n h e t e r o g e n e o u s d i s t r i b u t e d c o m p u t i n g . A v a i l a b l e s i n c e 1 9 8 9 , P V M

n o w e n j o y s w i d e s p r e a d u s e t h r o u g h o u t t h e w o r l d i n s o l v i n g i m p o r t a n t s c i e n t i c , i n d u s t r i a l ,

a n d m e d i c a l p r o b l e m s .

T h e r s t u s e s o f P V M w e r e t o c o m b i n e a s e t o f w o r k s t a t i o n s i n t o a s i n g l e c o m p u t a t i o n a l

r e s o u r c e . T h i s l a t e r g r e w t o i n c l u d e a m i x t u r e o f p a r a l l e l s u p e r c o m p u t e r s a n d w o r k s t a t i o n s .

T h e n e x t r e s e a r c h s t e p i n h e t e r o g e n e o u s d i s t r i b u t e d c o m p u t i n g i s t o i n t e g r a t e t h e i n d i v i d u a l

p r o c e s s o r s o f a m u l t i p r o c e s s o r i n t o a s e a m l e s s e n v i r o n m e n t w i t h o t h e r c o m p u t e r s o n a

n e t w o r k s o m e o f w h i c h m a y a l s o b e m u l t i p r o c e s s o r s . T h e k e y d i s t i n c t i o n a n d d i c u l t y o f

t h i s r e s e a r c h i s t h a t t h e i n d i v i d u a l p r o c e s s o r s o f t e n h a v e l i m i t e d o p e r a t i n g s y s t e m s u p p o r t

a n d n o a c c e s s t o t h e n e t w o r k .

I n s e c t i o n 2 w e d e s c r i b e h o w P V M a l l o w s m u l t i p l e p a r a l l e l c o m p u t e r s t o b e l o g i c a l l y

c o m b i n e d i n t o a s i n g l e l a r g e s y s t e m . I n s e c t i o n 3 w e p r e s e n t s o m e p r e l i m i n a r y e x p e r i m e n t s

u s i n g P V M 3 . 0 t o c o n n e c t s e v e r a l p a r a l l e l c o m p u t e r s i n O R N L ' s C e n t e r f o r C o m p u t a t i o n a l

S c i e n c e . I n s e c t i o n 4 w e d e s c r i b e t h e m e t h o d s a n d a m o u n t o f e o r t r e q u i r e d t o c o n v e r t t w o

G r a n d C h a l l e n g e a p p l i c a t i o n c o d e s t o P V M .

2 P V M 3 . 0

P V M 3 . 0 i s a s o f t w a r e s y s t e m t h a t p e r m i t s a h e t e r o g e n e o u s c o l l e c t i o n o f U n i x c o m p u t e r s

h o o k e d t o g e t h e r b y a n e t w o r k t o b e u s e d a s a s i n g l e l a r g e p a r a l l e l c o m p u t e r . T h u s l a r g e

c o m p u t a t i o n a l p r o b l e m s c a n b e s o l v e d b y u s i n g t h e a g g r e g a t e p o w e r a n d m e m o r y o f m a n y

c o m p u t e r s .

I n m a n y w a y s P V M 3 . 0 i s v a s t l y i m p r o v e d o v e r t h e p r e v i o u s v e r s i o n s o f P V M . T h e

P V M c o r e h a s b e e n c o m p l e t e l y r e d e s i g n e d f o r i m p r o v e d p e r f o r m a n c e , s c a l a b i l i t y a n d f a u l t

t o l e r a n c e w h i l e m a i n t a i n i n g P V M ' s h i g h s t a n d a r d s o f p o r t a b i l i t y a n d r o b u s t n e s s . S e v e r a l

n e w f e a t u r e s a r e a v a i l a b l e i n P V M 3 . 0 i n c l u d i n g :

m u l t i p r o c e s s o r i n t e g r a t i o n ,

d y n a m i c c o n g u r a t i o n ,

d y n a m i c p r o c e s s g r o u p s ,

m u l t i p l e m e s s a g e b u e r s ,

p r o c e s s s i g n a l l i n g , a n d

u s e r d e n a b l e r e c e i v e c o n t e x t s .

I n t h i s p a p e r w e w i l l f o c u s o n o n l y o n e o f t h e n e w f e a t u r e s , m u l t i p r o c e s s o r i n t e g r a t i o n .


3/5

2 . 1 M u l t i p r o c e s s o r I n t e g r a t i o n

P V M w a s o r i g i n a l l y d e v e l o p e d t o j o i n m a c h i n e s c o n n e c t e d b y a n e t w o r k i n t o a s i n g l e l o g i c a l

m a c h i n e . D i s t r i b u t e d m e m o r y m u l t i p r o c e s s o r s s u c h a s t h e I n t e l i P S C / 8 6 0 o f t e n h a v e o n l y

a h o s t o r a s p e c i a l n o d e t h a t i s a c t u a l l y c o n n e c t e d t o t h e n e t w o r k . A l l t h e o t h e r p r o c e s s o r s

c a n o n l y c o m m u n i c a t e o v e r t h e i n t e r n a l c o m m u n i c a t i o n p a t h s . T o e x p l o i t s u c h m a c h i n e s

w i t h P V M 2 . 4 i t i s n e c e s s a r y t o w r i t e a P V M p r o g r a m f o r t h e h o s t p r o c e s s o r t h a t r e c e i v e s

m e s s a g e s c o m i n g f r o m t h e n e t w o r k , a n d s e n d s t h e m t o i n d i v i d u a l n o d e s u s i n g t h e v e n d o r ' s

m e s s a g e - p a s s i n g r o u t i n e s . S i m i l a r l y f o r m e s s a g e s c o m i n g f r o m a n o d e d e s t i n e d f o r a m a c h i n e

o u t o n t h e n e t w o r k , i t i s n e c e s s a r y f o r a n i n t e r m e d i a t e p r o c e s s t o i n t e r c e p t t h e n a t i v e

m e s s a g e s , c o n v e r t t h e m t o P V M f o r m a t , a n d r o u t e t h e m .

W i t h P V M 3 . 0 t h e d e p e n d e n c e o n U N I X s o c k e t s a n d T C P / I P s o f t w a r e i s r e l a x e d . F o r

e x a m p l e , p r o g r a m s w r i t t e n i n P V M 3 . 0 c a n r u n o n a n e t w o r k o f S U N ' s , o n a g r o u p o f n o d e s

o n a n I n t e l P a r a g o n , o n m u l t i p l e P a r a g o n s c o n n e c t e d b y a n e t w o r k , o r a h e t e r o g e n e o u s

c o m b i n a t i o n o f m u l t i p r o c e s s o r c o m p u t e r s d i s t r i b u t e d a r o u n d t h e w o r l d . A l l t h i s w i t h o u t

h a v i n g t o w r i t e a n y v e n d o r s p e c i c m e s s a g e - p a s s i n g c o d e . ( S e e F i g u r e 1 ) P V M 3 . 0 i s

d e s i g n e d s o t h a t n a t i v e m u l t i p r o c e s s o r c a l l s c a n b e c o m p i l e d i n t o t h e s o u r c e . T h i s a l l o w s

t h e o p t i m i z e d m e s s a g e - p a s s i n g o f a p a r t i c u l a r s y s t e m t o b e r e a l i z e d b y t h e P V M a p p l i c a t i o n .

M e s s a g e s b e t w e e n t w o n o d e s o f a m u l t i p r o c e s s o r g o d i r e c t l y b e t w e e n t h e m w h i l e m e s s a g e s

d e s t i n e d f o r a m a c h i n e o u t o n t h e n e t w o r k g o t o t h e u s e r ' s s i n g l e P V M d a e m o n o n t h e

m u l t i p r o c e s s o r f o r f u r t h e r r o u t i n g . O n s h a r e d - m e m o r y s y s t e m s t h e d a t a m o v e m e n t c a n b e

i m p l e m e n t e d b y m e m o r y c o p i e s o r b y p a s s i n g o f p o i n t e r s a n d c a r e f u l u s e o f l o c k s .

P V M 3 . 0 c o n t a i n s a r e f e r e n c e p o r t t o t h e I n t e l i P S C / 8 6 0 . I n t e g r a t i o n i n t o I n t e l ' s

P a r a g o n a n d T h i n k i n g M a c h i n e C o r p o r a t i o n ' s C M - 5 m u l t i p r o c e s s o r s w a s n o t c o m p l e t e a t

t h e t i m e o f t h i s w r i t i n g b e c a u s e o f t h e i m m a t u r i t y o f t h e s e m a c h i n e ' s O p e r a t i n g S y s t e m s .

C r a y , C o n v e x , S G I , a n d I B M a r e a l s o s u p p l y i n g P V M 3 . 0 c o m p a t i b i l i t y w i t h t h e i r r e s p e c t i v e

m u l t i p r o c e s s o r s w h e n t h e y b e c o m e a v a i l a b l e . M o r e m u l t i p r o c e s s o r m a c h i n e s w i l l b e a d d e d

t o s u b s e q u e n t P V M 3 . x r e l e a s e s .

T h e k e y t o e c i e n t m u l t i p r o c e s s o r i n t e g r a t i o n i s t h e P V M t a s k I D s . I n P V M 3 . 0 a l l

t a s k s a r e i d e n t i e d b y a P V M s u p p l i e d t a s k I D ( t i d ) t h a t h a s t h e l o c a t i o n o f t h e t a s k

e n c o d e d i n i t . T h i s 3 2 b i t i n t e g e r c o n t a i n s t h r e e e l d s . T h e r s t i s t h e h o s t a d d r e s s , t h e

s e c o n d i s t h e C P U n u m b e r ( i f t h e h o s t i s a m u l t i p r o c e s s o r ) , t h e t h i r d i s t h e p r o c e s s I D o n

t h i s c p u ( f o r t h e c a s e w h e r e t h e C P U i s m u l t i t a s k i n g ) .

W e w i l l i l l u s t r a t e t h e u s e o f t h e t i d w i t h t w o e x a m p l e s . I n t h e r s t e x a m p l e a s s u m e

a P V M t a s k i s r u n n i n g o n a n o d e o f a n I n t e l P a r a g o n a n d c a l l s t h e P V M s e n d r o u t i n e

t o s e n d d a t a t o a n o t h e r P V M t a s k t h a t h a p p e n s t o b e r u n n i n g o n a n o t h e r n o d e o f t h e

s a m e P a r a g o n . P V M c o m p a r e s t h e r s t e l d o f t h e d e s t i n a t i o n t i d w i t h t h e s e n d e r ' s t i d

a n d d i s c o v e r s t h a t t h e m e s s a g e w i l l s t a y w i t h i n t h e s a m e h o s t . F r o m t h e s e c o n d a n d t h i r d

e l d s o f t h e d e s t i n a t i o n t i d a v e n d o r o p t i m i z e d c o m m u n i c a t i o n r o u t i n e i s c a l l e d b y P V M

t o m o v e t h e m e s s a g e d i r e c t l y t o t h e d e s t i n a t i o n t a s k . I n t h e s e c o n d e x a m p l e a s s u m e t h e

P V M p r o c e s s n o w s e n d s a m e s s a g e t o a t a s k t h a t i s r u n n i n g o n a n o t h e r ( p o s s i b l y p a r a l l e l )

c o m p u t e r o u t o n I n t e r n e t . P V M d e t e r m i n e s t h e m e s s a g e w i l l n o t s t a y w i t h i n t h e h o s t

s o i t u s e s t h e v e n d o r o p t i m i z e d c o m m u n i c a t i o n r o u t i n e t o m o v e t h e m e s s a g e t o t h e P V M

d a e m o n p r o c e s s r u n n i n g o n t h e s e r v i c e n o d e . T h e s e r v i c e n o d e o f a P a r a g o n h a s a c c e s s t o

t h e n e t w o r k . T h e d a e m o n r o u t e s t h e m e s s a g e t o t h e d a e m o n r u n n i n g o n t h e d e s t i n a t i o n

h o s t . ( T h e r e i s o n l y o n e P V M d a e m o n p e r u s e r p e r I n t e r n e t a d d r e s s ) . T h i s r e m o t e d a e m o n

t h e n d e l i v e r s t h e m e s s a g e t o t h e d e s t i n a t i o n t a s k u s i n g t h e s e c o n d a n d t h i r d e l d s o f t h e

d e s t i n a t i o n t i d . I n t h i s w a y a P V M a p p l i c a t i o n c a n h a v e t a s k s s c a t t e r e d a c r o s s s e v e r a l

h e t e r o g e n e o u s p a r a l l e l c o m p u t e r s a n d s t i l l s e n d m e s s a g e s b e t w e e n a l l t h e t a s k s a s t h o u g h


4/5

t h e y w e r e a l l o n o n e l a r g e p a r a l l e l c o m p u t e r .

T h e P V M d a e m o n t h a t r u n s o n a m u l t i p r o c e s s o r l i s t e n s f o r r e q u e s t s a n d m e s s a g e s

c o m i n g f r o m n o d e s o f t h e m u l t i p r o c e s s o r a s w e l l a s t h e n e t w o r k . T h e e c i e n c y t h a t t h i s

c a n b e i m p l e m e n t e d i s v e r y d e p e n d e n t o n t h e u n d e r l y i n g o p e r a t i n g s y s t e m a n d m e s s a g e -

p a s s i n g s o f t w a r e .

W h e n c o n n e d t o u s i n g o n l y w o r k s t a t i o n s , a P V M a p p l i c a t i o n s e l d o m u s e s m o r e t h a n

6 0 c p u s . B u t g i v e n P V M 3 . 0 ' s i n t e g r a t i o n i n t o m u l t i p r o c e s s o r s , i t i s p o s s i b l e t o j o i n

t o g e t h e r j u s t a f e w h o s t s w i t h a n a g g r e g a t e o f s e v e r a l t h o u s a n d c p u s . T h i s i s t h e t y p e

o f p o w e r n e c e s s a r y t o s o l v e c o m p u t a t i o n a l G r a n d C h a l l e n g e p r o b l e m s i n m a t e r i a l s d e s i g n

a n d e n v i r o n m e n t a l c l e a n u p .

3 E x p e r i m e n t s

n o t h i n g t o s a y h e r e y e t ]

4 P V M u s e i n G r a n d C h a l l e n g e s a t O R N L

O R N L m a t e r i a l s c i e n t i s t s a n d t h e i r c o l l a b o r a t o r s h a v e b e e n d e v e l o p i n g a n a l g o r i t h m

f o r s t u d y i n g t h e p h y s i c a l p r o p e r t i e s o f c o m p l e x s u b s t i t u t i o n a l l y d i s o r d e r e d m a t e r i a l s .

A f e w i m p o r t a n t e x a m p l e s o f p h y s i c a l s y s t e m s a n d s i t u a t i o n s i n w h i c h s u b s t i t u t i o n a l

d i s o r d e r p l a y s a c r i t i c a l r o l e i n d e t e r m i n i n g m a t e r i a l p r o p e r t i e s i n c l u d e : h i g h - s t r e n g t h

a l l o y s , h i g h - t e m p e r a t u r e s u p e r c o n d u c t o r s , m a g n e t i c p h a s e t r a n s i t i o n s , a n d m e t a l / i n s u l a t o r

t r a n s i t i o n s . T h e a l g o r i t h m b e i n g d e v e l o p e d i s a n i m p l e m e n t a t i o n o f t h e K o r r i n g a , K o h n

a n d R o s t o k e r c o h e r e n t p o t e n t i a l a p p r o x i m a t i o n ( K K R - C P A ) m e t h o d f o r c a l c u l a t i n g t h e

e l e c t r o n i c p r o p e r t i e s , e n e r g e t i c s a n d o t h e r g r o u n d s t a t e p r o p e r t i e s o f s u b s t i t u t i o n a l l y

d i s o r d e r e d a l l o y s 3 ] . T h e K K R - C P A m e t h o d e x t e n d s t h e u s u a l i m p l e m e n t a t i o n o f d e n s i t y

f u n c t i o n a l t h e o r y ( L D A - D F T ) 4 ] t o s u b s t i t u t i o n a l l y d i s o r d e r e d m a t e r i a l s 2 ] . I n t h i s s e n s e

i t i s a c o m p l e t e l y r s t p r i n c i p l e s t h e o r y o f t h e p r o p e r t i e s o f s u b s t i t u t i o n a l l y d i s o r d e r e d

m a t e r i a l s r e q u i r i n g a s i n p u t o n l y t h e a t o m i c n u m b e r s o f t h e s p e c i e s m a k i n g u p t h e s o l i d .

T h e K K R - C P A a l g o r i t h m c o n t a i n s s e v e r a l l o c a t i o n s w h e r e p a r a l l e l i s m c a n b e e x p l o i t e d .

T h e s e l o c a t i o n s c o r r e s p o n d t o i n t e g r a t i o n s i n t h e K K R - C P A a l g o r i t h m . E v a l u a t i n g

i n t e g r a l s t y p i c a l l y i n v o l v e s t h e i n d e p e n d e n t e v a l u a t i o n o f a f u n c t i o n a t d i e r e n t l o c a t i o n s

a n d t h e m e r g i n g o f t h e s e d a t a i n t o a n a l v a l u e . T h e i n t e g r a t i o n o v e r e n e r g y w a s

p a r a l l e l i z e d . T h e p a r a l l e l i m p l e m e n t a t i o n i s b a s e d o n a m a s t e r / s l a v e p a r a d i g m t o r e d u c e

m e m o r y r e q u i r e m e n t s a n d s y n c h r o n i z a t i o n o v e r h e a d . I n t h e i m p l e m e n t a t i o n o n e p r o c e s s o r

i s r e s p o n s i b l e f o r r e a d i n g t h e m a i n i n p u t l e , w h i c h c o n t a i n s t h e n u m b e r o f n o d e s t o b e

u s e d o n e a c h m u l t i p r o c e s s o r a s w e l l a s t h e n u m b e r a n d t y p e o f w o r k s t a t i o n s t o i n c l u d e ,

t h e p r o b l e m d e s c r i p t i o n , a n d t h e l o c a t i o n o f r e l e v a n t d a t a l e s . T h i s m a s t e r p r o c e s s o r a l s o

m a n a g e s d y n a m i c l o a d b a l a n c i n g o f t h e t a s k s t h r o u g h a s i m p l e p o o l - o f - t a s k s s c h e m e . T h e

d e v e l o p m e n t o f t h e p a r a l l e l K K R C P A c o d e u s i n g P V M r e q u i r e d a b o u t t w o m o n t h s o f e o r t .

A n u m b e r o f m i x e d h e t e r o g e n e o u s m u l t i p r o c e s s o r t e s t s h a v e b e e n r u n u s i n g t h e

K K R C P A c o d e , b u t m o r e i m p o r t a n t i s i t s u s e a s a r e s e a r c h c o d e t o s o l v e i m p o r t a n t

m a t e r i a l s s c i e n c e p r o b l e m s . S i n c e i t s d e v e l o p m e n t t h e K K R C P A c o d e h a s b e e n u s e d t o

c o m p a r e t h e e l e c t r o n i c s t r u c t u r e o f t w o h i g h t e m p e r a t u r e s u p e r c o n d u c t o r s , B a ( B i

3

P b

7

) O

3

a n d ( B a

6

K

4

) B i O

3

, t o e x p l a i n a n o m a l o u s e x p e r i m e n t a l r e s u l t s f r o m a h i g h s t r e n g t h a l l o y ,

N i A l , a n d t o s t u d y t h e e e c t o f m a g n e t i c m u l t i l a y e r s i n C r V a n d C r M o a l l o y s f o r t h e i r

p o s s i b l e u s e i n m a g n e t i c s t o r a g e d e v i c e s .

T h e g o a l o f t h e g r o u n d w a t e r m o d e l i n g g r o u p i s t o d e v e l o p s t a t e o f t h e a r t p a r a l l e l m o d e l s

f o r t o d a y ' s h i g h p e r f o r m a n c e p a r a l l e l c o m p u t e r s , w h i c h w i l l e n a b l e r e s e a r c h e r s t o m o d e l o w


5/5

w i t h h i g h e r r e s o l u t i o n a n d g r e a t e r a c c u r a c y t h a n e v e r b e f o r e . A s a r s t s t e p r e s e a r c h e r s a t

O R N L h a v e d e v e l o p e d a p a r a l l e l 3 - D n i t e e l e m e n t c o d e c a l l e d P F E M t h a t m o d e l s w a t e r

o w t h r o u g h s a t u r a t e d - u n s a t u r a t e d m e d i a . P F E M s o l v e s t h e s y s t e m o f e q u a t i o n s

F

@ h

@ t

= r K

s

K

r

( r h + r z ) + q ;

w h e r e h i s t h e p r e s s u r e h e a d , t i s t i m e , K

s

i s t h e s a t u r a t e d h y d r a u l i c c o n d u c t i v i t y t e n s o r ,

K

r

i s t h e r e l a t i v e h y d r a u l i c c o n d u c t i v i t y o r r e l a t i v e p e r m e a b i l i t y , z i s t h e p o t e n t i a l h e a d ,

q i s t h e s o u r c e / s i n k a n d F i s t h e w a t e r c a p a c i t y ( F = d = d h , w i t h t h e m o i s t u r e c o n t e n t )

a f t e r n e g l e c t i n g t h e c o m p r e s s i b i l i t y o f t h e w a t e r a n d o f t h e m e d i a .

P a r a l l e l i z a t i o n w a s a c c o m p l i s h e d b y p a r t i t i o n i n g t h e p h y s i c a l d o m a i n a n d s t a t i c a l l y

a s s i g n i n g s u b d o m a i n s t o t a s k s . T h e p r e s e n t v e r s i o n u s e s o n l y s t a t i c l o a d - b a l a n c i n g a n d

r e l i e s o n t h e u s e r t o d e n e t h e p a r t i t i o n i n g . I n e a c h s t e p o f t h e s o l u t i o n t h e b o u n d a r y

r e g i o n o f e a c h s u b d o m a i n i s e x c h a n g e d w i t h i t s n e i g h b o r i n g r e g i o n s .

O r i g i n a l l y d e v e l o p e d o n a n I n t e l i P S C / 8 6 0 m u l t i p r o c e s s o r , a P V M v e r s i o n h a s n o w b e e n

d e v e l o p e d w h i c h o p e n s t h e p o s s i b i l i t i e s o f r u n n i n g a c r o s s s e v e r a l m u l t i p r o c e s s o r s . P r e s e n t l y ,

t h e P V M v e r s i o n o f P F E M h a s b e e n d e l i v e r e d t o s e v e r a l m e m b e r s o f t h e g r o u n d w a t e r

m o d e l i n g g r o u p f o r t e s t i n g u s i n g n e t w o r k s o f w o r k s t a t i o n s w h i l e t h e y a w a i t t h e a v a i l a b i l i t i y

o f p a r a l l e l s u p e r c o m p u t e r s .

T h e s e e x p e r i m e n t s a r e t h e i n i t i a l s t e p s i n u t i l i z i n g s e v e r a l p a r a l l e l s u p e r c o m p u t e r s

c o n g u r e d i n t o a v i r t u a l s u p e r - p a r a l l e l c o m p u t e r i n o r d e r t o a c h i e v e t h e c o m p u t a t i o n a l

p o w e r n e c e s s a r y t o s o l v e C o m p u t a t i o n a l G r a n d C h a l l e n g e P r o b l e m s .

T h e P V M s o f t w a r e a n d U s e r s G u i d e a r e a v a i l a b l e o n n e t l i b . T o n d o u t h o w t o o b t a i n

t h i s m a t e r i a l s e n d e - m a i l t o n e t l i b @ o r n l . g o v w i t h t h e m e s s a g e : s e n d i n d e x f r o m p v m

A n a u t o m a t i c m a i l h a n d l e r w i l l r e p l y w i t h d e t a i l e d d i r e c t i o n s .

R e f e r e n c e s

1 ] A . G e i s t , A . B e g u e l i n , J . D o n g a r r a , R . M a n c h e k , V . S u n d e r a m , P V M 3 . 0 U s e r ' s G u i d e

a n d R e f e r e n c e M a n u a l . T e c h n i c a l R e p o r t O R N L / T M - 1 2 1 8 7 , O a k R i d g e N a t i o n a l L a b o r a t o r y ,

F e b r u a r y 1 9 9 3 .

2 ] D . D . J o h n s o n , D . M . N i c h o l s o n , F . J . P i n s k i , B . L . G y o r y , G . M . S t o c k s , T o t a l e n e r g y a n d

p r e s s u r e c a l c u l a t i o n s f o r r a n d o m s u b s t i t u t i o n a l a l l o y s , P h y s . R e v . B , V o l . 4 1 , 9 7 0 1 ( 1 9 9 0 ) .

3 ] G . M . S t o c k s , W . M . T e m m e r m a n , B . L . G y o r y C o m p l e t e s o l u t i o n o f t h e K o r r i n g a - K o h n -

R o s t o k e r c o h e r e n t p o t e n t i a l a p p r o x i m a t i o n : C u - N i a l l o y s , P h y s . R e v . L e t t e r , V o l . 4 1 , 3 3 9

( 1 9 7 8 ) .

4 ] U l f v o n B a r t h D e n s i t y F u n c t i o n a l T h e o r y f o r S o l i d s , E l e c t r o n i c s t r u c t u r e o f c o m p l e x s y s t e m s

e d . P h a r i s e a u a n d T e m m e r m a n , N A T O A S I S e r i e s , P l e n u m P r e s s , ( 1 9 8 4 ) .

Documents

siam93-pvmgc