Journal of Physics: Conference Series

PAPER • OPEN ACCESS

New operator assistance features in the CMS RunControl SystemTo cite this article: J-M Andre et al 2017 J. Phys.: Conf. Ser. 898 032028

View the article online for updates and enhancements.

Related contentThe run control system of the CMSexperimentG Bauer, V Boyer, J Branson et al.

-

Automating the CMS DAQG Bauer, T Bawej, U Behrens et al.

-

Recent Standard Model results from CMSSimon de Visscher and CMS collaboration

-

This content was downloaded from IP address 188.184.3.52 on 14/12/2017 at 14:53

FERMILAB-CONF-16-758-PPD

This manuscript has been authored by Fermi Research Alliance, LLC under Contract No. DE-AC02-07CH11359 with the U.S. Department of Energy, Office of Science, Office of High Energy Physics.

C o nt e nt fr o m t his w or k m a y b e us e d u n d er t h e t er ms of t h e Cr e ati v e C o m m o ns Attri b uti o n 3. 0 li c e n c e . A n y f urt h er distri b uti o nof t his w or k m ust m ai nt ai n attri b uti o n t o t h e a ut h or(s) a n d t h e titl e of t h e w or k, j o ur n al cit ati o n a n d D OI.

P u blis h e d u n d er li c e n c e b y I O P P u blis hi n g Lt d 1

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

N e w o p e r at o r a s si st a n c e f e at u r e s i n t h e C M S R u n C o nt r ol S y st e m

J- M A n d r e 4 , U B e h r e n s 2 , J B r a n s o n 3 , P B r u m m e r 1 , a, O C h a z e 1 , S Citt oli n3 ,C C o nt e s c u 4 , B G C r ai g s 1 , G- L D a rl e a 5 , C D el di c q u e 1 , Z D e mi r a gli5 , M D o b s o n 1 ,N D o u al ot 4 , S E r h a n 6 , J R F ul c h e r 1 , D Gi gi1 , M G ła d ki 1 , F Gl e g e 1 , G G o m e z -C e b all o s 5 , J H e g e m a n 1 , A H ol z n e r 3 , M J a n uli s 1, b , R Ji m e n e z -E st u pi ñ á n 1 ,L M a s etti 1 , F M eij e r s 1 , E M e s c hi 1 , R K M o m m s e n 4 , S M o r o vi c 1 , V O' D ell 4 ,L O r si ni 1 , C P a u s 5 , P P et r o v a 1 , M Pi e ri 3 , A Ra c z 1 , T R ei s 1 , H S a k uli n 1, 7 ,C S c h wi c k 1 , D Si m el e vi ci u s 1, b , M V o u gi o u k a s 1 , P Z ej dl 4, c

1 C E R N, G e n e v a, S wit z erl a n d 2 D E S Y, H a m b ur g, G er m a n y 3 U ni v er sit y of C alif or ni a, S a n Di e g o, S a n Di e g o, C alif or ni a, U S A 4 F N A L, C hi c a g o, Illi n oi s, U S A 5 M a s s a c h u s ett s I n stit ut e of T e c h n ol o g y, C a m bri d g e, M a s s a c h u s ett s, U S A 6 U ni v er sit y o f C alif or ni a, L o s A n g el e s, L o s A n g el e s, C alif or ni a, U S A a N o w at K arl sr u h e U ni v er sit y of A p pli e d S ci e n c e s, K arl sr u h e, G er m a n y b Al s o at Vil ni u s U ni v er sit y, Vil ni u s, Lit h u a ni a c Al s o at C E R N, G e n e v a, S wit z erl a n d

E- m ail: H a n n e s. S a k uli n @ c er n. c h

A b st r a ct. D uri n g R u n -1 of t h e L H C, m a n y o p er ati o n al pr o c e d ur e s h a v e b e e n a ut o m at e d i n t h e r u n c o ntr ol s y st e m of t h e C o m p a ct M u o n S ol e n oi d ( C M S) e x p eri m e nt. W h e n d et e ct or hi g h v olt a g e s ar e r a m p e d u p or d o w n or u p o n c ert ai n b e a m m o d e c h a n g e s o f t h e L H C, t h e D A Q s y st e m i s a ut o m ati c all y p arti all y r e c o nfi g ur e d wit h n e w p ar a m et er s. C ert ai n t y p e s of err or s s u c h a s err or s c a u s e d b y si n gl e -e v e nt u p s et s m a y tri g g er a n a ut o m ati c r e c o v er y pr o c e d ur e. F urt h er m or e, t h e t o p -l e v el c o ntr ol n o d e c o nti n u o u sl y perf or m s cr o s s -c h e c k s t o d et e ct s u b -s y st e m a cti o n s b e c o mi n g n e c e s s ar y b e c a u s e of c h a n g e s i n c o nfi g ur ati o n k e y s, c h a n g e s i n t h e s et of i n cl u d e d fr o nt -e n d dri v er s or b e c a u s e of p ot e nti al cl o c k i n st a biliti e s. T h e o p er at or i s g ui d e d t o p erf or m t h e n e c e s s ar y a ct i o n s t hr o u g h gr a p hi c al i n di c at or s di s pl a y e d n e xt t o t h e r el e v a nt c o m m a n d b utt o n s i n t h e u s er i nt erf a c e. T hr o u g h t h e s e i n di c at or s, c o n si st e nt c o nfi g ur ati o n of C M S i s e n s ur e d. H o w e v er, m a n u all y f oll o wi n g t h e i n di c at or s c a n still b e i n effi ci e nt at ti m e s. A n ew a s si st a nt t o t h e o p er at or h a s t h er ef or e b e e n d e v el o p e d t h at c a n a ut o m ati c all y p erf or m all t h e n e c e s s ar y a cti o n s i n a str e a mli n e d or d er. If a d diti o n al pr o bl e m s ari s e, t h e n e w a s si st a nt tri e s t o a ut o m ati c all y r e c o v er fr o m t h e s e. Wit h t h e n e w a s si st a nt, a r u n c a n b e st art e d fr o m a n y st at e of t h e s u b -s y st e m s wit h a si n gl e cli c k. A n o n g oi n g r u n m a y b e r e c o v er e d wit h a si n gl e cli c k, o n c e t h e a p pr o pri at e r e c o v er y a cti o n h a s b e e n s el e ct e d. W e r e vi e w t h e a ut o m ati o n f e at ur e s of C M S R u n C o ntr ol a n d di s c u s s t h e n e w a s si st a nt i n d et ail i n cl u din g fir st o p er ati o n al e x p eri e n c e .

7 T o w h o m a n y c orr e s p o n d e n c e s h o ul d b e a d dr e s s e d.

F E R MI L A B- C O N F- 1 6- 7 5 8- P P D

T his m a n us cri pt h as b e e n a ut h or e d b y F er mi R es e ar c h Alli a n c e, L L C u n d er C o ntr a ct N o. D E- A C 0 2- 0 7 C H 1 1 3 5 9 wit h t h e U. S. D e p art m e nt of E n er g y, Offi c e of S ci e n c e, Offi c e of Hi g h E n er g y P h ysi cs.

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

2

1. I nt r o d u cti o n T h e R u n C o ntr ol S y st e m [ 1, 2, 3, 4] of t h e C o m p a ct M u o n S ol e n oi d ( C M S) [5, 6 ] e x p eri m e nt at C E R N’ s L ar g e H a dr o n C olli d er ( L H C) i s a di stri b ut e d w e b a p pli c ati o n r u n ni n g o n a s et of A p a c h e T o m c at s er v er s. It all o w s u s er s t o d efi n e a hi er ar c hi c al str u ct ur e of c o ntr ol n o d e s, c all e d F u n cti o n M a n a g er s ( F M s). F u n cti o n m a n a g er s ar e d e v el o p e d i n J a v a a n d ar e d y n a mi c all y l o a d e d i nt o t h e w e b a p pli c ati o n u p o n t h e st art of a c o nfi g ur ati o n [ 7 ]. F u n cti o n M a n a g er s ar e c o ntr oll e d t hr o u g h a w e b -br o w s er. D uri n g gl o b al d at a -t a ki n g, all o p er ati o n s ar e c o ntr oll e d t hr o u g h t h e t o p -l e v el c o ntr ol n o d e, al s o c all e d t h e L e v el -0 F M , a s ill u str at e d i n fi g ur e 1. H ar d w ar e a c c e s s a n d tr a n s p ort of d at a ar e h a n dl e d b y t h e C + + b a s e d X D A Q o nli n e s oft w ar e [ 8]. M o nit ori n g s er vi c e s c oll e ct m o nit or d at a fr o m t h e X D A Q a n d r u n c o ntr ol l a y er s , a n d m a k e t h e m a v ail a bl e t o m o nit or cli e nt s, err or & al ar m p a n el s a n d a n e x p ert s y st e m. A s e p ar at e c o ntr ol s y st e m, t h e D et e ct or C o ntr ol S y st e m ( D C S) [ 9] c o ntr ol s d et e ct or v olt a g e s, g a s fl o w s et c. D C S i s i n c o m m u ni c ati o n wit h t h e L H C c o ntr ol s y st e m.

Fi g u r e 1. O v e r vi e w of t h e C M S O nli n e S y st e m s. S u b s: S u b -s y st e m. H L T: Hi g h L e v el T ri g g e r . T h eD A Q E x p e rt t o ol a d vi s e s t h e s hift c r e w t h r o u g h m e s s a g e s o n a w e b G UI , s o u n d ji n gl e s a n ds p o k e nt e xt. 2. R e vi e w of O p e r at o r A s si st a n c e F e at u r e s At t h e st art of d at a -t a ki n g wit h C M S i n 2 0 0 8 t h e t o p-l e v el c o ntr ol n o d e pr o vi d e d f ull c o ntr ol of t h e gl o b al st at e m a c hi n e, c o ntr ol of i n di v i d u al s u b-s y st e m s a n d c o ntr ol o f c o nfi g ur ati o n k e y s a p pli c a bl e t o v ari o u s s u b -s y st e m s. All r e q uir e d o p er ati o n s w er e a v ail a bl e t o t h e o p er at or, b ut t h e o p er at or h a d t o k n o w h o w t o c h o o s e c o m p ati bl e c o nfi g ur ati o n k e y s, w h e n t o p erf or m a cti o n s o n i n di vi d u al s u b -s y st e m s a n d h o w t h e s e a cti o n s d e p e n d e d o n e a c h ot h er. O p er ati o n of t h e e x p eri m e nt r e q uir e d a l ot of d et ail e d k n o wl e d g e of t h e s y st e m a n d w a s r at h er err or pr o n e. D uri n g R u n -1 of t h e L H C ( 2 0 0 9 -2 0 1 3) , m a n y o p er at or a s si st a n c e f e at ur e s h a v e b e e n a d d e d t o t h e t o p -l e v el c o ntr ol n o d e ( L e v el-0 F u n cti o n M a n a g er) of t h e r u n -c o ntr ol s y st e m i n or d er t o e a s e t h e j o b of t h e o p er at or a n d a v oi d a n y p o s si bilit y of

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

3

err or . W e bri efl y r e vi e w t h e s e f e at ur e s, b el o w. F or a m or e i n -d e pt h d e s cri pti o n w e r ef er t h e r e a d er t o [1 0 ].

2. 1. I m p r o v e d C o nfi g u r ati o n H a n dli ng Pr e vi o u sl y , o p er at or s h a d t o m a n u all y c h o o s e c o m p ati bl e c o nfi g ur ati o n k e y s f or t h e fir st-l e v el tri g g er, hi g h -l e v el tri g g er a n d s u b-d et e ct or s, t h at w er e a p pr o pri at e f or t h e d at a -t a ki n g c o n diti o n at h a n d. I n c o n si st e nt c o nfi g ur ati o n of t h e tri g g er s y st e m or of s u b -d et e ct or s fr e q u e ntl y l e d t o d o w n ti m e s or t o d at a -q u alit y pr o bl e m s. T o r e m e d y t h e sit u ati o n, c o nfi g ur ati o n k e y s w er e c o m bi n e d b y i ntr o d u ci n g fir st a c o m bi n e d tri g g er k e y f or t h e fir st-l e v el a n d hi g h-l e v el tri g g er a n d l at er i ntr o d u ci n g a c o m bi n e d r un-m o d e t h at ti e s t o g et h er c o m p ati bl e s et s of all c o nfi g ur ati o n k e y s f or all s u b-s y st e m s n e e d e d f or c ert ai n m o d e s of d at a -t a ki n g (f or e x a m pl e: c olli si o n s, c o s mi c s, cir c ul ati n g b e a m). T h e s e c o m bi n e d k e y s a n d r u n-m o d e s c o ul d t h u s b e pr e p ar e d a n d v ali d at e d b y e x p ert s a h e a d of ti m e w hil e o p er at or s o nl y n e e d e d t o s el e ct t h e a p pr o pri at e r u n-m o d e f or a gi v e n d at a -t a ki n g c o n diti o n. T hi s s ol uti o n, e s pe ci all y w h e n c o m bi n e d wit h t h e g ui d a n c e s y st e m e x pl ai n e d i n t h e f oll o wi n g s u b s e cti o n, gr e atl y r e d u c e d pr o bl e m s d u e t o i n c o n si st e nt c o nfi g ur ati o n.

2. 2. G ui d a n c e S y st e m A g ui d a n c e s y st e m w a s i ntr o d u c e d i n or d er t o e n s ur e c o n si st e nt c o nfi g ur ati o n of t h e e x p eri m e nt. It c o nti n u o u sl y c h e c k s w h et h er all c o m p o n e nt s ar e c o nfi g ur e d wit h t h e s el e ct e d c o nfi g ur ati o n, w hi c h i s t y pi c all y i m pli e d b y t h e o v era ll r u n-m o d e d e s cri b e d a b o v e. T h e g ui d a n c e s y st e m r e s ol v e s c o nfi g ur ati o n k e y s i n a n u m b er of d at a b a s e s t o d et e ct if u n d erl yi n g d efi niti o n s of k e y s h a v e b e e n u p d at e d. T h e r e s ol v e d k e y s ar e t h e n c o m p ar e d t o t h e a ct u al c o nfi g ur ati o n s of t h e c o m p o n e nt s. T h e s y st e m al s o e n s ur e s t h at c o nfi g ur ati o n c h a n g e s ar e a p pli e d t o s u b -s y st e m s i n t h e c orr e ct or d er, w hi c h i s p arti c ul arl y i m p ort a nt if t h e cl o c k s o ur c e of t h e e x p eri m e nt i s c h a n g e d or t h e e x p eri m e nt n e e d s t o r e c o v er fr o m L H C cl o c k i n st a biliti e s. T h e g ui d a n c e s y st e m i n di c at e s n e c e s s ar y a cti o n s t o t h e o p er at or b y fl a s hi n g i n di c at or li g ht s n e xt t o t h e c orr e s p o n di n g s u b -s y st e m a cti o n b utt o n s i n t h e G UI. F or e x a m pl e, if t h e cl o c k of t h e e x p eri m e nt i s c h a n g e d, t h e g ui d a n c e s y st e m r e mi n d s t h e o p er at or t o fir st r e c o nfi g ur e t h e Tri g g er C o ntr ol a n d Di stri b uti o n Sy st e m a n d t h e n t o r e c o nfi g ur e or t o r ei nit i ali z e c ert ai n s u b -s y st e m s. T h e g ui d a n c e s y st e m t o g et h er wit h t h e i m pr o v e d c o nfi g ur ati o n h a n dli n g d e s cri b e d a b o v e pr a cti c all y eli mi n at e d pr o bl e m s d u e t o i n c o n si st e nt c o nfi g ur ati o n.

2. 3. A ut o m ati c a cti o n s i n r e s p o n s e t o d et e ct o r a n d L H C st at e c h a n g e s W h e n d et e ct or hi g h v olt a g e s ar e r a m p e d u p d uri n g pr e p ar ati o n for d at a -t a ki n g ( s o m e of t h e m j u st aft er st a bl e b e a m s h a v e b e e n d e cl ar e d ), c ert ai n a cti o n s h a v e t o b e p erf o r m e d t hr o u g h r u n-c o ntr ol. I n t h e sili c o n pi x el s u b -s y st e m, g ai n s n e e d t o b e a dj u st e d w hil e i n t h e sili c o n stri p s s u b -s y st e m p a yl o a d s u p pr e s si o n n e e d s t o b e t ur n e d off ( p a yl o a d-s u p pr e s si o n i s n e e d e d t o a v oi d l ar g e fr a g m e nt si z e s d u e t o n oi s e w h e n hi g h v olt a g e s ar e off ).

At t h e b e gi n ni n g of d at a -t a ki n g wit h C M S, t h e s e a cti o n s h a d t o b e p erf or m e d m a n u all y b y t h e s u b-s y st e m e x p ert , w hi c h m e a nt t h at p h y si c s r u n s c o ul d o nl y b e st art e d o n c e t h e L H C h a d d e cl ar e d st a bl e b e a m s a n d t h e d et e ct or hi g h v olt a g e s h a d b e e n r a m p e d u p. T h e s e m a n u al a cti o n s n e c e s s ar y at t h e st art of a fill l ed t o c o n si d er a bl e d o w n ti m e. I n or d er t o str e a mli n e o p er ati o n s, t h e af or e m e nti o n e d a cti o n s h a v e b e e n a ut o m at e d. Th e t o p -l e v el c o ntr ol n o d e n o w r e c ei v e s i nf or m ati o n a b o ut t h e L H C st at e a n d a b o ut d et e ct or hi g h v olt a g e s fr o m t h e C M S d et e ct or c o ntr ol s y st e m. T h e t o p-l e v el c o ntr ol n o d e p a s s e s t h e hi g h-v olt a g e st at u s i nf or m ati o n t o t h e s u b-s y st e m s u p o n r u n st art s s o t h at s u b -s y st e m s c a n t a k e c ar e of a dj u sti n g g ai n s a n d p a yl o a d s u p pr e s si o n . If a ru n i s o n -g oi n g w hil e t h e L H C or hi g h v olt a g e c h a n g e st at e, a n a ut o m ati c a cti o n i s tri g g er e d t h at p a u s e s t h e r u n, pr o p a g at e s u p d at e d s etti n g s t o s u b -s y st e m s a n d r e s u m e s t h e r u n. T hi s w a y, a p h y si c s r u n c a n b e st art e d l o n g b ef or e st a bl e b e a m s ar e d e cl ar e d. O n c e b e a m s ar e st a bl e a n d hi g h v olt a g e s ar e u p, s etti n g s ar e a ut o m ati c all y a dj u st e d a s n e e d e d.

T h e i nf or m ati o n a b o ut t h e L H C st at e i s al s o u s e d t o d e ci d e w h e n a cl o c k r e c o v er y n e e d s t o b e p erf or m e d ( T h e L H C cl o c k i s g u ar a nt e e d t o b e st a bl e o nl y i n c ert ai n b e a m m o d e s.) a n d t o a ut o m ati c all y s el e ct t h e a p pr o pri at e r u n -m o d e ( c olli si o n s, c o s mi c s, cir c ul ati n g b e a m , et c.) f or a c ert ai n d at a -t a ki n g c o n diti o n. T h e o p er at or t h u s n o l o n g er n e e d s t o s el e ct t h e r u n -m o d e w h e n d at a -t a ki n g

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

4

c o n diti o n s c h a n g e , b ut si m pl y n e e d s t o f oll o w pr o m pt s b y t h e g ui d a n c e s y st e m t o c o nfi g ur e t h e e x p eri m e nt c o n si st e nt wit h t h e a ut o m ati c all y s el e ct e d n e w r u n-m o d e.

2. 4. A ut o m ati c E r r o r R e c o v e r y f o r ‘ S oft’ E r r o r s A s L H C l u mi n o sit y i n cr e a s e d t o w ar d s t h e e n d o n R u n -1 ( 2 0 1 1 o n w ar d s), fr e q u e nt ‘ s oft ’ err or s o c c urr e d i n v ari o u s s u b -s y st e m s , w hi c h i n s o m e c a s e s c o ul d b e tr a c e d t o si n gl e -e v e nt u p s et s i n t h e r ea d o ut el e ctr o ni c s c a u s e d b y i n cr e a s e d irr a di ati o n. R e c o v er y i niti all y r e q uir e d s t o p pi n g t h e r u n, r e c o nfi g uri n g t h e aff e ct e d s u b -s y st e m a n d st arti n g a n e w r u n , a v er y ti m e c o n s u mi n g o p er ati o n. A n e w a ut o m ati c r e c o v er y m e c h a ni s m w a s t h er ef or e d e si g n e d i n w hi c h s u b-s y st e m s l o c all y d et e ct a ‘ s oft’ err or c o n diti o n a n d si g n al it t o t h e t o t h e t o p-l e v el c o ntr ol n o d e b y c h a n gi n g t h eir st at e . T h e t o p-l e v el c o ntr ol n o d e t h e n e x e c ut e s a r e c o v er y s e q u e n c e t h at c o n si st s of: p a u si n g t h e r u n, i s s ui n g a n e wl y d efi n e d r e c o v er y t r a n siti o n t o t h e r e q u e sti n g s u b -s y st e m, r e s y n c hr o ni zi n g t h e s y st e m a n d r e s u mi n g. A d diti o n al s u b -s y st e m s m a y r e gi st er t o r e c ei v e t h e r e c o v er y tr a n siti o n i n or d er t o p erf or m pr e v e nti v e a cti o n s i n t h e s h a d o w of a r e c o v er y. I n 2 0 1 2 al o n e, at l e a st 4 6 h o ur s of d o w n ti m e ( a b o ut 5 0 % of t h e r e m ai ni n g t ot al d o w n ti m e) w er e a v oi d e d b y t hi s a ut o m ati c err or r e c o v er y m e c h a ni s m. 3. T h e n e w L e v el -0 A ut o m at o r W h il e t h e S oft Err or R e c o v er y c o v er s fr e q u e nt a n d w ell-u n d er st o o d err or s , t h er e r e m ai n s a c at e g or y of err or s t h at ar e n ot or c a n n ot b e r e c o v er e d b y S oft Err or R e c o v er y b e c a u s e t h e y ar e r ar e, n ot w ell u n d er st o o d or t h e y c a n n ot b e di a g n o s e d l o c all y. S u c h err or s c urr e ntl y h a v e t o b e d e alt wit h b y t h e s hift cr e w a c c or di n g t o i n str u cti o n s t h at d e s cri b e h o w t o di a g n o s e t h e err or a n d t h at pr e s cri b e a r e c o v er y pr o c e d ur e . Ty pi c all y t hi s pr o c e d ur e c o n si st s of 1) st o p p i n g t h e r u n, 2) r e-c o nfi g uri n g or r e -i niti ali zi n g a s u b -s y st e m, 3) st arti n g a n e w r u n. A l o n g-t er m g o al i s t o al s o a ut o m at e r e c o v er y fr o m t hi s s e c o n d c at e g or y of err or s. A n a ut o m at e d r e c o v er y c a n b e f a ct or e d i nt o t w o l ar g el y i n d e p e n d e nt st e p s: di a g n o si n g t h e err or sit u ati o n a n d e x e c uti n g t h e r e c o v er y pr o c e d ur e. T h e di a g n o si s c a n b e p erf or m e d b y a n e x p ert s y st e m b a s e d o n t h e o b s er v a bl e s of t h e o n -li n e d at a-fl o w m o nit ori n g. D uri n g R u n -1, w e s u c c e s sf ull y u s e d t h e P erl -b a s e d D A Q D o ct or [ 1 0 ] t h at g a v e a d vi c e t o t h e s hift cr e w. F or R u n-2 ( 2 0 1 5-2 0 1 8) w e h a v e b e e n de v el o pi n g a n e w t o ol writt e n i n J a v a, c all e d D A Q E x p ert. At t h e ti m e of writi n g t h e n e w t o ol s u c c e s sf ull y r e c o g ni z e s m o st err or sit u ati o n s a n d pr e s cri b e s t h e a p pr o pri at e r e co v er y a cti o n.

T h e pr e s e nt p a p er w e f o c u s o n t h e s e c o n d st e p of t h e r e c o v er y – t h e e xe c uti o n of t h e r e c o v er y pr o c e d ur e. T hi s s e c o n d st e p c o n si st s of e x e c uti n g a s e q u e n c e of c o m m a n d s t o t h e gl o b al st at e m a c hi n e or t o i n di vi d u al s u b -s y st e m s. I n a d diti o n t o si m pl y f oll o wi n g t h e pr e s cri b e d st e p s, t h e r e c o v er y s h o ul d al s o r e -c o nfi g ur e / r e -i niti ali z e s u b -s y st e m s if i n di c at e d b y t h e g ui d a n c e s y st e m i n or d er t o e n s ur e c o n si st e nt c o nfi g ur ati o n. M or e o v er, if s u b -s y st e m s f ail d uri n g a n y st e p of t h e r e c o v er y a cti o n, a n u m b er of att e m pt s s h o ul d b e m a d e t o r e c o v er t h e m a ut o m ati c all y – if p o s si bl e i n t h e s h a d o w of ot h er n e c e s s ar y st e p s. J u st li k e a v er y e x p eri e n c e d o p er at or, t h e s oft w ar e or c h e str ati n g t h e r e c o v er y s h o ul d h a v e k n o wl e d g e of t h e i nt er d e p e n d e n c y of tr a n siti o n a cti o n s of all s u b -s y st e m s i n or d er t o b e a bl e t o e x e c ut e a cti o n s i n t h e o pti m al or d er a n d t o p ar all eli z e a cti o n s w h er e v er p o s si bl e. Si n c e t h e e x e c uti o n of t h e r e c o v er y pr o c e d ur e r e q uir e s f a st f e e d b a c k o n t h e st at e of s u b -s y st e m s, w e d e ci d e d t o i m pl e m e nt it wit hi n t h e r u n c o ntr ol s y st e m r at h er t h a n i n t h e e xt er n al e x p ert t o ol t h at r e c ei v es m o nit ori n g d at a wit h a c ert ai n l at e n c y .

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

5

Fi g u r e 2. L e v el -0 A ut o m at or F u n cti o n M a n a g er i n t h e F M hi er ar c h y .

A s t h e r e c o v er y pr o c e d ur e a ct s o n t h e s y st e m i n t h e w a y a n e x p eri e n c e d o p er at or w o ul d, w e c h o s e

t o i m pl e m e nt it i n a n e w F u n cti o n M a n a g er c all ed t h e L e v el -0 A ut o m at o r F M t h at i s l o c at e d o n t o p of t h e hi er ar c h y – b et w e e n t h e o p er at or a n d t h e L e v el -0 F M – a s s h o w n i n fi g ur e 2 . T hi s al s o h a s t h e a d v a nt a g e t o k e e p t h e c o m pl e xit y i n a s e p ar at e e ntit y, w hi c h i s o pti o n al a n d c a n b e d e pl o y e d wit h mi ni m u m ri s k t o t h e pr o d u cti o n s y st e m. T h e n e w f u n cti o n m a n a g er f ulfil s all t h e r e q uir e m e nt s di s c u s s e d a b o v e. It s u s er -i nt erf a c e – s h o w n i n fi g ur e 3 – all o w s t h e d efi niti o n of a r e c o v er y pr o c e d ur e b y s el e cti n g w hi c h s u b -s y st e m s n e e d r e -c o nfi g ur ati o n or r e -i niti ali z ati o n. Cli c ki n g t h e ‘ R e c o v er’ b utt o n t h e n tr i g g er s t h e r e c o v er y pr o c e d ur e. Alt er n ati v el y, t h e r e c o v er y c a n al s o b e tri g g er e d b y s e n di n g t h e r e c o v er y i n str u cti o n s t o a S O A P i nt erf a c e. T hi s i nt erf a c e will i n f ut ur e b e u s e d b y t h e D A Q E x p ert t o ol. Si n c e t h e L e v el -0 A ut o m at or k n o w s h o w t o g et t h e s y st e m t o r u n ni n g st at e fr o m a n y st at e of t h e s u b -s y st e m s it c a n al s o b e u s e d b y t h e o p er at or s t o st art a r u n i n t h e m o st str e a mli n e d m a n n er. T o t hi s e n d a ‘ St art’ b utt o n i s a v ail a bl e t h at will n ot st o p a n y o n -g oi n g r u n, b ut ot h er wi s e tri g g er s t h e s a m e a cti o n s a s t h e ‘ R e c o v er’ b utt o n. Si n c e t h e L e v el-0 A ut o m at or p erf or m s a cti o n s t h at s o f ar h a v e b e e n d o n e b y t h e o p er at or, it i s i m p ort a nt t o r e c or d t h e hi st or y of t h e s e a cti o n s a n d m a k e it a c c e s si bl e t o t h e o p er at or. W e t h er ef or e d e v el o p e d a ti m eli n e vi e w er , w hi c h s h o w s t h e e v ol uti o n o v er ti m e of t h e gl o b al a n d all s u b-s y st e m st at e s a n d al s o s h o w s all a cti o n s w h et h er tri g g er e d b y t h e L e v el -0 A ut o m at or or tri g g er e d m a n u all y b y t h e o p er at or. T h e ti m eli n e of a r e c o v er y i s s h o w n i n fi g ur e 4 w hil e t h e ti m eli n e of t h e st art of a r u n i s s h o w n i n fi g ur e 5.

Fi g u r e 3. G UI of t h e L e v el -0 A ut o m at or F M. T h e o p er at or s el e ct s a r e c o v er y a cti o n i n t h e t a bl e at t h e ri g ht-h a n d si d e a n d cli c k s ‘ R e c o v er R u n’ t o e x e c ut e it. A r u n c a n b e st art e d fr o m a n y st at e of t h e s u b -s y st e m s u si n g t h e ‘ St art R u n ’ b utt o n.

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

6

Fi g u r e 4. Ti m eli n e of a r e c o v er y. T h e st at e of t h e gl o b al st at e m a c hi n e a n d of t h e s u b -s y st e m s ar e s h o w n b y t h e b ar s . S y m b ol s a b o v e t h e b ar s si g nif y a cti o n s tri g g er e d b y t h e o p erat or ( w hit e b a c k gr o u n d) or b y t h e L e v el -0 A ut o m at or F M ( gr e y b a c k gr o u n d). T h e r e d r e c y cl e s y m b ol i n di c at e s a r e-i niti ali z ati o n w hil e t h e gr e e n r e c y cl e s y m b ol i n di c at e s a r e-c o nfi g ur ati o n. I n t hi s e xa m pl e, st arti n g j u st b ef or e 2 3: 4 3 s u b d et e ct or 4 tri g g er s Soft Err or R e c o v er y t hr e e ti m e s. H o w e v er t hi s d o e s n ot s e e m t o r e c o v er t h e pr o bl e m. Ar o u n d 2 3: 4 4, th e o p er at or tri e s t o r e c o v er b y t wi c e i s s ui n g a ‘ Har d R e s et ’ c o m m a n d, w hi c h al s o d o e s n ot s e e m t o fi x t h e pr o bl e m . T h e o p er at or t h e n u s e s t h e ‘ R e c o v er R u n’ f un cti o n of t h e L e v el -0 A ut o m at or F M , s p e cif yi n g a n e mpt y s c h e d ul e (i. e. n o s u b -s y st e m a c ti o n b et w e e n st o p pi n g a n d st art i n g th e r u n) . Ar o u n d 2 3: 4 5, s u b d et e ct or 4 f ail s d uri n g t h e St o p pi n g tr a n siti o n. It i s a ut o m ati c all y r e c o v er e d b y t h e L e v el-0 A ut o m at or F M – p artl y i n t h e s h a d o w of st o p pi n g ot h er s u b -s y st e m s .

Si n c e t h e o p er at or n e e d s t o b e i nf or m e d a b o ut s u b -s y st e m st at e s a n d c o nfi g ur ati o n a n d al s o i n s o m e sit u ati o n s still n e e d s t o p erf or m m a n u al a cti o n s o n i n di vi d u al s u b -s y st e m s, t h e u s er i nt erf a c e s of t h e L e v el -0 A ut o m at or a n d t h e L e v el -0 F M h a v e b e e n i nt e gr at e d . T h e u s er i nt erf a c e of t h e L e v el-0 A ut o m at or i s s h o w n a s a b ar o n t o p of t h e w e b p a g e w hil e t h e L e v el -0 c o ntr ol p a g e i s a v ail a bl e b el o w. W h e n e v er t h e L e v el -0 A ut o m at or e x e c ut e s a r e c o v er y or st art pr o c e d ur e, t h e u s er i nt erf a c e of t h e L e v el -0 F M i s l o c k e d s o t h at t h e o p er at or c a n n ot i nt erf er e b y p erf or mi n g m a n u al o p er ati o n s . D uri n g ot h er p eri o d s, t h e o p er at or m a y u s e t h e c o ntr ol s of t h e L e v el -0 F M, dir e ctl y.

3. 1. C o nfi g u r ati o n of t h e L e v el -0 A ut o m at o r F M T h e L e v el -0 A ut o m at or F M ’ s c o nfi g ur ati o n i s st or e d i n t h e r e s o ur c e s er vi c e d at a b a s e [ 7] a s f or ot h er f u n cti o n m a n a g ers . C o nfi g ur ati o n o pti o n s i n cl u d e t h e n u m b er of att e m pt s t o r e c o v er a s u b-s y st e m a n d v ari o u s ti m e o ut s.

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

7

Fi g u r e 5. Ti m eli n e of st arti n g a r u n u si n g t h e ‘ St art’ f u n cti o n of t h e L e v el -0 A ut o m at or F M. Si n c e t h e r e c o nfi g ur ati o n of t h e T C D S s y st e m i n t hi s p arti c ul ar c a s e i m pli e s a c h a n g e of cl o c k, s e v er al s u b -s y st e m s r e q uir e r e -i niti ali z ati o n i n a d diti o n t o r e-c o nfi g ur ati o n. T h e li g ht b ul b s y m b ol s i n di c at e t h e st at e of i n di c at or s fr o m t h e g ui d a n c e s y st e m (r e d =i n di c at or a p p e ari n g, gr e y =i n di c at or di s a p p e ari n g) .

3. 2. E x p e ri e n c e T h e n e w L e v el -0 A ut o m at or F M w a s d e pl o y e d i n e arl y 2 0 1 6. M o st D A Q o p er at or s i m m e di at el y e m br a c e d t h e n e w t o ol a n d ar e n o w r o uti n el y u si n g it t o st art r u n s a n d p erf or m r e c o v eri e s. B e si d e s k n o wi n g t h e o pti m al s e q u e n c e of a cti o n s, t h e A ut o m at or al s o fr e e s t h e o p er at or s fr o m w at c hi n g t h e s cr e e n t o d et e ct c o m pl eti o n of st e p s i n a s e q u e n c e o nl y t o tri g g er t h e n e xt st e p. O p er at or s ar e t h u s fr e e t o f o c u s o n ot h er t a s k s s u c h a s c o m m u ni c ati o n wit h t h e s hift cr e w or d o c u m e nti n g t h eir a cti o n s. T h e L e v el -0 A ut o m at or F M h a s h el p e d t o c o n si d er a bl y r e d u c e t h e d o w n ti m e s c a u s e d b y err or r e c o v er y.

1 2 3 4 5 6 7 8 9 0

C H E P I O P P u blis hi n g

I O P C o nf. S eri es: J o ur n al of P h ysi cs: C o nf. S eri es 8 9 8 ( 2 0 1 7) 0 3 2 0 2 8 d oi : 1 0. 1 0 8 8/ 1 7 4 2- 6 5 9 6/ 8 9 8/ 3/ 0 3 2 0 2 8

8

4. C o n cl u si o n a n d O utl o o k W e h a v e r e vi e w e d t h e o p er at or a s si s t a n c e f e at ur e s t h at h a v e b e e n a d d e d t o t h e C M S r u n-c o ntr ol s y st e m si n c e t h e st art of o p er ati o n of t h e e x p eri m e nt. I n p arti c ul ar w e h a v e f or t h e fir st ti m e pr e s e nt e d a r e c e nt d e v el o p m e nt, t h e L e v el- 0 A ut o m at or, w hi c h c a n e x e c ut e c o m pl e x r e c o v er y a cti o n s i n a n a ut o m at e d f a s hi o n i n t h e m o st str e a mli n e d w a y. B y f oll o wi n g t h e g ui d a n c e s y st e m it e n s ur e s c o n si st e nt c o nfi g ur ati o n of t h e e x p eri m e nt. It i s al s o a bl e t o r e c o v er a d diti o n al pr o bl e m s o c c urri n g d uri n g t h e r e c o v er y of a n i niti al pr o bl e m. T h e t o ol h a s s p e d u p r e c o v er y fr o m t y pi c al err or sit u ati o n s a n d h a s c o n si d er a bl y si m plifi e d t h e o p er at or s ’ t a s k. I n t h e n e ar f ut ur e w e ar e pl a n ni n g t o i nt e gr at e t h e L e v el -0 A ut o m at or wit h t h e n e w D A Q E x p ert t o ol i n or d er t o a ut o m ati c all y tri g g er r e c o v er y w h e n c ert ai n err or sit u ati o n s ar e d et e ct e d. R ef e r e n c e s [ 1] G ul mi ni M et al . 2 0 0 3 T h e r u n c o ntr ol a n d m o nit or s y st e m f or t h e C M S e x p eri m e nt, pr e s e nt e d

at I nt. C o nf. C o m p uti n g Hi g h E n e r g y a n d N u cl e a r P h y si c s , L a J oll a, C A, M ar c h 2 4-2 8, 2 0 0 3 [ 2] O h A et al. 2 0 0 8 T h e r u n c o ntr ol s y st e m of t h e C M S e x p eri m e nt , J. P h y s.: C o nf. S e r. 1 1 9

0 2 2 0 1 0 [ 3] P etr u c ci A et al. 2 0 0 7 T h e r u n c o ntr ol a n d m o nit ori n g s y st e m of t h e C M S e x p eri m e nt, P o S

A C A T ( 2 0 0 7) 0 2 6 [ 4] S a k uli n H et al . 2 0 1 2 Fir st o p er ati o n al e x p eri e n c e wit h a hi g h -e n er g y p h y si c s r u n c o ntr ol

s y st e m b a s e d o n w e b t e c h n ol o gi e s, I E E E T r a n s. N u cl. S ci. 5 9 4 1 5 9 7 -1 6 0 4 [ 5] T h e C M S C oll a b or ati o n 1 9 9 4 C M S T e c h ni c al P r o p o s al , C E R N L H C C 9 4-3 8 [ 6] T h e C M S C oll a b or ati o n 2 0 0 8 T h e C M S e x p eri m e nt at C E R N L H C, JI N S T 3 S 0 8 0 0 4 p. 3 6 1 [ 7] S a k uli n H et al. 2 0 1 0, D y n a mi c c o nfi g ur ati o n of t h e C M S d at a a c q ui siti o n s y st e m, J. P h y s.:

C o nf. S e r. 2 1 9 0 2 2 0 0 3 [ 8] G utl e b er J et al. 2 0 1 0 T h e C M S d a t a a c q ui siti o n s y st e m s oft w ar e, J. P h y s.: C o nf. S e r. 2 1 9

0 2 2 0 1 1 [ 9] G o m e z -R ei n o R et al. 2 0 1 2 St at u s of t h e C M S D et e ct or C o ntr ol S y st e m , J. P h y s.: C o nf. S e r.

3 9 6 0 1 2 0 2 3 [ 1 0] S a k uli n H et al. 2 0 1 4 A ut o m ati n g t h e C M S D A Q, J. P h y s.: C o nf. S e r. 5 1 3 0 1 2 0 3 1