1

STATO DI AVANZAMENTO DEL PROGETTO SCoPE21.02.2008

Slides in progress – 21-2-2008 L. Merola, G. Russo

2

Coofinanziamenti PON-MiUR (Avviso 1575/2004)

S.Co.P.E.: Progetto di Ateneo coofinaziato dal MiUR su fondi Europei

Programma Operativo Nazionale“Ricerca Scientifica, Sviluppo Tecnologico, Alta

Formazione” per le regioni dell’Obiettivo 1

3

Sistema Cooperativo Distribuito ad alte Prestazioni per Elaborazioni Scientifiche

Multidisciplinari (S.CO.P.E.)

Il Progetto S.Co.P.E.

4

OBIETTIVI

Realizzazione di un’infrastruttura di calcolo ad alte prestazioni basata sul GRID, Aperta e Multidisciplinare

Realizzazione di codici innovativi nei settori strategici della ricerca fondamentale

Il Progetto S.Co.P.E.

5

CAMPUS-GRID

MEDICINE

CSI

ENGINEERING

ENGINEERING

ASTRONOMICALOBSERVATORY

Fiber Optic Already Connected Work in Progress

Il Progetto S.Co.P.E.

6

Il Progetto S.Co.P.E.

RICERCA FONDAMENTALECon l’ausilio della infrastruttura SCoPE si intende svolgere ricerche nei seguenti settori strategici della ricerca fondamentale:

•Scienze del Microcosmo e del Macrocosmo•Scienze dei Materiali e dell’ambiente•Scienze della Vita•Scienze Sociali•Middleware

7

Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (1)

Gruppo di Astrofisica: impiegato nella ricerca per la rivelazione delle onde gravitazionali e nello studio di tecniche avanzate di data-mining e visualizzazione di immagini su massivi data-set Astronomici ( http://virgo.infn.it e http://www.eurovotech.org/).

Gruppo di Bioinformatica: impegnato in applicazioni che richiedono un accesso massivo a grandi database, studio di clustering methods con differenti approcci computazionali per genome sequence analysis e image analyses per lo studio di cell motility ed altri fenomeni dinamici (http://bioinfo.ceinge.unina.it/ e http://www.ceinge.unina.it ).

8

Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (2)

Gruppo di Ingegneria Elettromagnetica: impegnato nella modellizzazione, simulazione e studio di procedure di misura del campo elettromagnetico a livello urbano.

(http://www.diet.unina.it/gruppoCE/GruppoEl.html).

Gruppo di Scienze dei Materiali, impegnato nello studio di dinamiche molecolare e meccanica molecolare, codici tight binding per lo studio di proprietà ottiche di materiali nano strutturati, metodi ab initio e metodi DFT. ( http://lsdm.campusgrid.unina.it/ and http://www1.na.infn.it/cmg/ ).

Gruppo di Matematica Numerica e Calcolo scientifico: design ed analisi di algoritmi per la risoluzione di problemi di matematica di base per applicazioni scientifiche distribuite ed implementazione di tali algoritmi su infrastrutture di HPC

9

Comunità attive nell’e-science, operanti anche nell’ambito del progetto SCoPE (3)

Gruppo di Fisica delle Particelle, impegnato in attività fortemente connesse con il TIER 2 di ATLAS che prevede l’utilizzo di infrastrutture di calcolo per applicazioni large-scale e data-intesive, simulationi Montecarlo ed attività di data anslysis. (http://lxatlas.na.infn.it )

Gruppo di fisca teorica, fortemente attivo in applicazioni di meccanica statistica con uso massivo di tecniche di calcolo parallelo e di strumenti avanzati di HPC ( http://smcs.na.infn.it/ ).

10

Il Progetto SCoPE – Organizzazione WP1 - PROGETTAZIONE, REALIZZAZIONE E TEST

DELL'INFRASTRUTTURA DI CALCOLO E GRID

WP2 - IMPLEMENTAZIONE DEL MIDDLEWARE DI BASE DELLA PIATTAFORMA GRID

WP3 - REALIZZAZIONE E GESTIONE DELLA VO E DELLE RISORSE E SUPPORTO AGLI UTENTI

WP4 - PROGETTAZIONE E SVILUPPO DI MIDDLEWARE APPLICATIVO E SVILUPPO DELLE APPLICAZIONI SCIENTIFICHE

WP5 - INTEGRAZIONE DELLA GRID SCOPE NELL'INFRASTRUTTURA NAZIONALE ED INTERNAZIONALE

WP6 - DIFFUSIONE DEI RISULTATI E TRAINING AGLI UTENTI

11

I Lavori – WP1 Opere Edili (WP1)

12

I Lavori – Impiantistica (WP1)

Nuova cabina elettrica da 1 Mwatt (con UPS e GE)

13

Le Attrezzature: Il prototipo (WP1)

Sala infrastrutturaSala infrastrutturaPrincipale Campus GridPrincipale Campus Grid

Sala Sala Tier-2 ATLASTier-2 ATLAS

Prototipo SCoPE Prototipo SCoPE Servizi Core - GSCServizi Core - GSC

Prototipo SCoPE Prototipo SCoPE Servizi CollectiveServizi Collective

Tier-2 ATLASTier-2 ATLAS

Servizi Core Servizi Core GSCGSC

Campus GridCampus Grid

Servizi Servizi CollectiveCollective

14

Le Attrezzature: Nuovo Hardware (WP1)

• Circa 2000 Core in soluzione Blade

• Connessioni Infiniband tra i nodi

• Oltre 130 TByte disponibile su Storage Element

• Sistema di Storage Remoto Oltre 50 TByte

• Farm Multiprocessore

15

collectivecollective10 srv

worker nodeworker nodeworker node

TIPO A 96

blade

worker nodeworker nodeworker nodeworker node

TIPO B 128

blade

Storage elementStorage element

10 srv

SCSI SATA

Computing element

UI & test nodeUI & test node10 srv

2 srv

Sw

itch

giga

bit

ethe

rnet

Sw

itch

fas

t et

her

net

Sw

itch

In

fin

iban

d

worker nodeworker nodeworker nodeworker node

Servizi collettivie di Infrastruttura Grid

Nodi di CalcoloBiprocessori ed SMP

Grid Storage Element

Sistemi di Storage

Le Attrezzature: Hardware del nuovo CED

16

Le Attrezzature: Nuovo Hardware (WP1)

In corso le prime installazioni delle nuove forniture:

• Cluster Multiprocessore

• Sistema di storage 50TB

La consegna e l’installazione completadi tutte le apparecchiatureentro maggio 2008.

17

Le Attrezzature: La rete LAN e WAN• LAN• Dorsale di rete a 10 Gbit/sec• Rete ridondata (2x Gbit/sec, 4x Gbit/sec)• Rete a bassa latenza (1x infiniband)• Rete separata per monitoraggio e management (1x

100 Mbit/sec)

• WAN• Collegamenti Intranet a 2.4 Gbit/sec, ridondati• Collegamenti Internet a 1 Gbit/sec, ridondati

18

Sala di controllo SCoPE (WP1)

1933 POSTAZIONI

Sala di controllo SCoPE (WP1)

20

Middleware (WP2)

• INFNGRID gLite 3.0

– Il middleware INFNGRID garantisce piena compatibilità con il middleware EGEE (gLite/LCG)

• release e aggiornamenti/bugfix frequenti

– Update 37 - 05/12/2007

• semplicità di integrazione con l'infrastruttura Grid italiana (Grid.it) ed europea (EGEE)

• S.O. Scientific Linux 3 (SL3)

• Prevista migrazione a

• INFNGRID gLite 3.1 (SL4)

21

Servizi Collective (WP2)

• Servizio di autenticazione/autorizzazione• Servizi di allocazione dei job• Servizio informativo• Servizio di gestione proxy• Servizio di catalogazione file• Servizio di monitoring• Repository Middleware

RB - II

WMS-LB

MyProxy

VOMS

LFC

GridICE

YAIM

22

Servizi Collective – VOMS (WP2, WP3)

• VOMS (Autenticazione / Autorizzazione)– Il servizio VOMS (Virtual Organization Membership

Service) estende le informazioni presenti nel certificato proxy di un utente con:

• VO membership• gruppo• ruolo• privilegi

– Gestione degli utenti della VO scope tramite interfaccia web

collectivecollectiveVOMS

https://scopevoms01.dsf.unina.it:8443/voms/scope/

23

Servizi Collective: RB, WMS-LB (WP2, WP3)

• Resource Broker (allocazione dei job)– Il Resource Broker consente di abbinare un job

(seriale o parallelo) ad una risorsa di computing e/o storage; tale abbinamento prende il nome di matchmaking e avviene tramite l'elaborazione di• requirement del job• stato della Grid

– WMS (Workload Management System) LB (Logging & Bookeeping): RB gLite

collectivecollectiveRB, WMS-LB

24

Servizi Collective - GridICE (WP2, WP3)

• GridICE (servizio di monitoring)– Il servizio si occupa del monitoring delle risorse

presenti nell’infrastruttura SCoPE– attività strategica per il calcolo distribuito

• analisi delle prestazioni• controllo delle risorse• statistiche sull'utilizzo delle risorse

– basato sul contenuto del servizio informativo– consultabile tramite interfaccia web

collectivecollectiveGridICE

http://scopegridice01.dsf.unina.it/

25

Servizi Collective – GridICE (WP2, WP3)

collectivecollectiveGridICE

http://scopegridice01.dsf.unina.it/

26

Servizi Core (WP2, WP3)

• Sito UNINA-SCOPE-GSC– Raffreddamento ad acqua dei rack, con unità

LCP e chiller esterno– Impianto antincendio interno ai rack– Monitoraggio e telecontrollo– Sensori su tutto (apertura porte rack,

allagamento, umidità aria, etc)

• Servizi di computing• Servizio di storage• User Interface

UI

SE

WN

CE

27

Il Portale – Obiettivo WP6

Nell’ambito del WP6 il progetto S.Co.P.E. si impegna per la massima diffusione dei risultati ottenuti e promouove

treaning per gli utenti inesperti all’utilizzo del grid computing.

STRUMENTI DI DIFFUSIONE

Portale, Forume di discussione

28

Il Portale

http://www.scope.unina.it

Portale attivo conInformazioni sul progetto e in costanteaggironamento

29

STATO AVANZAMENTO (1)

• Prototipo completo (20 blade, 1 multiCPU, 20 server 1U/2U): operativo dal 30.09.2007

• Attrezzature sito remoto 1 (CSI) operative dal 30.07.2007

• Attrezzature sito remoto 2 (multi CPU) (Dipartimento di Chimica) installate; in esercizio dal 01.03.08

30

STATO AVANZAMENTO (2)

• Attrezzature sito remoto 3 (Centro di Eccellenza in Malattie Genetiche) installate; in esercizio dal 10.03.08

• Attrezzature di rete siti remoti (ingegneria): gara in corso

31

Sito centrale a Monte S. Angelo (1)

• Sito fisico centrale (locale Data Center, impianto elettrico 1 Mwatt): realizzato

• 33 rack, 20 “occupati” e 13 “liberi” per espansioni

• 256 blade (2 CPU quad core), connessi con Infiniband + Gigabit

• 40 server per servizi collective

32

Sito centrale a Monte S. Angelo (2)

• Sito Control Room: realizzato

• Attrezzature Control Room: gara in corso

• Cablaggio passivo Gigabit + Infiniband: inizio il 01.03.2008

• Installazione rack raffreddati nel sito centrale: inizio il 02.04.2008

33

Middleware

• VO SCoPE operativa

• Adottato gLITE

• Servizi “collective” attivati sul prototipo

• Servizi “core” attivati sul prototipo

• Servizi di secondo livello (monitoring, accounting, ticketing)

• Tutti testati per l’interoperabilità

34

Applicativi

• Codice nuovo sviluppato in tutte le aree tematiche – Astrofisica– Bioinformatica– Fisica Alte Energie – Scienze dei Materiali

• Adattamento delle applicazioni esistenti per Grid computing: in completamento

• Presentazione a numerosi convegni worldwide