Upload
santuzza-maggi
View
213
Download
1
Tags:
Embed Size (px)
Citation preview
[email protected] JRC-ENEA 6 Marzo 2009
ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT
[email protected] JRC-ENEA 6 Marzo 2009
ContenutoL’Infrastruttura ENEA-GRID
Il progetto CRESCO: i risultati scientifici ed i “Laboratori Virtuali”
Una infrastruttura Nazionale ICT a supporto dello sviluppo del sistema “Paese”
Silvio Migliori Responsabile ScientificoAndrea Quintiliani Responsabile Amministrativo
ENEA-Dipartimento Tecnologie Fisiche e Nuovi Materiali (FIM)
Il Progetto CRESCO ed ENEA-GRID
[email protected] JRC-ENEA 6 Marzo 2009
TELEMICROSCOPY & GRID - BASED COMPUTINGTELEMICROSCOPY & GRID - BASED COMPUTINGREMOTE ACCESS FOR DATA ACQUISITION AND ANALYSISREMOTE ACCESS FOR DATA ACQUISITION AND ANALYSIS
QuickTime™ and a YUV420 codec decompressor are needed to see this picture.
Cell Centered Data Base Cell Centered Data Base ““CCDB”CCDB”
IMAGING-INSTRUMENTSIMAGING-INSTRUMENTS COMP.-RESOURCESCOMP.-RESOURCES MULTI-SCALE-DATA-BASESMULTI-SCALE-DATA-BASES
NETWORKNETWORK
ADV.-COMP.-GRAPHICSADV.-COMP.-GRAPHICSDATA ANALYSISDATA ANALYSISDATA ACQUISITIONDATA ACQUISITION
By-Mark EllismanBy-Mark Ellisman
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID
Sensor nets
ENEA-GRID
Nasce nel 1998 con 6 cluster geografici “ Quadrics Ape100” Principali finalità
– Fornire ai ricercatori ENEA un ambiente unificato per l’utilizzo delle risorse informatiche eterogenee distribuite nei diversi centri di calcolo o Dipartimenti;
– Realizzare un’infrastruttura che avesse la possibilità di distribuire i livelli di gestione e sviluppo conservandone l’unicità architetturale e di utilizzo;
– Integrarsi con le principali infrastrutture ICT nazionali ed internazionali
www.afs.enea.it/project/eneagrid
Data archivesColleagues & 3D
Softwarecatalogs
ComputersApplication
Fabric
Connectivity
Resource
Collective
User
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID from the user point of view Main feature:
– Access from any kind of connection– Sharing data in world wide areas (geographical file system AFS) – Access to the data from any kind of digital device client – Running any kind of programs – Access to National and International GRIDS
Sensor nets
Data archives
Computers
Portici (
Roma-1
Bologna EU…Brindisi Roma-2
Trisaia
Software catalogs
ComputersComputersComputers
Computers
Sensor netsEN
EA
-GR
ID
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID from application point of view Potentiality:
– Running all Software Model for any kind of computer architecture – Only one installation for each software for all geographical computers– All authorized users can have access the software from local site – Any application can share the data in the common geographical file system– All sensors can share the data easily using the geographical file systems
Sensor nets
Computers
Portici (
Roma-1
Bologna EU…Brindisi Roma-2
Trisaia
Software catalogs
Computers
Computers
Sensor netsEN
EA
-GR
ID
Software Model 1
Software Model 2
Software Model 3
Software Model ..
Rules
Computers
[email protected] JRC-ENEA 6 Marzo 2009
AFS Geographical cross platform & File System
AIX SGI SUN HP Win
Linux
Linux Alpha
…
LSF
User programs and commercial codes
LSF multi-cluster as integrator
XTERM
Graphical User Interface
Application Portal (ICA-Protocol)
ICAWEB
Qu
ality
of
serv
ice
Mon
itori
ng
, A
uto
mati
c r
ecovery
Accau
nti
ng
ENEA GRID
[email protected] JRC-ENEA 6 Marzo 2009
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integratorTelnet
User programs & commercial code
ICAWEB
Cluster 5° ( Portici)
& File System
Load Leveler LSF
Graphic User Interface
Telnet
ICAWEB
Cluster 6° ( Brindisi)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 2° (Casaccia)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 4° (Trisaia )
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 3° (Frascati)
AFS Geographical cross platform& File System
Load Leveler LSF
Graphic User Interface LSF multi-cluster as integrator
Telnet
User programs & commercial code
ICAWEB
Cluster 1° ( Bologna)
A Simple view of ENEA GRID
8
[email protected] JRC-ENEA 6 Marzo 2009
I centri computazionali di ENEA-GRID L'ENEA, Ente per le Nuove
tecnologie, l’Energia e l’Ambiente
Le principali presenze nel territorio nazionale sono rappresentate da 12 centri di ricerca di cui 6 sono corredati di infrastrutture per il calcolo scientifico e grafica 3D:
Bologna Casaccia(Roma Nord)Frascati Trisaia (MT) Portici (NA) Brindisi
L’intera infrastruttura è progettata, sviluppata e gestita dal Dipartimento Fisica dei Materiali (FIM)
Centrodi Brindisi
[email protected] JRC-ENEA 6 Marzo 2009
L’ENEA gestisce in proprio le reti locali (LAN) su tutti I centri mentre la connettività fra i centri (WAN) è garantita dal “Consortium GARR” di cui l’ENEA è socio
Connessioni delle LAN ENEA alla rete GARR
ENEA & GARR
9 PoP, da 18 a 1000 Mbps
Centri ENEA-GRIDBrindisi (150 Mbps)Bologna (30 Mbps)Casaccia (100 Mbps)Frascati (135 Mbps)Portici (2000 Mbps) New Fibra Spenta CRESCO-SCOPETrisaia (18 Mbps)
[email protected] JRC-ENEA 6 Marzo 2009
CASACCIACASACCIA
FRASCATIFRASCATI
S.TeresaS.Teresa
SaluggiaSaluggia
IspraIspra
BOLOGNABOLOGNA
PORTICIPORTICI
TRISAIATRISAIA
BRINDISIBRINDISI
ManfredoniaManfredonia
Centri computazionali ENEA-GRID
902750
400
140
30
#CPU/Core
45
[email protected] JRC-ENEA 6 Marzo 2009
RISORSE COMPUTAZIONALI ENEA-GRID
I centri di calcolo e suppercalcolo di Portici (NA) , Brindisi e Trisaia (MT) sono stati potenziati con i progetti PON TELEGRID (Avv. MIUR 68)CRESCO (Avv. MUR 1575)
Frascati(4), Portici(34),Trisaia(4), Brindisi(4)
10046Windows 32/64
Frascati(1), Trisaia(13)6014Mac OS X
Trisaia(4), Casaccia(2), Bologna(2)108Solaris
Frascati(8), Casaccia(4), Portici(1),Trisaia(8), Brindisi(1), Bologna(5)
4026IRIX
Casaccia30064Linux IA64 (Altix)
Frascati(140), Casaccia(54), Portici(2700),Trisaia(20), Brindisi(84)
25000>3000Linux x86 32/64
Frascati(258), Bologna(24), Portici(18),Brindisi(2)
3000>300AIX
Gflops#CPU/Core OS
[email protected] JRC-ENEA 6 Marzo 2009
Jack Dongarra 2002
CRESCO in the Top500 List June 2008
Italy (06/2008)
90 CINECA
125 ENEA
131 ENI
135 CILEA
156 CINECA
226 Telecom
[email protected] JRC-ENEA 6 Marzo 2009
AccessoClient
AccessoWEB
sp5-1.frascati.enea.it
pace.bologna.enea.it
dafne.casaccia.enea.it
2 0 0 9
GEANT
infocal.trisia.enea.it
Gatewayto
EGEE & GRISU
Portici
Brindisi
Ostro.portici.enea.it
ercules.brindisi.enea.it
AccessoDiretto www.afs.enea.it/project/eneagrid
www.cresco.enea.it
[email protected] JRC-ENEA 6 Marzo 2009
GARR
PI2S2
GARR Altri Enti e realtà
La ENEA-GRID interopera con altre GRID
ENEA ha sviluppato la soluzione “shared proxy”
•Conserva l’autonomia architetturale interna
•Consente implementazioni multipiattaforma
•In produzione in EGEE
•In produzione per la rete GRISU•Richiesto da EFDA per l’accesso ad EGEE
EFDAEGEE
[email protected] JRC-ENEA 6 Marzo 2009
CASACCIACASACCIA
FRASCATIFRASCATI
S.TeresaS.Teresa
SaluggiaSaluggia
IspraIspra
BOLOGNABOLOGNA
PORTICIPORTICI BRINDISIBRINDISI
ManfredoniaManfredonia
ENEA-GRID & GRISU & IGI
ENEA-GRID
SPACI
TRISAIATRISAIA
GRISU
INFN-GRID
IGIItalian GRID Infrastructure
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID: Interoperabilità
L'interoperabiltà con gLite: realizzata col metodo SPAGO (Shared Proxy Approach for Grid Objects): una o piu' macchine proxy gLite che condividono lo spazio disco con i worker node ENEA-GRID
GARRPI2S2
GARR
G. Bracco, IES08, Napoli, May 27-29 2008
ENEA-GRID
[email protected] JRC-ENEA 6 Marzo 2009
Il progetto CRESCO(PON 1575)
[email protected] JRC-ENEA 6 Marzo 2009
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi
Linee di attività progettuali LA1 Realizzazione del Polo di calcolo e sviluppo di
nuove funzionalità di GRID Computing
LA2 Sviluppo di tecnologie e modelli computazionali per la descrizione di sistemi complessi di origine biologica e di materiali innovativi
LA3 Sviluppo di modelli di simulazione ed analisi delle Reti Tecnologiche complesse e delle loro interdipendenze (energetiche, telecomunicazioni, trasporti,…)
[email protected] JRC-ENEA 6 Marzo 2009
Il Progetto CRESCOCentro computazionale di RicErca sui Sistemi COmplessi
Potenziamento delle funzioni tradizionali dell’ENEA la ricerca – sarà fornito supporto (di tipo sia capacity che
capability), attraverso l’utilizzo dell’infrastruttura di calcolo, ad attività di ricerca già in corso di svolgimento nell’Ente nell’ambito delle linee programmatiche esistenti; tali attività potranno anche avere una focalizzazione di natura industriale;
la formazione – potranno essere potenziate le attività di formazione, in collaborazione con alcune sedi universitarie, al fine di supportare la diffusione delle metodologie sviluppate all’interno del Polo Multidisciplinare negli ambiti tematici oggetto di studio e ricerca, con positive ricadute anche nella creazione di percorsi formativi adatti al successivo reclutamento di personale;
il trasferimento tecnologico – verranno istituiti percorsi ed attivati idonei strumenti per favorire l’applicazione industriale delle tecnologie sviluppate, anche ricorrendo alla collaborazione di idonei partner (“industrial-exploitation partner”).
[email protected] JRC-ENEA 6 Marzo 2009
Macrostruttura del progetto
Silvio MIGLIORIResp. Scientifico
Comitato Scientifico
Sandro TAGLIENTIDirettore INFO
Andrea QUINTILIANIResp. Amministrativo
Silvio MIGLIORICoord. LA1
Vittorio ROSATO Coord. LA2
Sandro BOLOGNACoord. LA3
Comunicazione e Mktg(TBD)
Prof. Jack DongarraProf. Domenico FerrariProf. Agostino MathisDirettore dipartimento FIM
[email protected] JRC-ENEA 6 Marzo 2009
Partner di progetto Università di Salerno Università di Catania Università di Lecce Università di Palermo Università Campus Biomedico Università del Piemonte Orientale Università di Roma “Tor Vergata” Università di Roma “La Sapienza” Consorzio Interuniversitario ECONA Consorzio Interuniversitario CASPUR Consorzio CRIAI Consorzio CETMA Centro di ricerca CERI Parco Scientifico e Tecnologico della Sicilia Soc. Ylichron (spin-off ENEA)
[email protected] JRC-ENEA 6 Marzo 2009
Struttura a blocchi del sistema HPC CRESCO
Portici LAN
Interconnessione InfiniBand4XDDR SERVER GPFS
4 Nodi IBM 3650
IBFC
Sistema Dischi ad alta velocità
2 GByte/s160 TByte
IBM/DDN 9550
Sistema backup300 TByte
IBM Tape Library TS3500 con 4 drive
SERVER BACKUP3 Nodi IBM 3650
FCIB
GARR(WAN)
Sezione 1(Grande Memoria)
42 Nodi SMP IBM x3850-M2 con 4 Xeon Quad-Core Tigerton E7330 (32/64 GByte RAM 2.4GHz/ 1066MHz/6MB L2) per un totale di 672 core Intel Tigerton
Sezione 3(Speciale)
4 Nodi blades IBM QS21 con 2 Cell BE Processors 3.2 Ghz each.6 Nodi IBM x3755, 8 Core AMD 8222 con una scheda FPGA VIRTEX54 Nodi IBM x 3755, 8 core AMD 8222 con schede NVIDIA Quadro FX 4500 X2 4 Nodi windows 8 core 16 Byte RAM
Doppia Intercconnessione a 1 Gbit1 Rete a 1 Gbit di gestione
Sezione 2(Alto Parallelismo)
256 Nodi blades IBM HS21 con 2 Xeon Quad-Core Clovertown E5345 (2.33GHz/1333MHz/8MB L2), 16 GB RAM per un totale di 2048 core Intel Clovertown
4x10 Gbits 2000 Mbits
35 Nodi di Servizio
Server di :•Front-end•insallazione•AFS•…
SCOPE
Fibra Spenta
[email protected] JRC-ENEA 6 Marzo 2009
Rete INFINBAND CRESCO
SFS-7000D (D) SFS-7000D (e) SFS 7000D
SFS 7000D
SFS 7000D
SFS-7024-288P
4 X FRONT END GRAFICI
2X GPFS NODE
2X GPFS NODE
SFS 7012-144-P
4X FRONT END
FCFC
(2)
(4)
(4)
(4)
(4)
42 X 3850M210 X 3755 4X HS214 QS21
SECTION 1SECTION 3SECTION 4
252 X HS21SECTION 2
SM (ACTIVE) SM (standby
(4)
(4)
4 X FRONT END GRAFICI
4X FRONT END
2X GPFS NODE
(4)
(4)
(4)
(2)(2)
(2)(2)
(2) (2)
(4)
BACK-UP
STORAGE IBM DCS 9550
(4)
G. Bracco, IES08, Napoli, May 27-29 2008
InfiniBand 4x DDR 20 Gb/s
[email protected] JRC-ENEA 6 Marzo 2009
Sala Calcolo CRESCO
[email protected] JRC-ENEA 6 Marzo 2009
Particolari HPC CRESCO
Sezione 1 & 3 Sezione 2 & DDN
Sala controllo Sistema backupRETI: IB/GB
Corridoio CaldoSezioni 1 &2
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID & CRESCO
Il supercalcolatore CRESCO è integrato in ENEA-GRID
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID & CRESCOMonitoring
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID & CRESCOSupport / Seminars
[email protected] JRC-ENEA 6 Marzo 2009
Le potenzialità computazionali ENEA-GRID & CRESCO
Un sistema eterogeneo con più di 3000 CPU/core
Codici Risorsa
seriali Sezione 1 & ENEA-GRID
paralleli fortemente accoppiati Sezione 2
paralleli debolmente accoppiati Sezione 1, 2, ENEA-GRID
costituiti da più codici paralleli Sezione 1, 2, Sezione 1+2
speciali ( FPGA, GB, CELL) Sezione 3
windows (seriali e paralleli) Sezione 3
non disponibili per LINUX ENEA-GRID
con Data Base di grandi dimensioni
Sezione 1,2,3 e GPFS
[email protected] JRC-ENEA 6 Marzo 2009
ENEA-GRID & i Laboratori Virtuali
Li
ENEA
Università e altri Enti di ricerca
Imprese
Schema concettuale dei Laboratori Virtuali supportati dall’infrastruttura ENEA-GRID potenziata dal sistema HPC del progetto CRESCO
[email protected] JRC-ENEA 6 Marzo 2009
Opzioni di sottomissioneOpzioni di sottomissione
Opzioni Fluent:Opzioni Fluent:
Esempio di utilizzo industrialeEsempio di utilizzo industriale di FLUENT sulla GRID-ENEA di FLUENT sulla GRID-ENEA
Utente presso la sede industriale Si
cure
zza
ind
ustr
iale
Sicu
rezz
a E
NE
A
[email protected] JRC-ENEA 6 Marzo 2009
Aviogroup: test di un’applicazione industrialeAviogroup: test di un’applicazione industriale
Test per la simulazione distacco I- II stadio VEGA(Tipo di calcolo HPC)
Fase 1 Fase 2 Fase 3
Attività CFD sul GRID ENEA (1)
[email protected] JRC-ENEA 6 Marzo 2009
Attività CFD sul GRID ENEA (2)
Un set di 3 analisi CFD è stato dedicato al calcolo del carico radiativo sulla base del 1° stadio del Vega in diverse condizioni di volo.
E’ stato adottato un approccio bi-fase (fase gassosa + particelle solide di allumina) con il modello radiativo.
Celle di calcoloAVIO hardware
(4CPU)ENEA Grid
(8CPU)
400,000 15 7 53%
Tempo macchina per 1 CFD [gg] Guadagno tempo
[%]
[email protected] JRC-ENEA 6 Marzo 2009
Attività CFD sul GRID ENEA(3)
E’ stata realizzata un’analisi CFD per valutare l’interazione meccanica tra le particelle di allumina e la parte di sommergenza dell’ugello all’interno del motore del 3° stadio del lanciatore Vega.
Celle di calcoloAVIO hardware
(4CPU)ENEA Grid
(8CPU)
1,500,000 25 10 60%
Tempo macchina per 1 CFD [gg] Guadagno tempo
[%]
[email protected] JRC-ENEA 6 Marzo 2009
Sperimentazione in corso sul GRID-ENEA con PMI e Consorzi
Simulazione flussi di aria nei vagoni ferroviariCETMA
(Tipo di calcolo HPC)
[email protected] JRC-ENEA 6 Marzo 2009
Sperimentazione in corso sul GRID ENEA con PMI e Consorzi
Simulazioni particolari di un CATAMARANO(Tipo di calcolo HPC)
CETMA
[email protected] JRC-ENEA 6 Marzo 2009
CFD case study 2: hydro-dynamics analyses of Fast Ship T-Foil systemCFD case study 2: hydro-dynamics analyses of Fast Ship T-Foil system
Detail of T-foil meshDetail of T-foil mesh
Results: pressure contour (Pa): flap 0° , cruising speed 31.5 knotsResults: pressure contour (Pa): flap 0° , cruising speed 31.5 knots
T-Foil
3D Model: trimaran + T-foil3D Model: trimaran + T-foil
Mesh: 15 Millions of cells with dimensions ranging from 1 mm to 550 mm
Need of HPC: ENEA GRID
The analyses were carried out using 16 CPUs on ENEA GRID with a total running time of 70 h.
Centro di Progettazione, Design & Tecnologie dei MaterialiCentro di Progettazione, Design & Tecnologie dei Materiali
[email protected] JRC-ENEA 6 Marzo 2009
Conversion to OpenFlightFormat
The Open Flight format (.flt) is supported by both VegaPrime and OpenSceneGraph; from the analysis of the 3D models proprietary file formats and the format conversion tools, it was possibile to define the following conversion methods:
Laser scanner technologies and 3D models integration: analysis Laser scanner technologies and 3D models integration: analysis and methodological approachand methodological approach
Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini
ENEA - FIM DepartmentENEA - FIM Department
3D models3D models
CRESCO - SP I.2 CRESCO - SP I.2
The objective: the “Virtual Museum”
The scanning laser systems available at ENEA allow to fullfil a wide range of diagnostic and monitoring requirements in the artistic and cultural heritage field and to produce 3D models. A test case was adopted, in order to define a methodology allowing to include 3D models in a Virtual Reality application.The objective was to develop a “Virtual Museum” in which to inser/remove 3D models produced by different laser scanner system and to navigate the 3D graphical scene by means of the VegaPrime environment orthe OpenSceneGraph toolkit available by means of the ENEA-Grid.
Laser Scanner Systems in ENEA
ITR (Imaging Topological Radar) developed by ArtVisLab-ENEA HDS3000 by Leica-Geosystem VIVID 900 by MINOLTA Desktop 3D Scanner by NextEngine
Since each scanning device is provided with proper output file formats and software packages to integrate in a VR application, through format conversion, the 3D modelspreserving all the detected information.
[email protected] JRC-ENEA 6 Marzo 2009
Visualization of 3D laser scanner data from an archaeological site Visualization of 3D laser scanner data from an archaeological site using OpenSceneGraph in ENEA Grid environmentusing OpenSceneGraph in ENEA Grid environment
Dante Abate, M.Cristina Baracca, Roberto Ciavarella, Graziano Furini, Silvio Migliori, Samuele Pierattini
ENEA - FIM DepartmentENEA - FIM Department
CRESCO - SP I.2 CRESCO - SP I.2
Laser scanning Juvanum by HDS3000
•19 Scansioni •16.589.664 punti•Valori di XYZ riflettenza e colore•Acquisizione di coord.GPS
Point cloud elaboration
After the post processing phase (manual elimination and filtering algorithms application), results a data set of 5.665.282 points
VISUALIZATION OF A SET OF MILLIONS OF POINTSVISUALIZATION OF A SET OF MILLIONS OF POINTS
Accordingly with the archaeologists needs, the final database requires a processing application capable to:•display a large amount of data in a relatively short time;•performe mathematical operations on the points coordinates (distances between points, plant views, sections, etc.)
OSG viewer: Currently there are commercial software capable to display a large amount of data in “near realtime”, but we were oriented to an “open source” solution using our ENEA-GRID, the OpenSceneGraph libraries and the powerful viewer.Distances evaluation: Integrating the ANN library in the OSG viewer code, it was possible to impolement a tool for evaluating distances between points in the 3D scene.
[email protected] JRC-ENEA 6 Marzo 2009
Modello concettuale per il sistema produttivo
Canale dedicato industria A
Can
ale
dedi
cato
indu
stria
CCanale dedicato industria B
Richieste delle imprese•Sicurezza dei dati•Qualità del servizio•Strumenti Competitivi•Proprietà Intellettuale•Gestione Licenze
EGEEINFN_GRID
GRISU
INTER
OPE
RA
BILTA
’
(IG
I)
Sistema GRID•Potenziare le Competenze•Sviluppare l’offerta di servizi•Garantire l’Interoperabilità •Infrastrutture H/S & HPC•Connettività adeguata
[email protected] JRC-ENEA 6 Marzo 2009
CRESCO per la FUSIONE EUROPEA
Cresco 25 Tflops di piccoSistema per lo sviluppo e test dei codici per la fusione termonucleare controllata
per ITER (Finaziamento EFDA) 1 Tflops di picco
IB
[email protected] JRC-ENEA 6 Marzo 2009
DB_1
CPUSENEA GRID
WEBICASSH
DNA Sequence system
( ABI Prism 3700)Trisaia
DB_3
DB_2
Electron Microscope (Brindisi)
300 KeV (sept. 2004)
ENEA GRID and experimental facilities
Controlled Nuclear Fusion:
FTUFrascati Tokamak
UpgradeVideo Acquisition
[email protected] JRC-ENEA 6 Marzo 2009
ITALIAN NATIONAL AGENCYFOR NEW TECNOLOGY, ENERGY
AND THE ENVIRONMENT