Upload
others
View
1
Download
0
Embed Size (px)
Citation preview
1. Architecture en couches des grilles de calcul
2. Protocoles et algorithmes dédiés aux grilles de calcul
3. Middlewares (fonctionnalités, protocoles, quelques exemples)
4. globus
1
2
ApplicationsRecherche scientifique, ingénierie, finance, portails, …
Environnements et outils de programmation
Langages, interfaces, librairies, compilateurs …
Intergiciels (Middlewares)Soumission et ordonnancement des tâches, découverte de services, gestion des ressources …
SécuritéAuthentification, autorisation, cryptage …
Infrastructure matérielle (fabrique)PC’s, stations de travail, équipements réseau, logiciels …
3
Modèle en couches.
Couches hautes axées sur l'utilisateur.
Couches basses plus orientées vers les ordinateurs et les réseaux.
4
Couche réseau :
◦ Connectabilité des ressources sur la grille.
◦ Niveau matériel
5
Couche ressources :
◦ Constituée des ressources
de la grille,
◦ Ordinateurs, systèmes demémoire, catalogues dedonnées électroniques,capteurs, télescopes…
6
Couche intergiciel : ◦ Ensemble de fonctions
permettant aux ressources(serveurs, mémoires,réseaux, etc.) de participerà un contexte de grilleunifié.
◦ le cerveau de la grille !◦ Gestion de ressources◦ Ordonnancement
(scheduling)◦ Réservation◦ Services d’information.
7
Couche application :
située au niveau le plus élevéqui comprend:
◦ Types d’applications:scientifiques, techniques,gestion, financières,portails…
◦ C'est la couche desutilisateurs de la grille.
8
9
Access Grid
DISCOM
DOE Science Grid
Condor
ESG (Earth System Grid)
Fusion Collaboratory
Globus
GrADSoft (Grid Application
Development Software)
Grid Canada
GRIDS (Grid Research
Integration Development &
Support Center)
GriPhyN (Grid Physics
Network)
iVDGL (International Virtual
Data Grid Laboratory)
Music Grid
NASA Information Power Grid
NCSA Alliance Access Grid
AstroGrid
AVO (Astrophysical Virtual
Observatory)
Comb-e-chem
CrossGrid
DAME (Distributed Aircraft
Maintenance Environment)
DAMIEN (Distributed Applications and
Middleware for Industrial Networks)
DataTAG
Discovery Net
DutchGrid
EDG (European DataGrid)
EGSO (European Grid of Solar
Observations)
GEODISE (Grid Enabled Optimisation
& Design Search for Engineering)
GRIA (Grid Resources for
Industrial Applications)
Grid-Ireland
GridLab (Grid Application
Toolkit and Testbed)
GridPP
LCG (LHC Computing Grid)
MyGrid
NGIL (National Grid for
Learning Scotland)
NorduGrid (Nordic Testbed for Wide
Area Computing and Data Handling)
PIONIER Grid
Reality Grid
ScotGrid
AMaster 2 rid
ApBioNet
Grid Forum Korea
PRAGMA (Rim Applications and Grid Middleware Assembly)
Grid Datafarm for Petascale Data Intensive Computing
Gridbus Project
OSG
◦ Open Science Grid (Etats-Unis)
Nordugrid
◦ Nordic Testbed for Wide Area Computingand Data Handling (pays nordique européenne)
DEISA
◦ Distributed European Infrastructure for Supercomputing Applications (européenne)
EGEE puis EGEE II
◦ Enabling Grids for e-Science (mondial)
LCG
◦ LHC Computing Grid (mondial)10
EDG European Data Grid Project
2000-2003
Projet de recherche et développement pluridisciplinaire
11
LCG LHC Computing Grid project2002-2008Déploiement des moyens de calcul pour le LHC
EGEE :Enabling Grids for E-science2004-2008 (2 x 2 ans)Projet de déploiement d’une infrastructure de grille européenne pluridisciplinaire
EGEE et LCG utilisent la même INFRASTRUCTURE constituée par des noeuds
répartis à travers le monde (80 aujourd’hui) et d’un logiciel (actuellement LCG-2).
Organisations virtuelles:Les utilisateurs sont regroupés par expérience scientifique, laboratoire,
région ou projet
Expériences : Biomed, Alice, Atlas, Babar, LHCb, ESR, EGEODE,Auger
Laboratoires, régions : vo.dapnia.cea.fr, vo.lal.in2p3.fr, vo.grif.fr
Projets : Ambrace, infngrid, GridPP, auvergrid, ...
https://cic.in2p3.fr/index.php?id=vo
◦ 90+ enregistrées
(https://edms.cern.ch/document/722131/2)
12
Domaines :
◦ Physique des hautes énergies, Biologie
◦ Science de la terre, fusion
◦ Astrophysique, « Computational Chemistry »
◦ Finance, bibliothèques numériques,
◦ nanotechnologie, …
13
Globus Toolkit: Développé par Globus
alliance
Les différentes modules de GT
GSI : pour gérer la sécurité
GRAM: pour gérer l’allocation et la supervision des taches
MDS: répertorier les nœuds
FTP: pour transférer les données d’un site à un autre
14
o NorduGrid et Glite :sont basés sur Globus. Chacun d'eux comprend un choix de modules de Globusassociés à des modules spécifiques adaptés en vue d'une forme d'utilisation particulière de la grille
o Unicore:est le concurrent européen de GlobusToolkit. Il est supporté par un consortium d'industriels et par le gouvernement allemand. Il est entièrement écrit en Java.
15
16
17
ApplicationsRecherche scientifique, ingénierie, finance, portails, …
Environnements et outils de programmation
Langages, interfaces, librairies, compilateurs …
Intergiciels (Middlewares)Soumission et ordonnancement des tâches, découverte de services, gestion des ressources …
SécuritéAuthentification, autorisation, cryptage …
Infrastructure matérielle (fabrique)PC’s, stations de travail, équipements réseau, logiciels …
Globus est un projet qui vise à fournir desenvironnements de développement open sourceavec l’intégration de plusieurs projetsindépendants .◦ Anciens favorits tels que : GridFTP, GRAM
Globus Toolkit est une génération coordonnéed’un sous-ensemble de ces projets qui seconcrétise par des documentations, des testsainsi que des agréments de fonctionnement.
Globus: technologie (projet)
Globus toolkit: Outil (plate-forme)
Il s’agit du standard des middlewares18
19
20
20
Java Services in Apache Axis
Plus GT Libraries and Handlers
Your
Java
Service
Your
Python
Service
Your
Java
Service RF
T
GR
AM
Dele
gatio
n
Index
Trig
ge
r
Arc
hiv
er
pyGlobus
WS Core
Your
C
ServiceC WS
Core
RLS
Pre
-WS
MD
SCA
S
Pre
-WS
GR
AM
Sim
ple
CA
MyP
roxy
OG
SA
-DA
I
GT
CP
Gri
dF
TP
C Services using GT
Libraries and HandlersSERVER
CLIENT
Interoperable
WS-I-compliant
SOAP messaging
Your
Java
Client
Your
C
Client
Your
Python
Client
Your
Java
Client
Your
C
Client
Your
Python
Client
Your
Java
Client
Your
C
Client
Your
Python
Client
Your
Java
Client
Your
C
Client
Your
Python
Client
X.509 credentials =
common authentication
Python hosting,
GT Libraries
Globus propose des outils :
pour la sécurité,
pour gérer les accès aux ressources,
pour permettre leur découverte,
pour assurer le transport et l’accès des données
et toutes autres techniques nécessaires pour implémenter une architecture sécurisée et robuste.
Une telle « boîte à outils » a été adoptée par de nombreux projets de grilles de calcul à travers le monde.
21
22Data MgmtSecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFileTransfer
Data Access& Integration
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
CommunitySchedulingFramework
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Grid Telecontrol Protocol
Globus Toolkit v4www.globus.org
CredentialMgmt
Globus Toolkit: Open Source Grid Infrastructure(1)
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
Globus Toolkit: Open Source Grid Infrastructure(2)
MPICH G2
23
Supporte à la fois le GT (GRAM, RFT, Delegation, etc.) & les services développés par l’utilisateur.
Augmente le passage à l’échelle, la modularité, la performance et l’utilisation.
Réutilise les WS standards existants:◦ WS-I Basic Profile: WSDL, SOAP, etc.◦ WS-Security, WS-Addressing
Ajoute des supports pour l’émergence de WS standards◦ WS-Resource Framework, WS-Notification
Java, Python, & C hosting environments◦ Java is standard Apache 24
Globus Toolkit: Open Source Grid Infrastructure (3)
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
MPICH G2Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
25
Globus Toolkit: Open Source Grid Infrastructure (4)
Contrôle l’accès aux services partagés:◦ Gestion autonome: e.g., different policy in
different work-groups
Supporte les collaborations multi-users◦ Federate through mutually trusted services◦ Local policy authorities rule
Permet aux utilisateurs et applications d’établir des domaines de confiancedynamiques.◦ Personal/VO collection of resources working
together based on trust of user/VO26
Globus Toolkit: Open Source Grid Infrastructure (5)
Authentication basée sur Public-key
Niveau d’Authentication de type Transport-and message
framework d’autorisation extensible basé surles Web services standards◦ SAML-based authorization callout◦ Integrated policy decision engine XACML policy language, per-operation policies,
pluggable
27
Globus Toolkit: Open Source Grid Infrastructure (6)
Basic Grid Security Mechanisms
Certificate Generation Tools
Certificate Management Tools◦ Getting users “registered” to use a Grid◦ Getting Grid credentials to wherever they’re
needed in the system
Authorization/Access Control Tools◦ Storing and providing access to system-wide
authorization information
Credential management service◦ MyProxy (One time password support)
28
Globus Toolkit: Open Source Grid Infrastructure (7)
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
MPICH G2Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
29
Globus Toolkit: Open Source Grid Infrastructure (8)
Utilisé pour la soumission des jobs distants et la gestion de ressources.
Désigné pour résoudre les problèmessuivants en metacomputing:◦ Autonomie des sites (gestionnaires de
ressources)◦ Co-allocation (co-allocateurs)◦ Contrôle Online (RSL and resource brokers:
courtier de ressources)30
Globus Toolkit: Open Source Grid Infrastructure (9)
31
Une interface de services unifore pour le contrôle et les soummissions de jobs à distance◦ Inclue le transfert de fichiers et la
gestion des I/O
◦ Inclue les dépendances
◦ Supporte les mécanismes de sécurité
GRAM n’est pas un ordonnanceur.◦ Pas d’ordonnancement
◦ Pas d’affectation de ressources
◦ Souvent utilisé avant ou aprés les ordonnanceurs.
32
Globus Toolkit: Open Source Grid Infrastructure (10)
2nd-generation WS implementation optimized for performance, flexibility, stability, scalability
Streamlined critical path◦ Use only what you need
Flexible credential management◦ Credential cache & delegation service
GridFTP & RFT used for data operations◦ Data staging & streaming output
◦ Eliminates redundant GASS code 33
Globus Toolkit: Open Source Grid Infrastructure (11)
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
MPICH G2Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
34
Globus Toolkit: Open Source Grid Infrastructure (12)
Stage/move large data to/from nodes◦ GridFTP, Reliable File Transfer (RFT)◦ Alone, and integrated with GRAM
Locate data of interest◦ Replica Location Service (RLS)
Replicate data for performance/reliability◦ Distributed Replication Service (DRS)
Provide access to diverse data sources◦ File systems, parallel file systems, hierarchical
storage: GridFTP◦ Databases: OGSA DAI
35
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
MPICH G2Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
36
Globus Toolkit: Open Source Grid Infrastructure (13)
Système de pilotage souvent utilisé pour la sélection deressources.
◦ Aide les users/agents pour identifier les noeuds surlesquelles ils peuvent exécuter une application
Utilise des Interfaces standards pour l’affichage, ladécouverte et l’accès aux données.
◦ WS-ResourceProperties, WS-BaseNotification, WS-ServiceGroup
37
Information Providers◦ Interface to data sources with standard publish/subscribe
interfaces◦ Info from other tools, scripts, file scraping, etc.
Index Service is both registry and cache◦ Data type and provider info, like a registry (UDDI)◦ Last value of data, like a cache
Trigger Service◦ Subscribe to a set of resource properties◦ Evaluate that data against a set of pre-configured
conditions (triggers)◦ When a condition matches, email is sent
WebMDS◦ Uses standard resource property queries and XSLT
transforms
38
Data Mgmt
SecurityCommonRuntime
Execution Mgmt
Info Services
GridFTPAuthenticationAuthorization
ReliableFile
Transfer
OGSA-DAI
Grid ResourceAllocation &Management
Index
CommunityAuthorization
DataReplication
MPICH G2Delegation
ReplicaLocation
Trigger
Java Runtime
C Runtime
Python Runtime
WebMDS
WorkspaceManagement
Globus Toolkit v4www.globus.org
CredentialMgmt
40
Globus Toolkit: Open Source Grid Infrastructure
41