View
37
Download
0
Category
Tags:
Preview:
DESCRIPTION
GDS : Grid Data Service. Gabriel Antoniu IRISA / INRIA Rennes. Réunion de lancement du projet GDS de l’ACI Masses de Données 22 septembre 2003. Le projet GDS. Projet de l’ACI Masses de Données (2003) REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes) - PowerPoint PPT Presentation
Citation preview
GDS : Grid Data Service
Gabriel AntoniuIRISA / INRIA Rennes
Réunion de lancement du projet GDS de l’ACI Masses de Données22 septembre 2003
2
Le projet GDS
Projet de l’ACI Masses de Données (2003)
REGAL (LIP6, Paris) ReMaP/GRAAL (LIP, Lyon) PARIS (IRISA, Rennes)
Partenaire du projet GdX de l’ACIMD (utilisateur)
3
Contexte : métacomputing
Stockage des données Éviter les transferts
multiples entre client et serveurs
Gestion des données distribuées et redistribution
Dynamicité: modèle de déploiement P2P
AGENT(s)
S1 S2 S3 S4
Client
A, B, C
Réponse (C)
S2 !
Requête
Op1(C, A, B)
Serveur Serveur Serveur Serveur
Op2(C, A, B)
Service de gestion des données distribuéespersistantes
4
Partage de données : l’existant
Partage explicite à grande échelle
GridFTP (Globus) et MPI-IO Sécurité, hétérogénéité
Internet Backplane Protocol (IBP) Contrôle
Gestion explicite Pas de garanties de cohérence
5
Partage de données : l’existant (2)
Partage transparent à petite échelle
Mémoire virtuellement partagée (MVP) Modèles et protocoles de cohérence Accès transparent Localisation transparente des données Architecture statique, non extensible et
homogène
6
Partage de données : l’existant (3)
Systèmes pair-à-pair (P2P) Systèmes distribués (grande échelle) Pairs volatiles Capacités responsabilités identique des pairs
Partage de données non-modifiables Centralisé (Napster) Inondation (Gnutella, KaZaA) Table de hachage distribuée (CFS, PAST)
Partage de données modifiables Peu de modifications (OceanStore) Résolution des conflits à la « main » (Ivy)
7
Idée : service de partage de données
Proposition : approche hybride MVP : cohérence et accès transparent P2P : extensibilité et haute dynamicité
MVP Service pour la grille
P2P
Échelle 101-102 103- 104 105-106
Topologie Plate Hiérarchique Plate
Dynamicité Nulle Moyenne Forte
Ressources Homogènes (grappes)
Plutôt hétérogènes (grappes de
grappes)
Hétérogènes (Internet)
Données Modifiables Modifiables Non-modifiables
Applications typiques
Calcul scientifique
Calcul scientifique et stockage de
données
Partage et stockage de
fichiers
9
Service de partage de données pour la grille
Internet
Transfert de données
?
Transparence de la localisation
10
Service de partage de données pour la grille
Transfert de données
Internet
Données modifiables
• Cohérence des données
• Optimisation des accès
Internet
13
Le projet GDS
Réalisations visées Service de partage de données : architecture,
implémentation, expérimentations Intégration dans l’environnement ASP DIET
(ReMaP, LIP) Etudes
Tolérance aux fautes : stratégies de réplication Protocoles de cohérence Stratégies d’observation/introspection Ordonnancement conjoint calcul-communication Redistribution transparente des données
14
GDS : expérimentations
Plates-formes « réelles »1. Grappes locales
Quelques dizaines de nœuds
2. Fédération de 3 grappes (IRISA, LIP, LIP6) De l’ordre d’une centaine de nœuds
3. Fédération de quelques dizaines de grappes (GRID 5000 ?) Plusieurs milliers de nœuds
Plate-forme d’émulation GdX Emulation des configurations réelles de type fédération de
grappes
15
Expériences GDS / GdX
Topologie hiérarchique Fédération de grappes Liens rapides intra-grappes, liens lents inter-grappes
Configuration Nombre de noeuds Topologie des interconnexions Capacité des liens : SAN, LAN, WAN Puissance des noeuds Capacité de stockage en mémoire vive Capacité de stockage sur disque OS: Linux, (autres ?) Volatilité des nœuds
Simulation de pannes/déconnections
17
Présentation de l’équipe
Projet PARISThierry Priol
Compilation pour grappes et grilles,
MVPYvon Jegou
Grappes
Christine Morin
Support exécutif pour la grille
Christian Perez
Gestion des données sur la grilleLuc Bougé
Gabriel Antoniu
Positionnement du projet Simulation numériques distribuées Programmation des grappes et des grilles
Axe : gestion de données à très grande échelle
18
Projet PARIS : participants à GDS
3 Permanents : Thierry Priol, DR INRIA Rennes
Luc Bougé, Professeur ENS Cachan/Bretagne
Gabriel Antoniu, CR INRIA Rennes, coordinateur du projet GDS
2 Doctorants Mathieu Jan (INRIA/Région Bretagne)
Sébastien Monnet (Allocation de recherche ACI MD)
19
Plate-forme JuxMem
Plate-forme support pour le service GDS Stage de DEA de Mathieu Jan (projet PARIS, IRISA, 2003) Architecture hiérarchique Stockage et accès transparent aux blocs de données Support de la volatilité des pairs
Utilisation de JXTA 2.0 Gestion des pairs, des groupes, des communications, etc Implémentation en tant que service JXTA Prototype en Java + 5 000 lignes de code
En cours Déploiement et tests basés sur le projet JXTA JDF
http://www.irisa.fr/paris/Juxmem/welcome.htm
20
Thèse de Mathieu Jan
Support : INRIA/Région Bretagne Thèmes de recherche
Conception plate-forme JuxMem Support multi-protocoles de cohérence Architecture sur JXTA
Gestion de la dynamicité/volatilité
Intégration dans DIET
Mécanismes de synchronisation en environnement P2P
21
Thèse de Sébastien Monnet
Support : allocation de recherche ACI MD
DEA 2003 Reprise d'applications parallèles dans les fédérations de
grappes Encadrants: C. Morin, R. Badrinath
Thèmes de recherche Protocoles de cohérence tolérants aux fautes Performance
Utilisation efficace des réseaux rapides Stratégies de sélection de copies basées sur des
mécanismes d’introspection
22
Premières interactions avec GRAAL
Point sur les besoins de DIET Caractériser la persistance Synchronisation Schémas d’accès aux données
Validation de l’architecture du prototype JuxMem Tests sur une application DIET simple
API du service Choix d’implémentation
Jusqu’à quel point utiliser JXTA ? Comment transférer les données ? Déploiement ? Redistribution des données ?
Visite de Mathieu Jan au LIP fin novembre ?
23
Premières interactions avec REGAL
Discussions/groupes de travail Sébastien Monnet, Fabio Picconi Stratégies de réplication Protocoles de cohérence tolérants aux fautes Introspection, localité Expérimentations en parallèle dans JuxMem et
dans P2PFS ?
Visite de Sébastien Monnet au LIP6 mi-novembre ?
Recommended