Upload
others
View
6
Download
0
Embed Size (px)
Citation preview
Plateforme CIRRUS
Exemples de projets HPC. . . et plus @ USPC
Christophe Cerin
Universite de Paris 13, LIPN, CNRS UMR 7030, France
1 Christophe Cerin Universite Paris 13
2 / 41
Table des matieres
1 Etat des lieux et rappels
2 Types de grands instrumentsClusters (super-ordinateurs)Les clouds... dont CUMULUSIllustrations de la demarche et de resultats au sein de USPC
3 CIRRUS dans le futur. . .
2 Christophe Cerin Universite Paris 13
3 / 41
De quoi s’agit-il ? http://cirrus.uspc.fr
L’Universite Sorbonne Paris Cite (SPC) a annonce en janvier2016 la creation de sa nouvelle plateforme numerique partageeCIRRUS ;
Necessites :
1. D’eviter la dispersion et la multiplication de� petites �plateformes ;
2. De susciter des collaborations inter-labo-etablissements ;3. De partager les experiences et les savoir faire ;4. D’analyser les processus metiers et les attentes – Le rapport
d’enquete sur les usages du numerique rendu disponible (soon)
Recherche : investissement de l’ordre de 1Me pour passer aun total de 4500 cœurs, 2000To de stockage et 500 machinesvirtuelles ;
Mise en place par les DSI des etablissements ;
3 Christophe Cerin Universite Paris 13
4 / 41
De quoi s’agit-il ? http://cirrus.uspc.fr
L’Universite Sorbonne Paris Cite (SPC) a annonce en janvier2016 la creation de sa nouvelle plateforme numerique partageeCIRRUS ;
Necessites :
1. D’eviter la dispersion et la multiplication de� petites �plateformes ;
2. De susciter des collaborations inter-labo-etablissements ;3. De partager les experiences et les savoir faire ;4. D’analyser les processus metiers et les attentes – Le rapport
d’enquete sur les usages du numerique rendu disponible (soon)
Recherche : investissement de l’ordre de 1Me pour passer aun total de 4500 cœurs, 2000To de stockage et 500 machinesvirtuelles ;
Mise en place par les DSI des etablissements ;
4 Christophe Cerin Universite Paris 13
5 / 41
De quoi s’agit-il ? http://cirrus.uspc.fr
Homo Sapiens Calculus
SVG
SVG
SERVER 2
KVM HYPERVISOR
CLOUDINSTANCES
NEUTRONOVS AGENT
NOVACOMPUTEPROXY CONTAINER OBJECTACCOUNTSWIFT
COMPUTE APICONDUCTORSCHEDULERNOVA
NEUTRONMETADATA
AGENTL3 AGENT OVS AGENTSERVER
CINDER APISCHEDULERVOLUME HORIZON
RABBIT MQ
APIREGISTRYGLANCE RABBIT MQ KEYSTONE
SERVER 1
KVM HYPERVISOR
CLOUDINSTANCES
INTERNET
eth0
eth0 eth1eth1
PUBLIC & MGMT
INTERNAL
CalculusEstimating PI
with summation (Integral)and differentiation (Derivative)
Start
Happy PI Day
3.14
STEAMcoded.orgSTEAMcoded.org
Computational World
OfficeBusinessOnline Suite
NoYes
relationship to machines
Crazy?
5 Christophe Cerin Universite Paris 13
6 / 41
Elements de vocabulaire de l’informaticien
Infrastructure : des processeurs, du stockage et du reseau ;
Recherche en Systeme : decouverte de nouveaux principes,modeles, metriques et outils pour la couche entre le materielet le logiciel applicatif :
Systeme d’exploitation ;Environnement d’execution : services d’execution deprogrammes tels que les entrees-sorties, l’arret des processus,l’utilisation des services du systeme d’exploitation, letraitement des erreurs de calcul, la generation d’evenements,Pour les grandes infrastructures ⇒ algorithmes efficaces delancement des processus (diffusion arborescente) ;
6 Christophe Cerin Universite Paris 13
7 / 41
Elements de vocabulaire de l’informaticien
Infrastructure : des processeurs, du stockage et du reseau ;
Recherche en Systeme : decouverte de nouveaux principes,modeles, metriques et outils pour la couche entre le materielet le logiciel applicatif :
Systeme d’exploitation ;Environnement d’execution : services d’execution deprogrammes tels que les entrees-sorties, l’arret des processus,l’utilisation des services du systeme d’exploitation, letraitement des erreurs de calcul, la generation d’evenements,Pour les grandes infrastructures ⇒ algorithmes efficaces delancement des processus (diffusion arborescente) ;
7 Christophe Cerin Universite Paris 13
8 / 41
Elements de vocabulaire de l’informaticien
Infrastructure : des processeurs, du stockage et du reseau ;
Recherche en Systeme : decouverte de nouveaux principes,modeles, metriques et outils pour la couche entre le materielet le logiciel applicatif :
Systeme d’exploitation ;Environnement d’execution : services d’execution deprogrammes tels que les entrees-sorties, l’arret des processus,l’utilisation des services du systeme d’exploitation, letraitement des erreurs de calcul, la generation d’evenements,
Pour les grandes infrastructures ⇒ algorithmes efficaces delancement des processus (diffusion arborescente) ;
8 Christophe Cerin Universite Paris 13
9 / 41
Elements de vocabulaire de l’informaticien
Infrastructure : des processeurs, du stockage et du reseau ;
Recherche en Systeme : decouverte de nouveaux principes,modeles, metriques et outils pour la couche entre le materielet le logiciel applicatif :
Systeme d’exploitation ;Environnement d’execution : services d’execution deprogrammes tels que les entrees-sorties, l’arret des processus,l’utilisation des services du systeme d’exploitation, letraitement des erreurs de calcul, la generation d’evenements,Pour les grandes infrastructures ⇒ algorithmes efficaces delancement des processus (diffusion arborescente) ;
9 Christophe Cerin Universite Paris 13
10 / 41
Nos grands equipements dans CIRRUS
YOU&ME Scientific methods PLATFORM
CIRRUS TODAY (SaaS)
MAGI
S-CAPAD
CUMULUS
A
B
C
A'
αα
O
O'
-3 -2 -1 1 2 3
10 Christophe Cerin Universite Paris 13
11 / 41
Nos grands equipements
CIRRUS TODAY (SaaS)
MAGI
S-CAPAD
CUMULUS1) VM install2) Softfare install inside VM3) Use Software4) Network of VMs (soon)
1) Request Software install2) Reserve nodes3) Send job4) Get results
USER SYS ADMIN
11 Christophe Cerin Universite Paris 13
12 / 41
Caracteres structurants
Des instruments pour des demarches scientifiques experimentales
Exemple de la demarche experimentale en informatique :
Un probleme, sa modelisation, sa solution rigoureuse, sarepresentation informatique, passage devant une machine,l’evaluation/retour sur l’experience.
Simulation ; Emulation ; Vraie grandeur ;
De nouvelles methodologies scientifiques et approches demodelisation deviennent envisageables ;
Nouveaux mots cles : phase de calibration, pland’experimentation, reproductibilite des experiences, validationa grande echelle, simulation des grands systemes, discussionsur la validite du modele. . .
12 Christophe Cerin Universite Paris 13
13 / 41
Caracteres structurants
Des instruments pour des demarches scientifiques experimentales
Exemple de la demarche experimentale en informatique :
Un probleme, sa modelisation, sa solution rigoureuse, sarepresentation informatique, passage devant une machine,l’evaluation/retour sur l’experience.
Simulation ; Emulation ; Vraie grandeur ;
De nouvelles methodologies scientifiques et approches demodelisation deviennent envisageables ;
Nouveaux mots cles : phase de calibration, pland’experimentation, reproductibilite des experiences, validationa grande echelle, simulation des grands systemes, discussionsur la validite du modele. . .
13 Christophe Cerin Universite Paris 13
14 / 41
Caracteres structurants
Des instruments pour des demarches scientifiques experimentales
Exemple de la demarche experimentale en informatique :
Un probleme, sa modelisation, sa solution rigoureuse, sarepresentation informatique, passage devant une machine,l’evaluation/retour sur l’experience.
Simulation ; Emulation ; Vraie grandeur ;
De nouvelles methodologies scientifiques et approches demodelisation deviennent envisageables ;
Nouveaux mots cles : phase de calibration, pland’experimentation, reproductibilite des experiences, validationa grande echelle, simulation des grands systemes, discussionsur la validite du modele. . .
14 Christophe Cerin Universite Paris 13
15 / 41
Caracteres structurants
Des instruments pour des demarches scientifiques experimentales
Exemple de la demarche experimentale en informatique :
Un probleme, sa modelisation, sa solution rigoureuse, sarepresentation informatique, passage devant une machine,l’evaluation/retour sur l’experience.
Simulation ; Emulation ; Vraie grandeur ;
De nouvelles methodologies scientifiques et approches demodelisation deviennent envisageables ;
Nouveaux mots cles : phase de calibration, pland’experimentation, reproductibilite des experiences, validationa grande echelle, simulation des grands systemes, discussionsur la validite du modele. . .
15 Christophe Cerin Universite Paris 13
16 / 41
1 Etat des lieux et rappels
2 Types de grands instrumentsClusters (super-ordinateurs)Les clouds... dont CUMULUSIllustrations de la demarche et de resultats au sein de USPC
3 CIRRUS dans le futur. . .
16 Christophe Cerin Universite Paris 13
19 / 41
1 Etat des lieux et rappels
2 Types de grands instrumentsClusters (super-ordinateurs)Les clouds... dont CUMULUSIllustrations de la demarche et de resultats au sein de USPC
3 CIRRUS dans le futur. . .
19 Christophe Cerin Universite Paris 13
20 / 41
Ne sert pas a casser (que) du nombre
Le cloud d’apres le NIST
Cloud computing is a model for enabling convenient, on-demandnetwork access to a shared pool of configurable computingresources (e.g., networks, servers, storage, applications, andservices) that can be rapidly provisioned and released with minimalmanagement effort or service provider interaction.
Ce qui est important :
L’utilisateur est au centre des preoccupations ;
Configurable – Automatisation ;
Tout est service (y compris le calcul) ;
Le bac a sable ! (la machine virtuelle ou VM)
20 Christophe Cerin Universite Paris 13
21 / 41
Ne sert pas a casser (que) du nombre
Le cloud d’apres le NIST
Cloud computing is a model for enabling convenient, on-demandnetwork access to a shared pool of configurable computingresources (e.g., networks, servers, storage, applications, andservices) that can be rapidly provisioned and released with minimalmanagement effort or service provider interaction.
Ce qui est important :
L’utilisateur est au centre des preoccupations ;
Configurable – Automatisation ;
Tout est service (y compris le calcul) ;
Le bac a sable ! (la machine virtuelle ou VM)
21 Christophe Cerin Universite Paris 13
22 / 41
1 Etat des lieux et rappels
2 Types de grands instrumentsClusters (super-ordinateurs)Les clouds... dont CUMULUSIllustrations de la demarche et de resultats au sein de USPC
3 CIRRUS dans le futur. . .
22 Christophe Cerin Universite Paris 13
23 / 41
(1) Un beau projet
IMAGE GENERATION
IMAGE ANALYSIS
HUMAN AND SOCIAL SCIENCESETHICS – LEGAL ASPECTS
BIOMARKERS
LINKED OPEN DATA
SORBONNE PARIS CITÉ
A suitable case-study for cloud adoption and migration: the Life Imaging program (IDV)
Coordinators : C.A. Cuenod (Paris Descartes) - F. Dibos (Paris 13) - D. Le Guludec (Paris Diderot)
23 Christophe Cerin Universite Paris 13
28 / 41
Projet SPC DRIVE
Cycle de vie d’une etude medicale.Outil TeamCenter de CADESIS dans CUMULUS
28 Christophe Cerin Universite Paris 13
29 / 41
Outils communs entre disciplines differentes
Sac de taches :
1. FreeSurfer : analyse des donnees d’imagerie cerebrale (logicielde reference pour analyser l’epaisseur locale du cortexcerebral). (Neurosciences Paris Descartes)
2. MIT Photonic-bands : calcule le diagramme de bandes et lechamp electromagnetique de structures photonique, parexemple des cristaux photoniques. (LPL Paris 13)
3. Graphlab : modelisation des reseaux ecologiques a partir de latheorie des graphes. (LADYSS Geographie Paris Diderot)
HTC Condor (UW-Madison) ou BonjourGrid / RedisDG duLIPN de Paris 13 ;
29 Christophe Cerin Universite Paris 13
30 / 41
Outils communs entre disciplines differentes
Sac de taches :
1. FreeSurfer : analyse des donnees d’imagerie cerebrale (logicielde reference pour analyser l’epaisseur locale du cortexcerebral). (Neurosciences Paris Descartes)
2. MIT Photonic-bands : calcule le diagramme de bandes et lechamp electromagnetique de structures photonique, parexemple des cristaux photoniques. (LPL Paris 13)
3. Graphlab : modelisation des reseaux ecologiques a partir de latheorie des graphes. (LADYSS Geographie Paris Diderot)
HTC Condor (UW-Madison) ou BonjourGrid / RedisDG duLIPN de Paris 13 ;
30 Christophe Cerin Universite Paris 13
32 / 41
RedisDG du LIPN de Paris 13
adonis−5(grenoble)adonis−9(grenoble)edel−24(grenoble)edel−36(grenoble)edel−65(grenoble)edel−70(grenoble)edel−71(grenoble)edel−7(grenoble)edel−8(grenoble)edel−9(grenoble)
parapide−11(rennes)parapide−12(rennes)parapide−15(rennes)parapide−1(rennes)
parapide−20(rennes)parapluie−20(rennes)parapluie−21(rennes)parapluie−32(rennes)parapluie−35(rennes)parapluie−9(rennes)sagittaire−63(lyon)sagittaire−64(lyon)sagittaire−65(lyon)sagittaire−69(lyon)sagittaire−6(lyon)
sagittaire−71(lyon)sagittaire−74(lyon)sagittaire−75(lyon)sagittaire−78(lyon)sagittaire−7(lyon)
0 200 400 600 800 1000 1200 1400 1600 1800
wor
ker
id
time (seconds)
mProjectPPmDiffFit
mConcatFitmBgModel
mBackgroundmImgtbl
mAddmShrink
mJPEG
32 Christophe Cerin Universite Paris 13
33 / 41
RedisDG du LIPN de Paris 13
adonis−5(grenoble)adonis−9(grenoble)edel−24(grenoble)edel−36(grenoble)edel−65(grenoble)edel−70(grenoble)edel−71(grenoble)edel−7(grenoble)edel−8(grenoble)edel−9(grenoble)
parapide−11(rennes)parapide−12(rennes)parapide−15(rennes)parapide−1(rennes)
parapide−20(rennes)parapluie−20(rennes)parapluie−21(rennes)parapluie−32(rennes)parapluie−35(rennes)parapluie−9(rennes)sagittaire−63(lyon)sagittaire−64(lyon)sagittaire−65(lyon)sagittaire−69(lyon)sagittaire−6(lyon)
sagittaire−71(lyon)sagittaire−74(lyon)sagittaire−75(lyon)sagittaire−78(lyon)sagittaire−7(lyon)
0 200 400 600 800 1000 1200 1400 1600 1800
wor
ker
id
time (seconds)
mProjectPPmDiffFit
mConcatFitmBgModel
mBackgroundmImgtbl
mAddmShrink
mJPEG
33 Christophe Cerin Universite Paris 13
36 / 41
Big Data
Modèle de Markov caché auto-organisé
Continues
Binaires,catégorielles, mixtes
APPRENTISSAGE NON SUPERVISÉ (M. LEBBAH, H. AZZAG)
1
Topologie incrémentale
Visualisation
Clustering
Data stream
36 Christophe Cerin Universite Paris 13
37 / 41
Big Data
BIG DATA ET APPRENTISSAGE MASSIVEMENT DISTRIBUÉ(M. LEBBAH, H. AZZAG, D. BOUTHINON)
2
Image originale 481x321
Image à 43 clusters 200 blocs 20 min (4 cœurs) 4 min (20 cœurs)
La même qualité d’image est obtenue en 8h de calcul sous R
Nearest neighbour mean shift clustering (NNMS).
… G-Stream
Version Batch : NNMS
Un projet Big Data (2013-2016)
Visitez ce site https://lipn.univ-paris13.fr/bigdata
Bientôt ! https://github.com/Spark-clustering-notebook/
37 Christophe Cerin Universite Paris 13
38 / 41
1 Etat des lieux et rappels
2 Types de grands instrumentsClusters (super-ordinateurs)Les clouds... dont CUMULUSIllustrations de la demarche et de resultats au sein de USPC
3 CIRRUS dans le futur. . .
38 Christophe Cerin Universite Paris 13
39 / 41
Nos grands grands equipements
YOU&ME Old & New Scientific Methods
CIRRUS TOMORROW: SYSTEM OF SYSTEMS (?)
MAGI
S-CAPAD
CUMULUS
RequestResources
GetResources
The land of very experimental
platform
a) Big data toolchainb) Grid emulationc) Cloud emulationd) Dev platform
Production
39 Christophe Cerin Universite Paris 13
40 / 41
Nos grands grands equipements
Cray (1980) Grid (1990) Cloud (2000) IoT (2010) Centralized Distributed Centralized Distributed
BE PROACTIVE: o convergence of Systems o evolutions of SystemsTHROUGH ACTIVE RESEARCHES
Tablets
Desktops
Servers
Laptops
Phones
ComputeBlock Storage
Network
Infrastructure
Platform
Application
NEWS
Content Communication
Object Storage
Collaboration
Identity
0
10
20
30
4050 60 70
80
90
100
110
12021
123450
3456 7 8
EF
Monitoring
Cloud Computing
RuntimeQueue
Database
Finance
Sensor Node
Gateway Sensor Node
40 Christophe Cerin Universite Paris 13
41 / 41
Plateforme CIRRUS
Exemples de projets HPC. . . et plus @ USPC
Christophe Cerin
Universite de Paris 13, LIPN, CNRS UMR 7030, France
� Comme le langage, la connaissance scientifique estintrinsequement la propriete d’un groupe,ou bien elle ne l’est pas � – Thomas K. Kuhn
41 Christophe Cerin Universite Paris 13