21 avril 2005 HPC1Romain Teyssier Projet Horizon Projet Horizon: computational astrophysics on massively parallel systems to understand structure formation

21 avril 2005HPC1 Romain Teyssier

ProjetHorizon Projet Horizon: computational astrophysics

on massively parallel systems to understand structure formation in the universe.


ProjetHorizon

Structure formation in a hierarchical universe

Initial conditions: inflation drives quantum fluctuations up to cosmic scales.

Collisionless fluid: dark matter (CDM, WDM ?)Vlassov-Poisson stars

Collisional fluid: gas (hot, cold, very cold)Euler-Poisson dense clouds (collisions)Cooling (atomic, molecular) and radiative transfer

Additional physics:Star formation and feedback on the gas. Subgrid models: supernovae, turbulence, black holes, jets...

Hierarchical scenario: galaxy formation, from the end of the dark ages (Pop III) to the formation of the Milky Way with « ab-initio » modelsA well-posed numerical problem…


ProjetHorizon

Project objectives up to 4 years

●Computational modelling of cosmological structures formation. Prediction of observational signatures as a function of various physical scenarios.

●Promote state-of-the-art expertise in parallel programming and applied mathematics in computational cosmology.

●Put together several experts in the field to share knowledge and softwares, and optimize use of supercomputer centers.

●Provide to the scientific community an easy access to top quality simulations data, as well as educational and public outreach.


ProjetHorizon

Organisation

6 geographical nodesIAP S. Colombi ParisCRAL B. Guiderdoni LyonObs F. Combes ParisSAp R. Teyssier SaclayLuth J.-M. Alimi MeudonLAM L. Athanassoula Marseille

Horizon scientists are responsible of a work package (MoU) and have full access to the hardware and software infrastructure of Projet Horizon: 30 scientists

Executive committee validates day-to-day operations (5 co-Is among Horizon scientists)

Scientific committee issues recommendations and scientific objectives to the project.


ProjetHorizon

Software resources shared and posted to an internal web site

●Gas dynamics and N body codes

●Data conversion utilities

●Common post-processing tools

●Common visualization tools

●Parallel computing tutorials

●Common initial conditions for code benchmarking

●CVS repository


ProjetHorizon

Simulation results presented in a fully open web site

● N body runs with 1010 particles

● N body and gas dynamics runs with 109 particles

● Zoom simulations on pre-selected objects with 108 particles

● Idealized simulations of interacting galaxies with 108 particles

All initial conditions are generated self-consistently from the same primordial realization at all scales.

Public Outreach


ProjetHorizon

Computer infrastructure

✔“Extreme Computing Initiative” at European level (DEISA)

✔106 CPU hours per year on national supercomputer centers (IDRIS, CINES, CCRT)

✔Shared resources on HPC1 (funded by INSU and CEA)

✔Mini-grid : 1 quad AMD on each node (funded by IN2P3 and INSU “astroparticule”)

✔3D visualization servers 3D (funded by Universities)


ProjetHorizon Supercomputer centers

HPC1

Paris Meudon Lyon

Jobs submission

Post-processing on large data sets

Visualization,Post-processing onSmall data sets

Saclay

Computer infrastructure

Marseille

Mini-grid Horizon


ProjetHorizon

Partnership with HPC1

✔Hardware and Software support on working days

✔3 “master nodes” 64 Go each available full time

✔200 000 CPU hours for 3 years in 2 possible configurations✔Compact: 5 additional nodes for 95% of the time OR✔Distributed: 50 additional nodes for 5% of the time✔Annual planning with HPC1 team

✔5 To storage

✔Integration within Horizon Mini-grid (VPN, SSH) with RENATER + 100 Mbits


ProjetHorizon

L=1 milliard d’années lumièresT=1, 3 et 13 milliards d’années

Large scale structure in the universe


ProjetHorizon

Towards galactic discs formation


ProjetHorizon

Stars birth and death on cosmic scales


ProjetHorizon

Small scale galaxy physics


ProjetHorizon

Films

Down to Galactic Scales


ProjetHorizon

Conclusion

✔Utility computing : a new approach for high performance computing in advanced research

✔More time and manpower dedicated to research activities

✔Professional hardware and software administration by vendor’s specialists

✔ Continuous upgrade with state-of-the-art technologies

✔HPC1 directly located on TER@TEC site


ProjetHorizon

Fin du diaporama


ProjetHorizon

Programme de recherche: 4 thèmes principaux

Mathématiques appliquéesComparaison entre codes sur des cas « test »Etude en convergence sur des cas « test » (résolution en masse, résolution spatiale)Etude en conservation sur des cas « test » (moment angulaire, entropie…)Méthodes de transfert radiatif (« ray tracing », méthode au moment…)Méthodes MHD (équation d’induction)

Algorithmes et parallélisme Algorithmes de post traitement (détection des halos et des sous-halos, calcul des arbres de fusion)Outils statistiques (spectres de puissance, moments d’ordre élevé)Optimisation sur architecture massivement parallèle (MPI ou OpenMP ou les deux)Calcul distribué (projet DEISA, approche CORBA)

Observations virtuelles et base de données Modèles semi-analytiques avec GALICS et génération de catalogues fictifs avec MOMAFGénération d’images et de catalogues polychromatiques(optique, IR, X, mm, lensing...)Base de données interactives: résultats bruts de simulations

catalogues fictifs (limite angulaire, spectrale, magnitude)images de galaxies individuelles

Modules de physiques Refroidissement atomique et moléculaire (dépendant de la métallicité et du flux UV)Modules de formation d’étoiles et de formation de trous noirsModules de « feedback » stellaires et AGN: vents, jets...Approche multiphase (non résolue), Kennicut, turbulence…Spectro- photométrie stellaire et AGN (âge et métallicité).Modules d’opacités spectrales (poussières…)


ProjetHorizon

Conclusions

Un projet à l’interface PNC, PAP et PNG● Techniques numériques et modules de physiques communs● Problématique nouvelle: le milieu interstellaire dans un cadre cosmologique

Un rôle central est donné au réalisme physique● Compréhension des effets systématiques● Approches analytiques, semi-analytiques et numériques● Microphysique et mésophysique

Une insertion active au sein de projets européens● Projet de réseau Marie-Curie « SUPERCOSM » ● Réseau d'infrastructure DEISA (J.-M. Alimi)

Préciser les tâches à accomplir avant septembre 2004● Importance de la structure projet● Lots de tâches avec responsables, jalons et MOU.

Moyens humains actuels: 7 FTE● Demande: 3 FTE supplémentaires pour un total de 10 FTE


ProjetHorizon

Un panorama favorable à la naissance d’un tel projet

Des réflexions au sein du PNC/PNG depuis 5 ans sur l’importance des simulations numériques dans les deux communauté (rapport PNC 1998-2002 Jean-Michel Alimi)

Colloque prospective à la Colle-sur-Loup en 2003.

Création de l’ASSNA: soutien à des initiatives et des projets en calcul numérique en astrophysique.

Les infrastructures de calcul intensif atteignent/dépassent le « mur » du Téraflops.

Nécessité de se regrouper pour mettre en commun des moyens de traitements logiciels/humains, accroître la visibilité en France et à l’étranger (liens avec les projets européens).


ProjetHorizon

Lien avec collaborateurs et concurrents étrangers

Réseau Marie-Curie « SUPERCOSM » 3ème sur liste B (coord. S.D.M. White)tète de noeud: S. Colombi (Paris-Saclay)

Collaboration avec MPA (Garching), ICC (Durham)...

Réseau de calcul DEISA (Jean-Michel Alimi)

Scientifique Associé: collaborateur sans lot de taches, mais désirant participer à la définition ou à l'exploitation des produits du Projet Horizon. Négociation avec les co-I's au cas par cas.


ProjetHorizon

Historique du Projet Horizon

Septembre 2003: lancement de la phase préparatoire.

Octobre 2003: demande de soutien au PNC et PNG

Décembre 2003: présentation au Forum ASSNA

Avril 2004: demande de soutien au PAP (Astroparticules)

Mai 2004: soutien du PNC (15 kE) et du PNG (8 kE)

Mai 2004: Horizon reçoit le « Label ASSNA »

Juin 2004: soutien du PAP (70 kE)

Septembre 2004: Kick-off meeting à l'observatoire de Paris

Octobre 2004: demande de soutien à la CSA

Documents

21 avril 2005 HPC1Romain Teyssier Projet Horizon Projet Horizon: computational astrophysics on massively parallel systems to understand structure formation