Metacomputing Si tous les ordinateurs du monde

3 octobre 2000 Luc Bougé 1

MetacomputingSi tous les ordinateurs du monde...

Luc BougéLIP, ENS LyonProjet ReMaP

Crédits: Frédéric DesprezPierre Lescanne


Les origines...

Des millions de PC inoccupés... Nuits + week-end = 60+%

Des millions de disques pratiquement vides... 1-10 Go

Des millions de connexions Internet en attente d’entrée clavier... 2 Mo/s


Méta-ordinateur!


“A source book for the historyof the future” -- Vint Cerf

The Grid

Ian FosterCarl Kesselman

Andrew Chien Jack Dongarra Tom DeFanti Andrew Grimshaw Roch Guerin Ken Kennedy Paul Messina Cliff Neuman Jon Postel Larry Smarr Rick Stevens


Computational Grids

Buts Connecter différentes machines pour

exécuter des applications à très grande échelle

Transparence d’utilisation Meilleures performances possibles Administration simple Architecture adaptative

Nombreux projets de recherche et outilsSujet en plein développement !


Plateformes de metacomputing

Bas niveau Calcul sur des grappes

réseaux hétérogènes de stations ou de PC Typique des plateformes universitaires ou des petites

entreprises Utiliser tous les moyens de calcul: Poor man’s parallel computer

Niveau moyen Connexion de serveurs parallèles de taille moyenne Exécution de bases de données ou d’applications spécifiques Meta-system avec liens rapides dédiés

Haut niveau Computational grid qui connecte des supercalculateurs les plus

puissants des centres de calculs pour des applications à très grande échelle



Les défis logiciels

Administration Sécurité, équité, disponibilité, équilibrage des

chargesHétérogénéité

Réseaux, processeurs, hiérarchie mémoire Equilibrage des charges Distribution des données Informations sur la charge en temps réel Evaluation des performances Modélisation des architectures Couplage de codes


Quels outils de programmation?

Extensions de MPI MPI_Connect, Nexus, PACX-MPI, PLUS, etc.

Globus Approche par niveaux Services pour la sécurité, l’évaluation de performances,

les communications, la configuration de la machine, etc. Approches orientées objets

Encapsuler les détails techniques Legion, Albatross, CORBA

Approche client-serveur Serveurs de bibliothèques de calculs et agents Netsolve


Les approches communautaires

Poor community’s computerApproche client-serveurEmbarrassingly parallelPremières expériences

1985? Factorisationpar E-mail

Client

Serveurs

Internet


Étude de cas 1:distributed.net

Projet alternatif communautaire Fondé en 1997, adhésion libre, gestion par

forum

Puissance: 160.000 Eq-Pentium II 266 MHz, plusieurs milliers de clients

Approche bovine forceRécupération des cycles inutilisésApplications: cryptographie

http://www.distributed.net/

http://www.distributed.net/index.html.fr


Optimal Golomb Rulers!

On Thursday, July 13, 2000 at 21:43 UTC distributed.net has officially restarted work on the search for the Optimal 24-mark Golomb Ruler, and on August 1, 2000 distribution of OGR-25 has begun. Our current overall network rate is 74.82 Giga-nodes per second! Be sure to download and install the latest clients if you do not have them already. Visit the Optimal Golomb Rulers project page for more details about this exciting project!

0 1 . . 4 . . . . 9 . 11 5, Optimal 2-22-32-21-5-1-12-34-15-35-7-9-60-10-20-8-3-14-19-4 21,

Optimal?

NP-complet, visite exhaustive?

http://www.distributed.net/ogr/ogr-announce.html

http://www.distributed.net/download/clients.html

http://www.distributed.net/ogr/index.html.en





Project RC5Rivest’s Cipher, MIT, 1994

The "Bovine" RC5 effort was formed to take the responsibilities of coordinating and maintaining the RC5 servers that are needed to distribute key blocks to work on to all of the participating client programs. We depend heavily - entirely - on the participation of people like yourself, as we intend to solve this project via the use of brute force, trying every possible key there is.

We know this method works. On 19 October 1997 at 1325 UTC, we found the correct solution for the previous project - RSA Labs' 56-bit secret-key challenge. (That's RC5-32/12/7 56-bit for you stats junkies.) The key was 0x532B744CC20999, and it took us 250 days to locate.

Our current overall RC5 network rate is 105.11 gigakeys per second. You can find out more information about our network speed at our RC5-64 statistics page.

http://www.distributed.net/statistics/rc5-64/





Project CSCEncryption challenge, CS Communications and Systems

The CSC Project is over. On 16 January 2000, shortly before 0630 GMT, we received the winning key (00438EF36FE3FC21 for you tech junkies) from a Sparc in the United States. The secret message was:

CS-Cipher a ete presente en mars 97 a 'Fast Software Encryption' (Paris). Congratulations to the winner!

The Winner is Paul Ilardi, a graduate student at the University of Rochester. Congratulations to Paul!

The CS-Cipher Challenge is organized by CS Communications & Systems and will last until March 17, 2000. It is meant to demonstrate how weak a 56-bit key is against brute force attacks. A 10,000 Euros prize is at stake, so download a client and start cracking those CS keys!

The CS-Cipher Algorithm is a symmetric block cipher, meaning that the same key is used to encrypt and decrypt the message. The algorithm supports variable key lengths ranging from 0 to 128 bits and handles message encryption and decryption in fixed-size 64 bit blocks.

http://www.cs.rochester.edu/~pilardi/

http://www.cs.rochester.edu/~pilardi/

http://stats.distributed.net/csc/money.html

http://stats.distributed.net/csc/money.html



Possible projects

Distributed Chess EngineVolunteers wanted!

Mersenne Primes Large prime numbers. The current GIMPS effort seems to

be doing quite well on it's own, a pleasant change from the early days when it was handled entirely via e-mail. There is also no "last" prime number, so this can serve as the default project in the future.

Fermat NumbersFactor fermat numbers

Elliptic Curve Cryptosystem (ECC)Another cryptography challenge

http://www.entropia.com/ips

http://www.perfsci.com/prizes.html

http://www.certicom.com/research.html



Étude de cas 2:Projets INRIA

Arithmétique Calcul numérique fiable

Méthodes numériques Calcul formel, cryptographie

Polynômes Calcul, identification, localisation et codage des zéros, factorisation,

résolution de systèmes Structures combinatoires

Analyse de séquences, combinatoire du mot, recherche combinatoire, génération aléatoire, représentation graphique

Organisme public Mathématiques pures + analyse numérique + informatique Cadre légal, collaborations institutionnelles

http://www.loria.fr/LORIA/EXT/services/CR2I/COMMUNICATION/DOCS/index.html#LOGOS


Références

Projet PolKA Polynômes, combinatoire, arithmétique LORIA, Nancy

Projet Cristal Programmation typée, modularité et compilation Rocquencourt, Versailles

Projet Arénaire Arithmétique des ordinateurs, calcul formel LIP, ENS Lyon

http://www.inria.fr/


Des chercheurs de l'INRIA contribuent à relever des défis cryptographiques!

Défi RSA-155, août 1999 Décomposition en facteurs premiers

Paul Zimmerman, PolKA + Robert Harley, Cristal

300 machines, 5 pays 30-40 années-PC


Client

Serveurs

Internet

Maths pures+ Analyse numérique+ Probabilité+ Évaluation desperformances


Biggest Public-key Cryptography Crack Ever!Worldwide Calculation Solves 109-bit Elliptic Curve Challenge

PARIS -- 13th April 2000 -- Irish mathematician Robert Harley and three colleagues at INRIA, the French National Institute for Research in Computer Science and Control, announced the solution to the most difficult public key cryptographic challenge ever solved after a huge calculation on close to 10000 computers throughout the Internet. The challenge, called ECC2K-108, was set by Canadian cryptographic company Certicom in 1997 to encourage researchers to test the security of cryptography based on elliptic curves. US $10000 prize money.

Four months of computation distributed on 9500 computers with the help of 1300 volunteers in 40 countries. Two thirds of the computation were done on Unix workstations and one third on Windows PCs. On a single 450 MHz machine the computation would have taken 500 years.

ECC (elliptic-curve cryptography) can offer with much shorter keys than RSA


Elliptic Curve Discrete Logarithms Project

Current ECDL ECC2K-108, solved on April 4th 2000.

Previous one ECC2-97, solved on September 22nd 1999.

HistoryECCp-79, solved on December 6th 1997. ECC2-79, solved on December 16th 1997. ECCp-89, solved on January 12th 1998. ECC2-89, solved on February 7th 1998. ECCp-97, solved on March 16th 1998 in association with British Telecom Labs. ECC2K-95, solved on May 21st 1998.

http://cristal.inria.fr/~harley/ecdl7/









Étude de cas 3:Seti@home

SETI@home est une expérience scientifique en radio-astronomie exploitant la puissance inutilisée de millions d'ordinateurs connectés via Internet dans un projet de Recherche d'une Intelligence Extra-Terrestre (Search for Extra-Terrestrial Intelligence, alias SETI).

Participez vous aussi en installant sur votre ordinateur un programme gratuit qui chargera et analysera les données collectées du plus grand radio-télescope au monde à Arecibo.

Il y a un faible mais captivant espoir qu'un jour votre ordinateur détecte le lointain murmure d'une civilisation hors de notre planète Terre. Déjà 2,4 millions de participants de 226 pays et territoires, serez-vous de ceux-là ?

http://setiathome.free.fr/software/download_french.html

http://setiathome.free.fr/results/graphs_french.html


What have we found?

As of yet, SETI@home has not detected any radio signals that indicate the presence of extraterrestrial intelligence. Thorough scientific analysis of the results returned by the SETI@home screensaver programs is continuing.

So far, SETI@home has received 200465266 results from all the SETI@home screensavers running around the world. This means that on the average SETI@home has received 84.77 results from each user.


Current Total Statistics

Total Last 24 HoursUsers 2364694 2313Results received 200427255 652653Total CPU time 417470.43 years 1075.72 yearsFloating Point Operations

4.008545e+20 1.305306e+18(15.1

TeraFLOPs/sec)Average CPU time per work unit

18 hr 14 min 46.4 sec 14 hr 26 min 18.6 sec


Statistiques


The other side of science…

http://www.setiathome.com/

NEW! Using your head to help find intelligent life?Get the SETI@home cap.


Les approches institutionnelles


Étude de cas 4: Globus

Issu de recherches de base autour du Network Computing Gestion de ressources, QoS, gestion de réseaux,

sécurité, stockage, adaptation, etc. Développement du Globus toolkit

Services de base pour les outils et applications pour la grille

Construction d’une plateforme de test: GUSTO Plus grande plateforme en termes de machines et

d’applications Application experiments Télé-immersion, calcul distribué, etc.

http://www.globus.org/


Plate-forme GUSTO, SC ‘98

Globus Ubiquitous Supercomputing Testbed Organization (GUSTO) 02/00: 125 sites in 23 countries

One of the largest computational environments ever constructed.


Plateforme GUSTO durant SC’97


NASA Information Power Grid

Supercomputers Storage devices Sensors Data vizualization Globus-based


National Partnership for Advanced Computational Infrastructure(NPACI) National Computational Science Alliance (NCSA)

The goal of NSF's PACI program is to build, operate, and encourage the use of a prototypical computational grid that will support distributed scientific and engineering applications and form the basis of a national computational infrastructure in the same way that the NSFnet formed the basis of today's Internet.

http://www.npaci.edu/


NPACI News, Sep. 24, 2000

Joint center for structural genomics funded to advance high-troughput protein structure determination

$24 million grant over a five-year period, 3-D structure of up to 2,000 proteins

"Today biology is a data-driven science and bioinformatics is the sine qua non of modern biology. Data emerging from this project will provide us comprehensive knowledge in atomic detail of the molecular machines that drive cellular processes."


Applications

Core ServicesMetacomputing

Directory Service

GRAMGlobus

Security Interface

Heartbeat Monitor

Nexus

Gloperf

Local Services

LSF

Condor MPI

NQEEasy

TCP

SolarisIrixAIX

UDP

High-level Services and Tools

DUROC globusrunMPI Nimrod/GMPI-IO CC++

GlobusView Testbed Status

GASS

Architecture Globus


Services Globus

Infrastructure de communication (Nexus, IO) Services d’information (MDS)Monitoring de performances réseau (Gloperf) Monitoring de processus (HBM)Gestion de fichiers et exécutables distants

(GASS et GEM)Gestion de ressources (GRAM) Sécurité (GSI)


Metacomputing directory service

nn=SP-switch

MDSRepresentation

Carl Steve

Switch

Ethernet

Ian Gregor SteveWarren

sunny

hot

IBMSP

dark coldLAN

LANWAN

USC/ISI ANL/MCS

c=US

o=globus

o=USC o=ANL

ou=MCSou=ISI

nn=WAN

cn=Iancn=Gregor

cn=Warren

cn=Steve

nn=SP-ether

nn=MCS-lan

hn=sp1.mcs.anl.gov

hn=spN.mcs.anl.gov

cn=Carl

cn=Steve…

…

……

Structure physique


DUROC

fork

P1 P2

GRAM

LSF

P1 P2

GRAM

LoadLeveler

P1 P2

GRAM

Nexus

globusrun

mpirun

Composants Globus en Action


“10 GFlops, EOS data,20 Mb/sec -- for 20 mins”

MetacomputingDirectoryService

GRAMGRAMGRAM

ResourceBroker

Info service:location + selection

Globus ResourceAllocation Managers

GRAM

ForkLSFEASYLLCondoretc.

“What computers?”“What speed?”“When available?”

“50 processors + storage from 10:20 to 10:40 pm”

“20 Mb/sec”

Using information for resources brokering



Étude de cas 5: Netsolve

Approche client-serveur Programme de calcul disponible sur le

serveur Choix d’un serveur par l’agent Données utilisateur envoyées au serveur Résultats renvoyés à l ’application

Interface Java, C, F77, Matlab, etc.http://www.cs.utk.edu/netsolve/


Serveurs de calcul

Agent

Client

demande

Choix

Réponse

Netsolve en action


Serveurs decalcul

ClientAgent

1

2

34

5

1. Le client envoie une requête à l’agent2. L’agent renvoie une liste triée de serveurs de calcul3. Le client essaie les serveurs et renvoie les erreurs4. Le client envoie les données5. Le serveur de calcul renvoie le résultat

Netsolve en action


1i

x

ClientJava

Serveurs avec Supercalculateurs

Client Matlab

Bibliothèque de logiciels

Pool de serveursBibliothèque de logiciels

Netsolve all over the world!


CONCLUSIONS ET PERSPECTIVES


Bilan

Des machines parallèles performantes et utilisables

Pas une solution mais des solutions Good gnus

On peut mélanger les environnements: hétérogéneité

Bad gnus Codage spécifique nécessaire pour des performances

optimales

On peut porter des applications efficacement Le calcul parallèle pour tous = Metacomputing?


Metacomputing

Une technologie d’avenir Il faut plus de travaux en Europe Problèmes algorithmiques

Sous-estimés ! Equilibrage des charges, distribution, sécurité, etc.

Interface de programmation Orienté objet, passage de message, bibliothèques, … ??

Applications !!!! Définir les « bonnes applications » Regarder hors de la communauté du numérique


Qu’est ce que j’ai « oublié » de présenter?

Programmation orientée objet (Java) CORBA Ordonnanceurs de tâches Exécutifs haute performance Parallélisation totalement automatique débogage monitoring et profiling évaluation de performances ...


Et maintenant?

We need you!

Documents

Metacomputing Si tous les ordinateurs du monde