CLOUD  COMPUTING:    OPEN  DATA  AND  BIG  DATA  

INFN  -­‐  GRUPPO  PON-­‐ReCaS-­‐PRISMA  Giorgio  Pietro  MAGGI  -­‐-­‐  Giacinto  DONVITO  

2  

Sommario  

•  INFN  –  storia  ed  a+vità  in  corso  •  Dal  Bc2S  (Infrastru6ura  Data  Center  Bari  )  ad  una  PiaAaforma  Cloud  

Aperta:  –  PON  ReCaS  –  potenziamento  infrastru6urale  –  PON  PRISMA  –  pia6aforma  cloud  interoperabile  per  SMART  CITIES  –  Panoramica  di  uFlizzo:  UtenF-­‐Servizi-­‐Sperimentazioni  

•  Infrastru3ura/Pia3aforma  -­‐  Il  primo  livello  di  interazione  con  il  Cloud  CompuFng  

•  Servizi:  Esempi  di  servizi  cloud  –  GesFone  sicura  dei  daF  –  Pia6aforma  cloud  per  la  sanità    

•  Elaborazione  di  neuroimmagini  •  Business  Intelligence    

3  

INFN  e  Grid  

•  INFN   gesFsce   una   del le   maggior i  infrastru6ure   di   calcolo   a   livello   nazionale  basata  su  circa  50'000  cores  e  oltre  30Pbyte  di  spazio  di  archiviazione  distribuiF   in  circa  20  siF.  

–  La   infrastruAura   Grid   viene   uFlizzata   con  straordinario   successo   da   esperimenF   grandi   e  piccoli   a   cui   INFN   partecipa   a   livello   nazionale   e  internazionale    

•  L'INFN   è   l’ente   pubblico   nazionale   di   ricerca,   dedicato   allo   studio   dei   cosFtuenF  fondamentali   della   materia   e   delle   leggi   che   li   governano.   Tali   a+vità   richiedono  l’uso   di   tecnologie   e   strumenF   di   ricerca   d’avanguardia   che   l’INFN   sviluppa   in  collaborazione  con  il  mondo  dell’industria.      

•  Il  gruppo  INFN-­‐Bari  ha  un  focus  specifico  nel  supporto  alle  a+vità  di  Data  Analysis  in  vari  contesF  scienFfici  

–  esperimenF   di   LHC,   BioinformaFca,   Analisi   immagini   mediche,   Chimica   computazionale,  Cristallografia,  analisi  immagini  da  satellite,  etc  

 

4  

INFN  e  Cloud  •  INFN   partecipa   ad   infrastru6ure   di   calcolo   di   livello   europeo   e  

mondiale   come   EGI   e  WLCG,   sia   nel   campo   del   grid   compuFng  che  del  Cloud  CompuFng  (EGI  Federated  Cloud  Task  Force)    

•  I N F N   u F l i z z a   l ' e n o rm e  esperienza  acquisita  nel  design,  sviluppo  ed  implementazione  di  i n f r a s t ru6ure   d i   c a l co lo  d i s t r i bu i te ,   come   que l l a  n e c e s s a r i a   a l l ' a n a l i s i  dell'enorme   quanFtà   di   daF  prodo+  da  LHC,  per  la  gesFone  delle   infrastru6ure   Cloud   ed  enormi   quanFtà   di   daF   (Big  Data)  

INFN involvement in the LHC project

Exploration of a new energy frontier in p-p and Pb-Pb collisions

LHC ring: 27 km circumference

CMS

ALICE

LHCb

ATLAS

5  

Bari  Computer  Centre  for  Science  DiparLmento  di  Fisica  (UNIBA)  &  INFN  

•  Bc2S  (Bari  Computer  Center  for  Science)  è  il  Data  Center  di  INFN-­‐Bari  per  il  calcolo  scienFfico,  che  a6ualmente  si  compone  di  circa  4000  core  e  2  PB  di  storage  

•  Rappresenta  il  punto  di  arrivo  di  una  serie  di  proge+,  sia  europei  sia  nazionali  –  proge+  EGEE  ed  EGI-­‐INSPIRE    a6raverso  cui  è  stata  realizzata  l’Infrastru6ura  di  GRID  europea  

–  i  proge+  di  collaborazione  con  la  comunità  di    bioinformaFca  barese,  il  proge6o  Bioinfogrid,  LIBI  (FIRB)  e  BioVel    

6  

Il  progeAo  PON-­‐  ReCaS  •  ReCaS   (Rete   di   Calcolo   per   SuperB   e   altre   applicazioni)   è   un  

proge6o   PON   Ricerca   e   CompeFFvità   2007-­‐2013,   finanziato  complessivamente  per  13.7  milioni  di  Euro  –  "potenziamento   infrastru3urale”   -­‐   realizzazione   di   un'infrastru6ura   di  

calcolo   distribuita   nelle   qua6ro   regioni   della   convergenza:   Calabria,  Campania,  Puglia  e  Sicilia.  

–  Infrastru6ura  realizzata  in  o+ca  Grid  e  Cloud  compuLng  che  si  disFnguerà  per  la  potenza  di  calcolo  e  la  capacità  di  memorizzazione  di  daF  (capacità  circa  raddoppiate)  

–  Supporto  alle  comunità  degli  esperimenF  al  Large  Hadron  Collider  (LHC)    –  Supporto  a  comunità  diverse  in  se6ori  strategici  della  scienza:  la  Fisica,  la  

Medicina,  le  Biotecnologie  e  l'Ambiente  –  Infrastru6ura  per  favorire  la  creazione  di  DistreF  e  Laboratori  Pubblico  

PrivaG  e  la  collaborazione  con  PMI  (sviluppo  del  territorio)  e  Pubblica  Amministrazione  (Smart  CiFes  &  Urban  App)  

7  

4.17

9.55

0.17

sezione longitudinale

0.20

9.55

0.50

0.50

3.00

0.50

3.50

0.80

0.50

3.50

0.50

3.50

9.55

4.50

3.50

1.53

9.55

Il  “potenziamento  infrastruAurale”  a  Bari  

•  Le  risorse  di  ReCaS  –  Bari  

•  Realizzazione  di  un  nuovo  edificio  per  il  calcolo  

   

Tape  library  2.5  PByte       Sistema  HPC  cosFtuito  da  :  • 20  nodi  di  calcolo  (  800  core)  

• Interconnessi  con  infiniband    • 20  acceleratori  grafici  NVIDIA  Tesla  K40  

Più  di  13000  CPU  core   Storage  5.6  PByte      

8  

PON  PRISMA  come  PiaAaforma  Cloud  Aperta  

•  PRISMA   (Pia6afoRme   cloud   Interoperabili   per   SMArt-­‐government)   è   un   proge6o   PON   Ricerca   e   CompeFFvità  2007-­‐2013  che  coinvolge  –  Imprese  private,  EnF  di  ricerca.  Università  e  Pubbliche  Amministrazioni  

   •     Pia6aforma  Iaas/PaaS  basata  su  soluzioni  open-­‐source  • GesLone  CED  PA  e  CED  “federaF”  •       Supporto  allo  sviluppo,  personalizzazione  ed  esecuzione  di  applicaFvi  SW  •     Provisioning  on-­‐demand  di  macchine  virtuali  e  storage  (affidabilità  e  sicurezza)  

IaaS  (Infrastructure  as  a  Service)  &    PaaS  (Pla_orm  as  a  Service)    

   •     Rischio  sismico  -­‐  Pia6aforma  per  la  valutazione  assisFta  del  rischio  sismico  a  scala  territoriale  •     E-­‐Government  -­‐  Modello  di  ecosistema  digitale  per  le  PAL  •     E-­‐Health  -­‐  l’analisi  di  daF  in  ambito  sanitario,  sistemi  per  la  cooperazione  applicaFva  tra  i  sistemi  sanitari  (ospedalieri  e  territoriali)  e  sistemi  sociali  

SaaS  (Soaware  as  a  Service)    

9  

PON-­‐PRISMA  

PON-­‐ReCaS   Bc2S  

I  proged  e  le  collaborazioni  

Servizi  

InfrastruAura  

Applicazioni    •     BioinformaFca  •     Smart  CiFes  •     Chimica  computazionale  •     Fisica  dell’atmosfera  •     Immagini  satellitari  •     FilogeneFca  

   •   EGI  (European  Grid  IniFaFve)  •   Comunità  di  ricerca  •   UtenF  finali  di  Proge+  correlaF  (IPPOCRATE,  OCP,  OPLON,  SMART-­‐Health  2.0,  ecc.)  •   Do6orandi  /ricercatori  UNIBA/CNR    

UtenL  Cloud   Aree  di  Ricerca  

10  

I  vantaggi  del  Cloud  compuLng  

•  Isolamento  –  Una   pia6aforma   cloud   può   essere   usata   da   molF   utenG   e   il   provider  

comprendere   meccanismi   tali   da   proteggere   ed   isolare   ogni   utente  rispe6o  agli  altri  (risparmio  di  cosF,  privacy  e  la  sicurezza  dei  daF)  

•  Elas,cità  –  la   fornitura  di  servizi  avviene   in  maniera  rapida  ed  elasGca,  allocando   le  

risorse  necessarie  in  maniera  automaFca  e  trasparente  all’utente  finale  –  infrastru6ure   cloud   si   ada6ano   automaFcamente   alla   variazione   di  

dimensione  del  carico  •  Sicurezza  (Da,  e  Servizi)  

–  Disaster  Recovery  as  a  Service  per  il  recupero  di  applicazioni  e  processi  di  business  su  un  sito  alternaFvo  

•  Grazie   all’Object   Storage   è   possibile   memorizzare   daF   in   più   copie,   su   diversi  dischi  e  su  diversi  server  garantendo  così  sicurezza  e  prestazioni  

–  i  daF  e  le  connessioni  di  accesso  ai  daF  sono  criptaL  –  gli  utenF  sanno  esa6amente  dove  sono  memorizzaF  i  propri  daF  (Bc2S)  

11  

IaaS examples

Use-­‐case:    Auto-­‐scaling  

12  

IaaS examples

Use-­‐case:    Object  Storage  

13  

PaaS examples

Use-­‐case  1:    Web  ApplicaLon  

14  

Use-­‐case  2:    Inter  applicaLon  communicaLon  

PaaS examples

15  

PaaS examples

Use-­‐case  2:    Inter  applicaLon  communicaLon  

16  

PaaS examples

Use-­‐case  3:  Desktop  as  a  Service  

17  

La  CLOUD    per  Big  Data  e  Open  Data  

18  

Open-­‐Source  ed  Business  Intelligence  

Archivio  DATI  

Pentaho  BI  Server  

Pentaho  Report  

Designer  

Data  sources  

Visualizzazione  Report  

Creazione/pubblicazione  

Report  

19  

BANCA  DATI  SOGGETTI  A  RISCHIO  

DATI  CLIMATICI    DATI  TERRITORIALI   ….  DATI  SENSORI  

Uno  use  case  complesso  con  la  PiaAaforma  PRISMA  

Suite  di  Business  Intelligence  &  Data  Management  

Desktop  as  a  service  

Data  se

curity  &  

privacy  

Mon

itorin

g  

Bc2S  

Interfaccia  

sensori  

InfrastruAura  ReCaS-­‐PRISMA  

Web/Mobile  App  

Geo  Map  

PaaS  

IaaS  

20  

Grazie  per  l’aAenzione