Cartografiando la GalaxiaCartografiando la Galaxia · – CNES (Toulouse) – ISDC (Geneva) – IoA (Cambridge) ... – Estrategias de test (JUnit, Cobertura) – Interfaces entre

Universitat

de Barcelona (UB)Institut

d’Estudis

Espacials

de Catalunya

(IEEC)Institut

de Ciències

del Cosmos (ICCUB)

Dr. Dr. JordiJordi

PortellPortell

i de Morai de Mora

Cartografiando la GalaxiaCartografiando la Galaxia El procesado de datos de la misiEl procesado de datos de la misióón n GaiaGaia

Jornadas SIG –

Girona, 27-Marzo-2014

J. Portell | Gaia, cartografiando la Galaxia VIII SIG Libre | Girona 27-Mar-14 2 de 40

La misiLa misióón n GaiaGaia


• Satélite científico de la Agencia Espacial Europea– Lanzado el

19 de Diciembre de 2013

• Sucesor de Hipparcos– Censo 3-D

más completo

y preciso

de nuestra Galaxia

– >1000 millones

de estrellas! (~1% de la Via Láctea)– Posiciones, distancias (paralaje), velocidades, fotometría,

espectroscopía...

• Operación autónoma: observará todo lo que pase por su campo de visión

Astrometría Global desde el Espacio

ObjetivosObjetivosIntroducciIntroduccióón a n a GaiaGaia


PrecisiPrecisióónn

• Precisión nominal: 25μas– 1/144.000.000 de grado

– A Plutón

(5.3 horas luz): 700m

– A Próxima Centauri

(4.2 años luz): 4800km

• Evolución de la precisión:– Hiparco de Nicea (150 a.C.): 16 arcmin diámetro de la Luna– Tycho Brahe (1600): 30 arcsec 50km sobre la Luna– Hipparchos (1990): 1 mas hombre sobre la Luna– Gaia (2015): 25 uas pelota de golf sobre la Luna

~11 años luz (105.000.000.000.000 km)

IntroducciIntroduccióón a n a GaiaGaia


CatCatáálogologoIntroducciIntroduccióón a n a GaiaGaia


CatCatáálogologoIntroducciIntroduccióón a n a GaiaGaia


Funcionamiento e instrumentaciFuncionamiento e instrumentacióónn


ÓÓrbita y ley de barridorbita y ley de barridoEl satEl satéélitelite

~1.5x109 km150x109 km

~45º


Visto desde la Tierra...Visto desde la Tierra...El satEl satéélitelite


El plano focal de Gaia: El plano focal de Gaia: ““GigapGigapííxelxel””!!

Blue Photom

eter CC

Ds

Red Photom

eter CC

Ds

Movimiento

aparente

de las

imágenes

22

Radial Velocity Spectrometer CCDs

Astrometric measurements (AF CCDs)

106 CCDs

, 938 million pixels, 2800 cm2

104.26cm

42.3

5cm

Sky MapperCCDs

CrCrééditos: A. Short, O. Martditos: A. Short, O. Martííneznez

El satEl satéélitelite


El plano focal de Gaia: El plano focal de Gaia: ““GigapGigapííxelxel””!!

CrCrééditos: ESA, EADS/ditos: ESA, EADS/AstriumAstrium



Necesidades de procesadoNecesidades de procesado

• 106 CCDs, ~9 Megapíxeles

cada uno, modo TDI

– ~220.000 valores de 16 bits leídos cada milisegundo

• Lectura completa del plano focal: 3.5 Gbps!

Observaciones selectivas: “ventanas” alrededor de detecciones~7Mbps para detectores + ~2Mbps en promedio (a bordo)

• Procesado de datos a bordo (PDHS) de alto rendimiento– 7 VPUs

concurrentes

(PowerPC 600MHz)

• Condiciones muy variables:– De ~50 a >10000 estrellas/s

• Compresión de datos– Algoritmo a medida



ComunicacionesComunicaciones

• Cebreros (cerca de Madrid)– New Norcia (Australia)– Malargüe (Argentina)

• Descarga: ~7 Mbps, 8h/día• 25GB diarios (comprimidos)• ~100TB

en total



Estructura instrumentalEstructura instrumental




Pruebas finalesPruebas finales


Elementos del satElementos del satéélitelite


Los datos en brutoLos datos en bruto


Posiciones y brillosPosiciones y brillos

(10 medidas en cada observaci(10 medidas en cada observacióón)n)

Medidas realizadasMedidas realizadas


ColoresColoresMedidas realizadasMedidas realizadas


Espectros y velocidades radialesEspectros y velocidades radialesMedidas realizadasMedidas realizadas


Procesado de datos en tierraProcesado de datos en tierra


DesafDesafíío tecnolo tecnolóógico y conceptualgico y conceptual

• Debemos procesar unos 100TB

de datos en bruto– Con estrechas relaciones entre ellos:

Imágenes medidas, catálogo, apuntado, calibraciones…

– Usando algoritmos muy complejos

• Datos de entrada: ~1 billón (1012) de imágenes

• No sólo es un problema de potencia de cálculo– Espacio en disco, bases de datos extremadamente eficientes,

sistemas de comunicación de alta capacidad y baja latencia…

– Número de registros en BBDD (>1000 millones de entradas)

– Software

rigurosamente controlado y de la más alta calidad

Procesado de datos distribuido: “DPAC”



Data Processing & Analysis ConsortiumData Processing & Analysis Consortium

• 6 Centros de procesado de datos– ESAC (Madrid),

BD Principal– BSC (Barcelona)– CNES (Toulouse)– ISDC (Geneva)– IoA (Cambridge)– OATo (Torino)

• ~450 especialistas– Astrónomos,

programadores, ingenieros, etc.



Data Processing & Analysis ConsortiumData Processing & Analysis Consortium

• Nueve Unidades de Coordinación (CUs):– CU1: Arquitectura general– CU2: Simulación de datos– CU3: Núcleo de procesado– CU4: Procesado de objetos– CU5: Fotometría– CU6: Espectroscopía– CU7: Variabilidad– CU8: Astrofísica– CU9: Catálogo y

explotación de datos



DPAC desarrolla (y usa) cDPAC desarrolla (y usa) cóódigo libredigo libre

/** Copyright (C) Gaia Data Processing and Analysis Consortium* * This library is free software; you can redistribute it and/or modify it under* the terms of the GNU Lesser General Public License

as published by the Free* Software Foundation; either version 2.1

of the License, or (at your option)* any later version.* * This library is distributed in the hope that it will be useful, but WITHOUT* ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS* FOR A PARTICULAR PURPOSE. See the GNU Lesser General Public License for more* details.* * You should have received a copy of the GNU Lesser General Public License* along with this library; if not, write to the Free Software Foundation, Inc.,* 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA*/



Unidad de arquitectura general: CU1Unidad de arquitectura general: CU1

• Definición de las reglas generales para el desarrollo de software para Gaia/DPAC– Lenguaje: Java– Repositorio central de software: SubVersion– Gestión de problemas y peticiones: Mantis BugTracker– Estrategias de test (JUnit, Cobertura)– Interfaces entre sistemas (modelo de datos)– Interfaz entre centros: Aspera

FDT

(no libre)

– Formato de los datos (formato propio de ficheros: GBin)– Motor de DB recomendado: Intersystems

Caché

(no libre)

– Librerías básicas de software: Apache, etc.– Plantillas de documentación: LaTeX– Utilidades, scripts…– Estrategia de procesado de datos: “Trenes”

de datos

Unidades de CoordinaciUnidades de Coordinacióón del n del GaiaGaia

DPACDPAC



DPACDPAC




DPACDPAC




DPACDPAC




DPACDPAC



Unidad de simulaciones: CU2Unidad de simulaciones: CU2• Generación de datos realistas

– Probar los sistemas antes del lanzamiento!

• Definición de modelos

de Universo, de instrumento, etc.

• Gaia System Simulator (GASS):– Versiones simplificadas

del instrumento

– Generación de grandes volúmenes de datos

• Gaia Object Generator (GOG):– Generación a distintos niveles

de la cadena de procesado

• Gaia Instrument and Basic Image Simulator (GIBIS):– Máximo realismo


DPACDPAC



DPACDPAC

Unidad de simulaciones: CU2Unidad de simulaciones: CU2


Procesado principal: CU3Procesado principal: CU3

• Elemento clave en el procesado de datos de Gaia en tierra• Obtención de los productos principales:

– Posiciones en la bóveda celeste– Distancias (paralajes)– Movimientos propios (en la bóveda, no radiales)

• ~50GB/dia

(~500 millones de medidas), near-realtime

• Al término de los ~5 años

de misión:– 1.000.000.000.000 medidas

de posiciones individuales

– 10.000.000.000 incógnitas– Todas interconectadas determinación simultánea

Solución global iterativa


DPACDPAC


Créditos: B. Holl, L. Lindegren


DPACDPAC

Procesado principal: CU3Procesado principal: CU3


Conceptos Conceptos ““BigBig

DataData””

en en GaiaGaia

• Adquisición

de un montón de datos>1 billón (1012) de imágenes y medidas

• Primer refinado

básico (IDT)Parámetros de imagen, apuntado, identificación

~100.000 millones de registros

• Solución

a partir del conjunto global (AGIS)~1000 millones de registros

• Análisis

e interpretación (CU7/8/9)Nuevas estrellas, asteroides, supernovas…

Diagramas astrofísicos

Dinámica global de la Galaxia

AplicaciAplicacióón a otros camposn a otros campos


En resumenEn resumen• Gaia: astrometría global de alta resolución

– Datos en gran volumen (~1PB) y número (~1 billón)

• Nuevas aproximaciones

al problema

– Trenes de datos, compresión de datos, etc.

• Selección de tecnologías

adecuadas

– Procurando usar software libre

• Desarrollo de software– Licencia LGPL– Rigurosos controles de calidad (>100 desarrolladores)

• Aplicación a otros campos– Spin-off UB+UPC

• Publicación de datos y resultados– Es investigación artículos, congresos, tesis…– Los datos serán públicamente disponibles (en su momento)

JordiJordi

Portell i de Mora | Portell i de Mora | [email protected]@am.ub.es

Gracias por su atenciGracias por su atencióón!n!

Revelando la historia dinámica y química de nuestra Galaxia

http://http://gaia.ub.edugaia.ub.edu

Documents

Cartografiando la GalaxiaCartografiando la Galaxia · – CNES (Toulouse) – ISDC (Geneva) – IoA (Cambridge) ... – Estrategias de test (JUnit, Cobertura) – Interfaces entre