Acquisition de liens série propriétaires rapides avec les ... · 23/11/2010 Réseau des électroniciens CNRS - Nancy – 23 Novembre 2010 [email protected] 1/17 Acquisition

23/11/2010 1/17Réseau des électroniciens CNRS - Nancy – 23 Novembre 2010 [email protected]

Acquisition de liens série propriétaires rapides avec les cartes Flex RIO de National Instruments

Exemple des MAPS en physique des particules …

Réseaux Régionaux des Electroniciens du CNRS - Région Alsace & Région Centre-Est

Notre migration … du développement de cartes d’acquisitionau labo … vers des solutions NI clef en main & ouvertes !

Cayetano SANTOS [email protected] Gilles CLAUS [email protected]

MAPS = Capteur à pixels position des particules

Module NI32 I/O LVDS

Carte Flex RIOPXIe 7962R

DAQ : Flex RIO - PXIe

Télescope de faisceau6 capteurs 600 K Pixels 120 MB/s

Mimosa 26~ 21 mm x 10 mm

600 K PixelsPixels 18,4 x 18,4 µm

De l’idée … à sa mise en oeuvre …


Le but de cette présentation …Montrer notre cheminement

Pourquoi diable passer à NI ? … et comment réussir ce pas ?

Présenter les projets dans lesquels les cartes Flex RIO seront utilisées

Pas de présentation technique approfondieSi des personnes sont intéressées Contacter JP Vola

Nous pouvons organiser ½ journée de discussions techniques au laboAspects Software & Performances DAQ Gilles CLAUS ( [email protected] )

Aspects Firmware carte Flex RIO Cayetano SANTOS ( [email protected] )


Plan Qui sommes nous : Groupe capteurs CMOS – DRS – IPHC ?

Nos besoins en systèmes d’acquisition numériques

Pourquoi et comment avons-nous migré vers NI ?

Les atouts des cartes Flex RIO

Déploiement de cartes Flex RIO dans des expériencesEUDET ( FP6 ) Télescope de faisceau

AIDA ( FP7 ) Infrastructures de test d’alignement d’échelles de capteurs

Développement firmware pour la carte Flex RIO

Conclusion

23/11/2010 4/17Réseau des électroniciens CNRS Grand Est - Nancy – 23 Novembre 2010 [email protected]

IPHC ( Strasbourg )Département de Recherches Subatomiques

Groupe Capteurs CMOS ( Marc WINTER )

R&D Capteurs monolithiques à pixels MAPSDonnent la position d’impact des particules ( x, y )

Plus de 30 capteurs conçus et validés depuis 1999Simple matrice de pixels à lecture analogique

MAPS numériques à suppression de zéros intégrée

L’organisation du groupe Définition des projets 5 Chercheurs

Conception Microélectronique 10 Ingénieurs

Caractérisation des capteurs 5 IngénieursConception des bancs de test & Caractérisation

Etudiants 7 Doctorants

Qui sommes nous ?

Le groupe Capteurs CMOS Le capteur : C’est une matrice de pixels• MAPS analogique Lecture analogique série

• MAPS numérique Discriminateur / colonne

• MAPS « intelligent » Suppression de zéros intégrée

SF

Futurs Détecteurs de vertex : STAR – ILC – CBM

120

mm

250 mm

Exemple : ILC

~ 300 106 pixels

Pitch 20-10 µm

Temps de lecture 25-200 µs

50 KRad/an1011 neq/cm²/an

Détecteur de Vertex ILC : 5 Couches de MAPS ~ 300 106 pixels

Les Applications des capteurs

~ 21 mm

~10

mm

En 10 ans de R & D …

• Surface x 100 : ~ 4 mm² 4 cm²

• Temps lecture / 10 : ~ 1 ms 0,1 ms

• Tolérance aux radiations x ~ 10

• Amincissement / 10 : ~ 500 µm 50 µm

1999 - Mimosa 16,5 mm² - 600 images / s

2008 - Mimosa 264 cm² - 10 000 images / s

2,56 mm

2,56

m

m

MAPS: R&D de long terme

STAR 2012Solenoidal Tracker at RHIC

EUDET 2007/2009Télescope de faisceaux

Objectif visé: l'ILC Réaliser par des paliers en performances Appliqués à d'autres expériences aux contraintes étagées dans le temps

Projet FP6 EUDET (DESY-Hamburg, Allemagne) Surface 6 x 2 cm2

Vitesse lecture Ana. 20 MHz Num à 100 MHz Temp. & Puissance: Pas de contraintes

Expérience STAR (RHIC – Brookhaven, USA) Surface ~1600 cm2

Vitesse lecture Ana. 50 MHz Num à 250 MHz Temp. & Puissance 30°C - 100mW/cm2

Expérience CBM (GSI – Darmstadt, Allemagne) Surface ~500 cm2

Vitesse lecture N, 15 x 109 pixels/capteur/s Rad Tol 1 MRad, > 1013 Neq /cm2

Expérience à l'ILC 5-6 couches de détection ~3000 cm2

Vitesse lecture N, 15 x 109 pixels/capteur/s Temp. & Puissance 30°C - 100mW/cm 2

Rad Tol - 300 kRad, ~1012 Neq /cm2

ILC – TDR 2012Internatinal Linear Collider

CBM 2012Compressed Baryonic Matter


Caractérisation en trois étapes : Test fonctionnel - Calibration – Tests en faisceau

Pixels ok

Pixels morts

Galette 6 pouces33 MAPS

Test Sous Pointes Affichage en ligne

MAPS

Télescope : Résolution ~ 1 um

Impacts Pionssur MAPS

Faisceau

(MIP )

Affichage en ligne

Fe55 Source

Test FonctionnelRendement de production [%]

Calibration - Photons XGain [µV/e-] – Collection charge [%]

Tests en faisceau ( CERN – DESY )Résolution [µm] - Efficacité détection [%]

MAPS &

Source

MAPS

X-Ray Photons

Hits

BonMauvais

Analyse hors ligne

Pic calibration5,9 keV

Carte Galette

Affichage en ligne

Profil faisceauRéférence

Analyse hors ligne

Ces bancs de test nécessitent des systèmes d’acquisition de données Mais seulement ~ 30 % des ressources humaines affectées au DAQ 70 % « Manip »


Nos besoins Systèmes d’acquisition Numérique

Le capteur Mimosa 26 ( 2009 )• 663 552 Pixels

• Surface ~ 2 cm²

• ~ 8680 images / seconde

• Suppression de zéro intégrée

Format des données fournies• Lien série propriétaire 4 fils

• Horloge 80 MHz ( CLKD )

• Signal de synchro ( MKD )

• Deux lignes de données ( D00, D01 )

• Cadence 80 MHz – 9216 bits / trame 20 MB/s

Le présent déjà passé … ou le passé encore présent

Le futur proche …

20 MB/s

Protocole propriétaire de lecture de Mimosa 26

Le capteur Ultimate ( 2011 )• Surface 2 x Mimosa 26

• ~ 5000 images / seconde

• Cadence 160 MHz - Flux ~ 38 MB/s

L’horizon lointain … ou proche ?Une réglette de capteurs ? ( 201? )• Surface N x Mimosa 26

• ASIC concentrateur de données Gigabit – Flux n x 100 MB/s

• Un seul fil – Horloge embarquée dans les données Protocole 8B10B

Mimosa 26

21 mm

10 m

m

Gb/s

Des besoins en constante évolution point de vue DAQ !


Le capteur Mimosa 26 Deux sorties série 80 MHz – Débit total 20 MB/s

Pas de carte « home made » > 40 MHz

Pas de ressources pour développer une telle carte

Les applications du capteurMimosa 26 n’est pas un proto de R&D C’est un capteur finalisé

Distribution du capteur Distribution de DAQ …

Utilisation dans des expériences Télescope de faisceau EUDET

DAQ VME développé par la collaboration ( INFN Ferrara )

Mais demande d’une solution DAQ « clef en main » Pourquoi ?Pour faciliter la duplication du télescope

Pas de ressources pour produire et tester de nouvelles cartes VME

Pas de ressources pour le SAV

Migration vers NI : Pourquoi ?

Les raisons de cette migration …

Protcole de lecture de Mimosa 26

Télescope de faisceau EUDET

Nous avons alors étudié et proposé une solution NI


Il faut une solution DAQ pour les expériencesLe temps mort n’est plus permis

Il faut lire en continu un TélescopeEUDET 2010 6 Capteurs 6 x 20 = 120 MB/s

Ce système doit être extensibleAIDA 2012 72 Capteurs 72 x 20 = 1,4 GB/s

DAQ PXIe Carte Flex RIO 7962R Codage de la désérialisation on board

Bande passante du bus PXIe ( x 4 = 800 MB/s )

Migration vers NI : Comment ?

2010 La réflexion à long terme2009 Le coup de feu

Il faut un équipement pour caractériser Mimosa 26 Au laboratoire et en faisceaux de test au CERN

Mais pas de contrainte de lecture continue du capteurLe système peut avoir du temps mort !

« Solution soft et souple » Carte PXI 6562Carte d’acquisition digitale 16 voies 200 MHz

Désérialisation par logiciel 94 % de temps mort

En deux étapes … composer avec les contraintes de la réalité …

Carte PXI 6562 dans son châssis Carte Flex RIO PXIe 7962R

Pas besoin d’expert firmware Nécessité d’un expert firmware …


Cartes Flex RIO : Leurs Atouts

Caractéristiques66 entrées différentielles

Module d’I/OLVDS inputs module NI 6585

Développer son propre module

Implantation de firmware utilisateurVirtex 5

PXIe bus x 4~ 200 MB/s / Lane

4 lanes / board = ~ 800 MB/s ?

Mémoire 512 MB DRAM

Les atouts !Firmware développé par l’utilisateur

Bande passante ~ 800 MB/sPeer-to-peer data streaming

Le module d’entréeL’acheter chez NI

Développer le sien


Déploiement des Flex RIO dans des expériences : EUDET

PXIe Link x 4

6 x Mimosa 26

Clock out 80 MHz

Start

2 Data links / Mi26Synchro

Clo

ck in

80

MH

zPXIe Crate

RAID Disk - 3 TBHDD 8264

NI PXIe Link x 4 = 4 x 200 MB/s Mesuré PXIe x 1 à ~ 195 MB/s

MXI Link ~ 600 MB/sMesuré à ~ 600 MB/s

EUDET JRA1 SWRun ctrl & Monitoring

LVDS front endPXI 6585

Flex RIO boardPXIe 7962R

CPUPXIe 8130

PXIe / MXI interfaceNI 8262

Ethernet link1 Gb/s ~ 100 MB/s

Il faut pouvoir soutenir 120 MB/sde la carte vers le disque

EUDET 6 Capteurs 1 Carte Flex RIO 1 Châssis

Débit No 1 Flex = D1 CPU

Débit No 2 Flex = D2 CPU Disque

Débit Flex Disque en “séquentiel” = Pire cas !(D1 x D2) / (D1+ D2) = 147 MB/s > 120 MB/s


Déploiement des Flex RIO dans des expériences : AIDA



PXIe Crate

PXIe Link x 4 = 4 x 200 MB/s

LVDS front endPXI 6585

Flex RIO boardPXIe 7962R

CPUPXIe 8130

PXIe / MXI interfaceNI 8262

PXIe Link x 4 = 4 x 200 MB/s

16 x

Mimosa 26

16 x

Mimosa 26

AIDA 72 Capteurs 2 Châssis 2 Cartes / Châssis 16 Capteurs / Carte

320 MB/s de la carte vers le disque

320 MB/s de la carte vers le disque


Le firmware : Architecture générale

Données serie(2 links at 80 MHz.)

Trigger merge

Vers FIFO interne

vers DRAM

vers PC (DMA)

Firmware développé par l’utilisateur ( Nous ! )Désérialisation des données ( 6 Capteurs lus en // )

Swap entre deux blocs de DRAM ( Pour réduire le risque de temps mort du au SW )Mimosa 26 remplit une RAM / Le bus PXIe via le Software vide l’autre

Développé en LabView FPGA Pour l’exercice de style ;-)


Le firmware : Vue détaillée …

FPGA vi

iv) Gestion du trigger

ii) deserialization de 16 voies

iii) Transfert vers la mémoire DRAM

v) Transfert DRAM vers PCA (DMA)

vi) estimation en ligne du temps

mort i) deserializationd'une voie


Le firmware : LabView FPGA ou VHDL ?

L’environnement LabView FPGA est incontournableMais il est possible d’intégrer du code VHDL dans le projet

HDL Interface nodeLimité à quelques dizaines de lignes

User define CLIPPas de limitation en nombre de ligne

Possibilité de spécifier des contraintes de timing

Socketed CLIPInterface HDL vers périphériques externe

IP Intégration nodeOutil d’importation d’IP

… Questions ? Cayetano SANTOS

On peut transposer certaines méthodes de travail de LabView à LabView FPGA Couche supérieure et Interface vers matériel LabView soft LabView FPGA

Traitement complexes ou critiques en temps d’exécution C dans une DLL VHDL


Résumé : Migration vers NI … notre expérience

Point de vue politique de groupePermet de réduire les ressource humaines en développement HW

Facilite la distribution des systèmes sans la charge du support technique & maintenance

Point de vue technique Deux approches complémentaires SW ou FWSolution souple ( debuggage ), facile à mettre en œuvre PXI 6562 + désérialisation logicielle

Solution performante ( pas de temps mort ) Flex RIO PXIe 7962R + désérialisation firmware

Atouts de la famille de cartes Flex RIOPermettent à l’utilisateur d’implanter son propre firmware

La grande bande passante du bus PXIe 800 MB/s Flex RIO / CPU

Le module adaptateur d’entrée ( NI ou développé par l’utilisateur )

Coût des Flex RIO & Temps de mise en oeuvreSimilaire au VME, même moins cher EUDET : Cartes VME ~ 12 000 € or Flex RIO + Adaptateur ~ 6000 €

Pour un développeur firmware expérimenté MAIS ne connaissant pas LabView ~ 2 mois pour notre application

Points faibles / Limitations ( temporaires ? ) Pas de possibilité de simuler l’ensemble d’un projet Tests de validation « de briques élémentaires » nécessaires

Mais le support de NI a été significatif


Conclusion Programme Big Physics de NI

Migration facilitée par NIIPHC NI : Explication de nos besoins et contraintes de DAQ – Proposition d’architectures DAQ

NI IPHC : Retour sur expérience d’autres utilisateurs NI – Validation d’architectures DAQ

Aide au démarrage du projet via Ingénieur d’application – Support technique efficace

Ceci entre dans le cadre du Programme Big Physics de NI ( ni.com/physics )S’intéresse aux problématiques des grands équipements scientifiques

Physique des particules LHC ( CERN ) Système de contrôle des collimateurs

Fusion Nucléaire / Tokamak ITER, MPI Contrôle de confinement de plasma

Grands Télescopes SALT, MPG-ESO Contrôle de positionnement de matrices de miroirs

Ces projets utilisent des COTS ( Component Off The Shelves ) NIPoint de vue matériel Cartes d’acquisitions, châssis PXI – PXIe

Point de vue logiciel Déploiement de SW Labview / Labview RT à grande échelle

L’idéeNI fournit les infrastructures : Acquisition – Bande passante – Stockage des données

Notre temps peut être concentré sur le développement SW ( CPU ) et FW ( FPGA on board )

Si nécessaire nous pouvons « customizer » leurs cartes Ex : Adaptator module des cartes Flex RIO

Nous pouvons influencer la « Roadmap » de NI sur ces développements Forte interaction avec R&D NI


Pour en savoir plus : Quelques slides sur le FW …

Slides extraites de la présentation effectuée par Cayetano

lors des Journées VLSI du 22 – 24 Juin 2010


NI FlexRIO System Architecture

PXI

Hos t P C

NI FlexRIO Adapter Module• Synchronization• Clocking/triggers• Power/cooling• Data streaming

NI FlexRIO FPGA Module PXI Platform• LV FPGA Target• 66 LVDS Signals at 1 Gb/s• 132 Single-Ended up to 400 Mb/s• Up 128 MB of DDR2 DRAM

• Interchangeable I/O• Customizable by users• Adapter MDK

Observé 120 MB/s. (PXI) - 750 MB/s. (PXIe)

DSP-focused Virtex-5 SX50T FPGAmm, direct access to FPGA I/O resources

594 KB embedded block RAM66 differential pairs or 132 single ended

Two global clock inputs16 DMA channels for high-speed data streaming at more than 800

MB/sPeer-to-peer data streaming to and from other FPGA modules and

select NI modular instrumentsAdapter module is required for I/O

FPGA LX85 Virtex-5DRAM DDR2 128 Mo


•IO Module•Adapter Module (AM)

• FPGA Module • PXI Module• 795xR

•FPGA•LV FPGA Target

Mémoire 128 MB DRAM DDR2

Données serie(2 links at 80 MHz.)

Trigger merge

Vers FIFO interne

vers DRAM

vers PC (DMA)

Code Embarqué(désérialisation)


FPGA vi

iv) Gestion du trigger

ii) deserialization de 16 voies

iii) Transfert vers la mémoire DRAM

v) Transfert DRAM vers PCA (DMA)

vi) estimation en ligne du temps mort i) deserialization

d'une voie

Code Embarqué (ii) (désérialisation)


Generation du bit stream …

• Device Utilization Summary:

• Selected Device : • 5vlx85ff676-1

• Number of BUFGs 6 out of 32 18%• Number of BUFGCTRLs 1 out of 32 3%• Number of BUFIOs 4 out of 56 7%• Number of DCIRESETs 1 out of 1 100%• Number of FIFO36_72_EXPs 2 out of 96 2%• Number of FIFO36_EXPs 2 out of 96 2%• Number of IDELAYCTRLs 3 out of 16 18%• Number of LOCed IDELAYCTRLs 3 out of 3 100%

Number of ILOGICs 103 out of 560 18%Number of LOCed ILOGICs 4 out of 103 3%

Number of External IOBs 328 out of 440 74%Number of LOCed IOBs 328 out of 328 100%

Number of IODELAYs 94 out of 560 16%Number of LOCed IODELAYs 4 out of 94 4%

Number of External IPADs 6 out of 442 1%Number of LOCed IPADs 6 out of 6 100%

Number of OLOGICs 168 out of 560 30%Number of PLL_ADVs 1 out of 6 16%Number of RAMB18X2s 3 out of 96 3%Number of RAMB36SDP_EXPs 4 out of 96 4%Number of STARTUPs 1 out of 1 100%Number of SYSMONs 1 out of 1 100%Number of Slice Registers 11273 out of 51840 21%Number used as Flip Flops 11273Number used as Latches 0Number used as LatchThrus 0

Number of Slice LUTS 6005 out of 51840 11%Number of Slice LUT-Flip Flop pairs 13001 out of 51840 25%


Interface de contrôle coté PC

i. configuration du FPGA

ii. envoie des paramètres

iii. Demande

de données

iv. MATLAB script

v. enregistrement en disque


Il est possible de contourner le codage en LabView / FPGA

• LabView FPGA ne fournis l'accès qu'à un certain nombre, limité, des ressources matérielles dans le FPGA (inversion d'horloge ??)

• Le codage en Labview simplifie le travail …mais seulement SI on n'a pas d'expérience en codage HDL

• Possibilité d'avoir différents domaines d'horloge ?

Instanciation de DCM, SRL16, DSP48, etc. ?

• Prévu pour intégrer IP de chez Xilinx ?

• Permets l'utilisation de ressources FPGA I/O spécifiques (IODELAY) ?

• Optimisation des ressources (vitesse, surface) ?

• Possibilité de réutiliser du code existant ?

HDL Interface NodeUser Defined CLIP

Socketed CLIPIP Integration Node

Est-il possible d'aller encore plus loin ? ...


La limitation en nombre de lignes vient du fait d'avoir àrentrer le code dans le espace prévu à cet effet GUI / Template LabView / FPGA Possibilité d'instancier au top niveau des composants fournis dans des fichiers externes Il faut fournir les signaux 'clk' et 'aReset' Pas pratique pour développer des projets plus larges

HDL Interface Node Permets d'écrire en VHDL des dizaines de lignes de code


Avantages par rapport à LV / FPGA:

Exécution du code dans des multiples domaines d'horloge Possibilité d'inclure des contraintes dans la compilation Permets de communiquer directement avec pins d'entrée / sortie

User Defined CLIP (i) Méthode privilégié pour la création de projets en VHDL


User Defined CLIP (ii) Intégration via l'interface LV / FPGA


Socketed CLIP (i) Interface HDL avec périphériques externes Code HDL fournis par NI: passerelle pcb → vi LabView Fortement couplé avec l'interface LV / FPGA Liste de signaux / fonctionnalité fournie non modifiable Possibilité de rajouter des signaux (données) coté vi LV & custom netlist MIG Xilinx sous forme de fichier .ngc et enveloppe VHDL


Socketed CLIP (ii) Instantiation de ressources Virtex V

DCM, PLL, DSP48, IODELAY ... BUFGCE, BUFG ...


Gadget pratique à télécharger sur http://decibel.ni.com/content/docs/DOC-5907

Donne accès à toutes les IP fournies par Xilinx (CoreGenerator)

1) Générer les fichiers .xco, .vhd, etc. 2) Importer ces fichiers à l'aide du node

IP Integration Node Outil d'importation des IP générés par Xilinx

Coregen (fichiers .xco)


Conclusions

Il est possible de contourner le codage en LabView ? ...

• Fort couplage entre le code et la GUI de développement / LabView FPGA • NI fournis les instruments de base pour intégrer du code VHDL• Il es possible d'aller au delà et customiser le projet … jusqu'à un certain point

• Pas d'accès aux options d'un projet ISE / Xilinx• Pas de connections JTAG → pas de Chipscope (débogage matériel)• NI rajoute une couche supplémentaire … dommage Cayetano Santos

[email protected]

Questions ?

Avantages dans l'approche LabView / FPGA

• Permets de se concentrer sur le firmware / software • Le matériel est prêt à l'emploi → pas de test, bugs et autres problèmes• Système ouvert et flexible: facilement extensible et customisable• Pas limité à une seule application (rentabilité de l'investissement):

basé sur un FPGA Virtex V• Modules d'entrée / sortie échangeables• Système utilisé en faisceau de test au CERN avec des résultats satisfaisants


Développements HW : Quelques slides sur nos cartes d’acquisition

Présentation des cartes d’acquisitionAnalogiques et Numériquesdéveloppées au laboratoire


Développements HW : Carte d’acquisition analogique

DAQ USB 2.0

Virtex 2FPGA

USB 2.0BUS

SupervisionPC Windows

Analog

• 1-4 ADC 12 bits – 40 Mhz

• 1 ADC 14 bits – 100 MHz

• 106 pixels shared 1-4 Inputs

Digital

• Pattern generator & Trigger

• 16 Digital inputs

Daq

• Transfer 15 MB/ s USB 2.0

Firmware

• CDS Calculation ( Done )


Développements HW : Acquisition analogique multicartes

Analogique

Besoin8 Voies @ 40 MHz – 12 bits

Ce dont on disposeCarte ADC USB 4 voies - 12 bits @ 40 MHz

Solution ?Deux cartes ADC USB

Carte de duplication & distribution d’horloge


Numérique

Besoin16 Voies @ 40 MHz

Ce dont on disposeCarte ADC USB 4 voies - 12 bits @ 40 MHz

Solution ?Bypasser un ADC 16 entrées digitales LVTTL

Développer une carte fille d’interface vers signaux LVDS

Développements HW : Acquisition analogique multicartes


Développements HW : Banc mixte analogique et numérique Mimosa 26

1 – PCB pour Mimosa 26Carte Proximité & Auxiliaire

2 – Slow Control ( JTAG )Pour configurer Mimosa 26

3 – DAQ analogique pour le pixel

4 – DAQ digital National Instruments

• Sortie normale ZS

• Test Discriminators + Pixel

Nous avons besoin de …1. PCB sur lequel Mimosa 26 est bondé & des cartes d’interface2. Slow control pour configurer Mimosa 26 3. DAQ analogique pour caractériser les pixels4. DAQ digital pour caractériser la sortie normale ZS & discriminateurs5. Logiciels d’analyse des données

5 – Logiciel d’analyse

JTAG via PC // Port

Collection de charge Fe55

Courbes en”S” des discriminateurs

De quoi avons nous besoin pour caractériser Mimosa 26 ?

Documents

Acquisition de liens série propriétaires rapides avec les ... · 23/11/2010 Réseau des électroniciens CNRS - Nancy – 23 Novembre 2010 [email protected] 1/17 Acquisition