Upload
gisa-strathman
View
109
Download
3
Tags:
Embed Size (px)
Citation preview
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20051
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Active Shape and Appearance
Models
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20052
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Inhalt
• Grundlagen (2D):– PDM: Point Distribution Model
– ASM: Active Shape Model
– AAM: Active Appearance Model
• Methoden:– 3D PDM und ASM
– 3D und 4D Active Appearance Models
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20053
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Point Distribution Model (PDM) (1/4)
Beinhaltet durchschnittlicheForm eines Training Sets mit ihrer Varianz Formanalyse
Training Set = N shape samples mit jeweils n landmark points
Der Vektor xi beschreibt die n landmarks der i-ten Form
Xi = (xi0, yi0, xi1, yi1,……xin,yin)T
wobei (xik, yik) der k-te Punkt (landmark) dieser Form ist.
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20054
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Point Distribution Model (PDM) (2/4)
Principal Component Ananlysis (PCA)
Berechnung des Durchschnittsvektors
und der Abweichung jeder Form vom Durchschnitt
1
1 N
ii
x xN
i ix x x
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20055
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Point Distribution Model (PDM) (3/4)
Daraus kann nun die Kovarianzmatrix S erstellt werden
• Die Abweichungen können durch die Eigenvektoren (pk) beschrieben werden.
• Die Einvektoren können in Kombination mit den größten Eigenwerten die signifikantesten Formen von Abweichungen beschreiben.
1
1 NT
i ii
S x xN
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20056
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Point Distribution Model (PDM) (4/4)
Jede Form des Trainingsets kann mit Hilfe der Durchschnittsform und einer Summe dieser Abweichungen angenähert werden
P =(p1p2…pt) wobei Matrix der ersten t Eigenvektoren
b =(b1b2…bt) Gewichtungsvektor für jeden Eigenvektor
Neue Formen können durch Variieren der Parameter erzeugt werden!
x x Pb PT P I
( )Tb P x x
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20057
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Active Shape Model (ASM) (1/2)
Erweiterung des PDM mit einem Matching Algorithmus • Segmentierung• Motion Tracking
Iteratives Anpassen des Models an die Bilddaten innerhalb der trainierten statistischen Limits
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20058
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Active Shape Model (ASM) (2/2)
Abschätzung neuer Update-Positionen für landmarks
z.B. durch grey-level Modelle
Grauwertmodell: Berücksichtigung der Grauwerte in der Umgebung der landmarks
Die Differenz zwischen den zuzufügenden Punkte und Modelpunkte ändert die Modelausrichtung in jeder Iteration
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.20059
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Active Appearance Model (AAM)
Erweiterung der ASM:statistisches Helligkeitsmodel vonkompletten volumetrischen Patches um die landmarks
• Form-Modell (PCA)• Ausgangsbild wird mittels Image Warping in Form
gebracht• Active: Automatische Anpassung eines unbekannten
Bildes mit Hilfe der gelernten Transformationen innerhalb der Limits
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200510
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
PDMs, ASM und AAMs
…..haben sich sehr durch ihre Robustheit bewährt
Es gibt aber natürlich auch interessante Alternativen:Statistical deformation Models, M-reps,
wahrscheinlichkeitstheoretische Atlanten…
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200511
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Erweiterung auf 3D und höhere Dimensionen
Absolut notwendig da moderne (medizinische) Geräte Daten in 3D und mehr bereits liefern
Schwierigkeit: Riesige Datenmengen
richtige Point Correspondence
konsistentes setzen von Landmarks
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200512
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Point Distribution Models (1/4)
• Konturen im Training Set
einzeichnen und labeln
(flood-filling)
• Anpassen der gelabelten
Formen durch eine globale
Transformation ( Translation,
Rotation und Skalierung 9 Freiheitsgrade) an ein Reference Sample (RS) aus dem Training Set.
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200513
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Point Distribution Models (2/4)
• Konstruktion eines Atlas durch Mittelung der Distanztransformation der angepassten Formen
• Wiederholung bis Atlas stabil
Reference Coordinate System (RCS)
• Formen werden mit Hilfe von non-rigid-registration in RCS aufgenommen
(Lokale Transformation: Free Form Deformations basierned auf B-Splines )
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200514
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Point Distribution Models (3/4)
• Das Mittel der erhaltenen lokalen Transformationen wird auf das RCS angewandt Natural Coordinate System (NCS)
• Setzen von Landmarks am
Atlas (marching cubes
Algorithmus: Oberflächen-
triangulierung)
• Landmark Propagation: Landmarks werden durch inverse Transformation für jede Form automatisch berechnet
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200515
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Point Distribution Models (4/4)
• PCA kann
durchgeführt
werden
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200516
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Active Shape Models
Schlüsselkriterien: – Unabhängigkeit von der Orientierung der Bildschichten und der Art
und Weise der Bilderzeugung (MR, CT)
– Anwendbarkeit auf nur wenig gesampelte Daten mit beliebiger Orientierung
2D Bilddaten zum updaten des Models Erzeugung der Update-Punkte basierend auf
RELATIVEN Farbdifferenzen
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200517
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Model Matching
Extract contours from mesh
Sample contours
Generate new candidate position for sample points
Propagate point displacements to mesh vertices
Convergence? NO YES
Deform model to minimize the shape difference with the points cloud
Align model mesh todisplace points cloud
Align 2D-in-plane displacement vectors to 3D vertex normals
Finished
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200518
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Fuzzy Inference System
Bestimmung des 2D point-displacement vectors durch Pixelklassifikation
Einteilung durch relative Farbdifferenz in • Blut- • Muskel-• oder Luft-Pixel
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200519
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D and 4D Active Appearance Models
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200520
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
2D + time Active Appearance Models
• Problem: MR nicht zeitkontinuierlich• Erweiterung von 2D + time modeling:
– Zeitdimension in Model codiert
– „landmark time frames“
– nearest neighbour interpolation
• => shape und intensity vectors werden verbunden• => 2D AAM
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200521
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D AAM: Modeling Volume Appearance
• intensity model
• sample volumes => average shape (warping)– voxel-wise correspondence
– voxel intensity: shape-free vector
• Warping– Mapping-Funktion
– piecewise affine warping
– thin-plate spline warping
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200522
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D AAM: Modeling Volume Appearance
• 3D: piecewise affine warping– Tetraeder (x1, x2, x3, x4)– Punkte im Tetraeder: x = αx1 + βx2 + γx3 + δx4
– 3D Delauny Triangulierung
– baryzentrische Koordinaten
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200523
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D AAM: Modeling Volume Appearance
1. PDM• xi…. 3D landmark für sample i
• 3D PDM
• shape sample: lineare Kombination von Eigenvektoren
2. Warping• Ziel: shape-free intensity vectors
3. Normalisieren• shape-free intensity vectors auf Durchschnitts-Intensität
normalisieren
• Average intensity: 0; average variance: 1
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200524
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D AAM: Modeling Volume Appearance
4. PCA durchführen
5. Lineare Kombination• intensity sample => lineare Kombination von Eigenvektoren
6. Konkatenation• shape vectors + gray-level intensity vectors
7. PCA durchführen
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200525
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D Active Appearance Models: Matching
• appearance model => image data– root-mean-square intensity difference minimieren
• Modifizierung der affinene Transformation, der Intensity-Parameter und der Appearance-Koeffizienten
– gradient descent method
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200526
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200527
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Multi-view Active Appearance Models
• 3D und 2D time AAMs– single image set at a time
• cardiac MR– mehrere Blickwinkel
• MVAAM– Zusammenhang und Korrelation der verschiedenen image sets
– Information aus allen views
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200528
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Multi-view Active Appearance Models
• align training shapes• shape vectors kombinieren• PCA an Kovarianz-Matrix durchführen• gleich bei intensity model
• cardiac MR views, linksventrikuläre Arteriendarstellung
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200529
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
3D + time Active Appearance Models
• Erweiterung des 3D AAM frameworks– Zeitelement im Model
– Objekte => time correspondence shape
– texture vectors => single shape and texture vector
ICG – Institut für Maschinelles Sehen und Darstellen
Professor Horst Cerjak, 19.12.200530
3D Active Shape Models Ma-GL Sommersemester 2007
Ma G
L
Bettina Münzer, Christian Dobnik
Referenzen
• Handbook of Mathematical Models in Computer Vision
Ergänzende Papers:• T. Cootes, G. Edwards, and C. Taylor. Active appearance models. IEEE
Trans. Pattern Anal. And Machine Intelligence, 23:681-685, 2001• T. Cootes, G. Edwards, and C. Taylor. Active appearance models. IEEE
Trans. Pattern Anal. And Machine Intelligence, 23:681-685, 2001 • A. Frangi, D. Rueckert, J. Schnabel, and W. Niessen. Automatic construction
of multiple-object three-dimesional statistical shape models: application to cardiac modelling. IEEE Transactions on Medical Imaging, 21(9):1151-66,2002
• H. van Assen, M. Danilouchkine, F. Behloul, H. Lamb, R. van der Geest, J. Reiber, and B. Lelieveldt. Cardiac LV segmentation using a 3D active shape model driven by fuzzy inference. In Medical Image Computing & Computer Assisted Interventions – MICCAI, volume 2878 of Lecture Notes in Computer Science, pages 535-540. Springer Verlag, Berlin 2003
• S. Mitchell, J. Bosch, B. Lelieveldt, R. van der Geest, J. Reiber, and M. Sonka. 3-D active appearance models: segmentation of cardiac MR and ultrasound images. IEEE Transactions on Medical Imaging. 21(9=:1167-78, September 2002