Human Motion Analysis

Oliver Scheickl 23. Oktober 2003

Human motion analysis

Oliver Scheickl1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking

6. Action Recognition

7. Gesichtserkennung

Human Motion Analysis



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



1. Motivation

Hauptgrund der Forschung: Mensch-Maschine-Interaktion

Neue Input Formen

Erweiterte Einsatzmöglichkeiten

Unabhängige Umgebungsanalyse



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



2. Anwendungen

Interfaces Mensch-Maschine-Kommunikation, Gestikerkennung, Zeichensprachen-übersetzung etc.

Überwachung Verkehr, Sicherheit in Parkhäusern und Flughäfen, Zugangskontolle etc.

Virtual Reality Computerspiele, Animation

Bewegungsanalyse Sport, Persönliches Training, Choreographie etc.

Bildcodierung Verbesserte Videokompression, Bildtelefonie



1. Motivation

2. Anwendungen

3. Grundlegendes

1. Stick figure

2. 2D Modell

3. 3D Modell

4. Gebiete

4. Körperanalyse

5. Tracking



3. Grundlegendes

Drei grundsätzliche Arten, den menschlichen Körperzu modellieren:

Stick figure



3. Grundlegendes


2D Modell

1. Motivation

2. Anwendungen

3. Grundlegendes

1. Stick figure

2. 2D Modell

3. 3D Modell

4. Gebiete

4. Körperanalyse

5. Tracking





3. Grundlegendes


3D Modell

1. Motivation

2. Anwendungen

3. Grundlegendes

1. Stick figure

2. 2D Modell

3. 3D Modell

4. Gebiete

4. Körperanalyse

5. Tracking





3. Grundlegendes

Die verschiedenen Arbeitsgebiete:

Bewegungs- und Körperanalyse

Tracking (Verfolgen) von Menschen

Aktivitätserkennung

Gesichts- Emotionserkennung

1. Motivation

2. Anwendungen

3. Grundlegendes

1. Stick figure

2. 2D Modell

3. 3D Modell

4. Gebiete

4. Körperanalyse

5. Tracking





1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



4. Körperanalyse

Zwei unterschiedliche Methoden:

Modellbasierter AnsatzGrundlage ist ein menschliches ModellBildsequenzen werden auf Modell übertragenVerknüpfung Bilddaten <=> Modell

Ansatz ohne ModellAnalyse folgt direkt aus dem RealbildAngleichung basiert auf Vorhersage bzw.Schätzung



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

1. Mit Modell

2. Ohne Modell

5. Tracking



4.1 Modellbasiert

Im Allgemeinen stick figure ModelleExtraktion des Körpers aus Hintergrund

Akita, Keyframes

Perales & Torres, Modellbibliothek

Merkmalsprojektion Extraktion



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

1. Mit Modell

2. Ohne Modell

5. Tracking



4.2 Ohne ModellSchwieriger

Grundlegende Arbeit von Johannson: Stichwort Moving Light Displays (MLD)Darauf aufbauend Arbeiten von:- Rashid, Erkennen menschlicher Strukturen- Webb & Aggarwal, Fixed-Axis-Assumption

Shio & Slansky arbeiteten mit „Blobs“

All diese Verfahren haben sich v.a. im BereichDer Handhaltungserkennung etabliert (Zeichen-Sprachenübersetzung)



5. Tracking1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



Erkennen und Verfolgen von Personen.Vorteil: Durch Nutzung uninterpretierter visuellerLow-Level-Merkmale geringer Rechenaufwand

Ikonisches Modell: Templatebasiert nur wenig Bewegung!Strukturelles Modell: nutzt Bildmerkmale auch schnelle Bewegung!

Man unterscheidet prinzipiell zwischen Verfolgenmit einer Kamera (Single Camera Tracking), undmit mehreren Kameras (multiple Camera Tracking)



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking

1. Single

2. Multiple



5.1 Single Camera Tracking

Die meisten Methoden des Tracking benutzenBildsequenzen einer Kamera.Merkmale zur Aufzeichnung sind gewöhnlichPunkte und Bewegungsblobs.

Polana & Nelson, Rechtecküberdeckung

Rossi & Bozzoli, vertikale Kamera



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking

1. Single

2. Multiple



5.2 Multiple Camera Tracking

Beliebig großer Beobachtungsbereich

Schwierigeres Angleichen

Cai & Aggarwal, Mittelachse

Sato, Menschen sind Kombination aus Blobs

Kelly, Voxel



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking




Aufbauend auf den Techniken der Körperanalyseund des Tracking ist der nächste Schritt dascomputergesteuerte Erkennen der Handlung einesMenschen (Action Recognition).

Verbreitete Sichtweise: Klassifikationsproblem

State-Space-Verfahren Template Matching



6.1 Template Matching1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking


1. Template M.

2. State-Space


Polana & Nelson, Zyklen in Bewegungen Zyklus = feste Anzahl Abschnitte

Bobick & Davis, Motion-Energy-Images (MEI) Motion-History-Images (MHI)



6.2 State-Space-Verfahren1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking


1. Template M.

2. State-Space


Jede Körperstellung = fester ZustandJede Sequenz besteht aus diesen Haltungen

Zustände verbunden mit Übergangs-Wkt.Hidden-Markov-Modell

Bobick & Campbell, MLD Aufzeichnungen

Wichtig: Oft Endhaltung entscheidend, nicht vorherige Bewegung!



6.2 State-Space-Verfahren1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking


1. Template M.

2. State-Space




7. Gesichtserkennung1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



Entscheidend bei Überwachungssystemen undMensch-Maschine-Interaktion

Die meisten Algorithmen gehen von einer vorherBekannten Position des Gesichtes aus.

Geometrische Analyse

Active Shape Model

Template Matching



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking




Geometrische Analyse:



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking




Active Shape Model:



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking




Template Matching:



1. Motivation

2. Anwendungen

3. Grundlegendes

4. Körperanalyse

5. Tracking



Vielen Dank fürdie Aufmerksamkeit!

Documents

Human Motion Analysis