<is web> Information Systems & Semantic Web
University of Koblenz ▪ Landau, Germany
5. Feature - Transformationsverfahren
5.1 Diskrete Fourier-Transformation (DFT)
5.2 Diskrete Wavelet-Transformation (DWT)
5.3 Karhunen-Loeve-Transformation (KLT)
5.4 Latent Semantic Indexing (LSI) und Singulärwertzerlegung (SVD)
<is web> Information Systems & Semantic Web
University of Koblenz ▪ Landau, Germany
Einführung und Motivation
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 3
Einführung
Transformation von Mediendaten zur Generierung von Feature-Daten
bestimmte Eigenschaften der Mediendaten sollen explizit gemacht werden
Grundverständnisse der linearen Algebra erforderlich
Einsatz zur Feature-Normalisierung, -Erkennung und -Aufbereitung
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 4
Repräsentation von Grauwertbildern
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 5
Repräsentation von Farbbildern in RGB
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 6
Repräsentation von Video
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 7
Beispiel: Merkmalsberechnung aus Textur
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 8
Beispiel: Merkmalsberechnung aus Textur
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 9
Beispiel: Merkmalsberechnung aus der Form
<is web> Information Systems & Semantic Web
University of Koblenz ▪ Landau, Germany
5.1 Fourier Transformation
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 11
5.1 Fourier-Transformation
benannt nach franz. Mathematiker Jean Baptiste Joseph Fourier
periodische Funktion als Summe von Sinus- und Kosinusfunktionen darstellbar
Darstellung im Ortsbereich versus Darstellung im Frequenzbereich
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 12
äquivalente Darstellung (ineinander verlustfrei überführbar)
Darstellung im Frequenzbereich: niedrige Frequenzen für groben Funktionsverlauf hohe Frequenzen für Detailinformationen (etwa abrupte
Funktionswertänderungen)
5.1 Fourier-Transformation (2)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 14
Beispiel (2)
Anteil Kosinus- und Sinusschwingungen:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 15
Beispiel (3)
Frequenzspektrum:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 16
Zweites Beispiel
zufällig erzeugte Funktion:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 17
Zweites Beispiel (2)
Frequenzspektrum und Kompaktheit:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 18
Gedankenexperiment
Darstellung im Orts- und Frequenzbereich:
Lautsprecher als Tonquelle erzeugt konstantes Geräusch→ Orts- bzw. Zeitbereich
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 19
Gedankenexperiment (2)
entsprechende Saiten eines Klaviers schwingen auf Grund Geräusch→ Frequenzbereich
Rekonstruktion des Geräuschs durch anregen der entspr. Klaviersaiten
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 20
Diskrete Fourier Transformation - DFT
Multimedia-Signale sind diskrete Funktionen
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 21
Anwendung der DFT
Feature-Normalisierung
Feature-Erkennung
Feature-Aufbereitung
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 22
Anwendung DFT zur Feature-Normalisierung
Unterdrückung von Störeinflüssen innerhalb Medianobjekten
Problem: Trennung Nutz- von Stördaten
Trennung manchmal im Frequenzbereich möglich→ Anwenden von Frequenzfiltern
Beispiel: Motorgeräusche bei Camcorder-Aufnahmen mit eingebautem Mikrofon
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 23
Beispiel Frequenzfilter:
Entfernung von Frequenz f=100 ergibt:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 24
Beispiel Frequenzfilter:
Entfernung von Frequenz f=100 ergibt:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 25
Anwendung DFT zur Feature-Erkennung
Korrespondenz zwischen zu extrahieren-den Eigenschaften und Frequenzen möglich
Beispiel Audio-Daten Trennung gesprochene Sprache von Musik anhand
Frequenzspektrum Sprechererkennung
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 26
Beispiel: Texturdaten in Rasterbildern anhand Frequenzspektrum(dominierende Frequenz, Ausrichtung)
Ausnutzung Invarianz bzgl. Verschiebung (Translation) im Ortsbereich→ Unterdrückung der Phasenwinkel
Anwendung DFT zur Feature-Erkennung (2)
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 27
Beispiel Translationsinvarianz
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 28
Bsp. Translationsinvarianz (2)
Anteil Kosinus- und Sinusschwingungen:
<is web>
ISWeb - Information Systems & Semantic Web
Marcin [email protected] 29
Bsp. Translationsinvarianz (3)
Frequenzspektrum: