Semantic Multimedia - Seminar Sommersemester 2011 - Kickoff

SEMANTIC MULTIMEDIA

SeminarDr. Harald Sack / Jörg Waitelonis

Magnus Knuth / Nadine Ludwig / Lina WolfHasso-Plattner-Institut für Softwaresystemtechnik

Universität PotsdamSommersemester 2011

Die nichtkommerzielle Vervielfältigung, Verbreitung und Bearbeitung dieser Folien ist zulässig (Lizenzbestimmungen CC-BY-NC).

Dienstag, 12. April 2011

http://creativecommons.org/licenses/by-nc/3.0/deed.de

http://creativecommons.org/licenses/by-nc/3.0/deed.de

1. Dozenten / Tutoren

2. Semantic Multimedia

3. Seminarthemen

4. Administratives

Seminar: Semantic Multimedia, Dr. Harald Sack et. al., Hasso-Plattner-Institut, Universität Potsdam

2

Semantic Multimedia



3

Semantic MultimediaDozenten / Tutoren

Dr. Harald Sack■ Senior Researcher am HPI

■ Leiter der Forschungsgruppe „Semantische Technologien“

■ Forschungsschwerpunkte:

□ Semantic Web Technologien

□ Multimedia Retrieval

□ Wissensrepräsentation

■ Yovisto.com / SEMEX

■ THESEUS / Mediaglobe / CONTENTUS



Dipl. Inform. Jörg Waitelonis

■ Studium Informatik Uni-Jena bis 2006

■ 2006-2007 Exist-Seed Projekt Osotis

■ seit 2007 Gründer von yovisto.com

■ Entwickler von REPLAY (ETH-Zürich)

■ Forschung: Semantic Web, Multimedia-Retrieval, Suchmaschinen Technologien

4




5Dipl.-Inf. Magnus Knuth

■Studium Informatik, Uni Leipzig bis 2007

■ Institut für Medizinische Informatik, Statistik und Epidemiologie, Uni Leipzig 2006-2010

■Research Assistant am HPI, Contentus & Mediaglobe

■ Forschung: Semantic Web, Knowledge Management, Information Retrieval, Personalisierte Webapplikationen




6Dipl.-Inf. Nadine Ludwig

■Studium Informatik, TU Ilmenau bis 2005

■2005-2010 TU Berlin:

• kooperative Lernszenarien

• Integration von Semantic Web Technologien in kooperative Lernplattformen

■ seit 05/2010 am HPI:

• Semantische Analyse, Named Entity Recognition, Disambiguierung




7




8


■ THESEUS Forschungsprogramm: Neue internetbasierte Wissensinfrastruktur.

■ UseCase Contentus: Technologien für die Mediathek der Zukunft.

■ Projekt Mediaglobe: Effizientes Arbeiten mit Mediadaten in Medienarchiven und Rundfunkanstalten.

■ effiziente Suche nach/in AV-Inhalten in Medienarchiven und Rundfunkanstalten

■ Arbeitsprozesslösung für die effiziente Erfassung, Aufbereitung und Verwertung von AV-Inhalten





3. Seminarthemen

4. Administratives

Semantic Multimedia



10 Multimedia-Analyse - eine (Kurz)-Vorstellung■ Bsp. Google

□ wie kommt Google zu Informationen (Metadaten) über das Video?

Semantic MultimediaKurze Einführung



11 Wie findet man etwas in einem audiovisuellen Archiv?

1. Schritt: Digitalisierung analoger AV-Medien Damit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen sie zuerst digitalisiert werden




12


Wie findet man etwas in einem audiovisuellen Archiv?

2. Schritt: VerschlagwortungDamit audiovisuelle Daten einer computergestützten gezielten Suche zugänglich werden, müssen Beschreibungen, Schlüsselwörter, etc. üblicherweise in Textform vorliegen.



13


Bedeutung/Semantik inhaltsbeschreibender (textueller) Daten

• Wir benötigen textuelle Beschreibungen

• des Inhalts

• des Produktionsprozesses

• der technischen Parameter

• etc....

• Diese textuellen Beschreibungen werdenals Metadaten bezeichnet

• Metadaten für AV-Inhalte werden meist immer noch manuell erstellt

Manuelle Audio-/Videoanalyse



14


Automatisierte Audio-/Videoanalyse

automatische inhaltliche Analyse ist •schwierig und•berechnungs-/speicheraufwändig

© Friedrich-Wilhelm-Murnau-Stiftung

Marlene DietrichPerson

Audio-Information„...ich bin von Kopf bis Fuß...“

{

Person?


http://www.murnau-stiftung.de/

http://www.murnau-stiftung.de/


15


Inhaltsbezogene Videoanalyse■ Ergebnis: Videosegmente mit zugeordneten, zeitbezogenen Metadaten

■ Metadaten setzen sich zusammen aus kombinierten Low Level / High Level Deskriptoren

■ Metadaten als Basis für traditionelles Information Retrieval

Metadata Extractiontime



16 Metadaten

„Metadaten sind Daten, die Informationen über andere Daten enthalten“ und „Metadaten werden benötigt, um in der Lage zu sein, einen bestimmten Zweck zu erfüllen (oder) ein bestimmtes Ergebnis zu erreichen“ (informelle Definition, Wikipedia)

„Metadaten sind strukturierte, kodierte Daten, die Charakteristika informationstragender Entitäten beschreiben, zum Zweck der Identifikation, Recherche, Beurteilung und der Verwaltung der damit beschriebenen Entitäten.“ (W.R. Durell, 1985)

„Metadaten sind maschinenlesbare Informationen über elektronische Ressourcen oder andere Dinge“ (W3C)




17

Identifikation überISBN / ISSNAutor(en)Titel...

Klassifikation überKategorienSchlüsselwörterAbstract / Zusammenfassung...

Metadaten

•einfaches Beispiel: bibliografische Metadaten




18

• Title: Namen des Objekts. • Creator: Personen, Organisationen oder Dienste, die in erster Linie für den

Inhalt des Objekts verantwortlich sind, z.B. Autorinnen oder Autoren. • Subject: Thema (topic) des Objekts, typischerweise Stichwörter, Deskriptoren

oder Elemente eines Klassifikationssystems. • Description: Beschreibung des Inhalts des Objekts als Text, z.B. als Abstract

oder Inhaltsverzeichnis. • Publisher: Personen oder Organisationen, die dafür verantwortlich sind, das

Objekt zugänglich zu machen. • Contributor: Personen oder Organisationen, die wesentliche Beiträge zum Inhalt

des Objekts geleistet haben, aber nicht unter Creator genannt sind (Herausgebende, Übersetzerinnen, Illustratoren).....


Strukturierte Metadaten

• bestehen aus Name-Werte Paaren (Autor = “Böll, Heinrich“)

• sind typisiert (Autor ist vom Typ Zeichenkette)

• Semantik strukturierter Daten beruht auf gemeinsamer Vereinbarung(z.B. Standardisierung bei Dublin Core)



19

Tierreich (Animalia)

Wirbeltiere

Mensch (Homo)

Moderner Mensch (Homo sapiens)

Menschenartige (Hominidae)

Primaten

Säugetiere (Mammaliae)

Mehrzeller (Eukaria)


Strukturierte Metadaten

• können hierarchisch strukturiert werden (Taxonomie)



20

Hauptklassen000 Inf.-Wiss., allg. Werke100 Philosophie200 Religion300 Sozialwissenschaften400 Sprachen500 Naturwissenschaften600 Technik (Angew. Wiss.)700 Künste800 Literatur900 Geschichte


Strukturierte Metadaten• Klassifikationssysteme

z.B. Dewey Decimal System

DDC 22 (2003)•4 Bände•4000 Seiten•45.000 Klassen•96.000 Registerbegriffe

DDC 1 (1876)•44 Seiten


Unstrukturierte Metadaten• als unstrukturierte Metadaten werden textuelle Metadaten bezeichnet, deren Semantik

nicht durch vorherige Vereinbarung festgelegt ist, sondern durch ihren (natürlichsprachlichen) Inhalt.

• Bsp.: Inhaltsangabe/abstract


21

Der blaue Engel ist der Titel eines deutschen Spielfilms. Er entstand zwischen 1929 und 1930 unter der Regie von Josef von Sternberg in den Studios derUFA. Das Drehbuch des Films schrieben unter anderem Karl Gustav Vollmoeller und Carl Zuckmayer nach dem Roman Professor Unrat von Heinrich Mann. Der Film beschreibt, wie ein älterer Lehrer sich in eine Frau aus dem Varieté verliebt und daran zugrunde geht. Uraufführung war am 1. April 1930 im Gloria-Palast. Die gleichzeitig mit denselben Schauspielern entstandene englische Fassung The Blue Angel wurde am 4. Juli in London uraufgeführt.

HandlungImmanuel Rath ist Gymnasialprofessor in einer deutschen Kleinstadt – ein pedantischer und verschrobener Mann, der unter seinen Schülern und stadtweit nur Unrat genannt wird. Eines Tages entdeckt er während des Unterrichts bei einem seiner Schüler eine Fotokarte einer Tingel-Tangel-Sängerin, die in dem Hafen-Variété Der blaue Engel ein Gastspiel gibt. Rath wittert sofort Unzucht und macht sich – aus rein pädagogischen Gründen, wie er sich selbst einzureden versucht – auf den Weg, um das verrufene Lokal in Augenschein zu nehmen. Lola Lola - so der Künstlername der Sängerin - ist mit Umziehen beschäftigt, als der Lehrer sie zur Rede stellt. Rath kann - zu seinem eigenen Erstaunen - die Augen nicht von der lasziven, aber gewöhnlichen Schönheit abwenden. Ein Dessous, das der völlig verwirrte....



http://de.wikipedia.org/wiki/Deutschland

http://de.wikipedia.org/wiki/Deutschland

http://de.wikipedia.org/wiki/Spielfilm

http://de.wikipedia.org/wiki/Spielfilm

http://de.wikipedia.org/wiki/Josef_von_Sternberg

http://de.wikipedia.org/wiki/Josef_von_Sternberg

http://de.wikipedia.org/wiki/UFA

http://de.wikipedia.org/wiki/UFA

http://de.wikipedia.org/wiki/Karl_Gustav_Vollmoeller

http://de.wikipedia.org/wiki/Karl_Gustav_Vollmoeller

http://de.wikipedia.org/wiki/Carl_Zuckmayer

http://de.wikipedia.org/wiki/Carl_Zuckmayer

http://de.wikipedia.org/wiki/Professor_Unrat

http://de.wikipedia.org/wiki/Professor_Unrat

http://de.wikipedia.org/wiki/Heinrich_Mann

http://de.wikipedia.org/wiki/Heinrich_Mann

http://de.wikipedia.org/wiki/Gloria-Palast

http://de.wikipedia.org/wiki/Gloria-Palast

http://de.wikipedia.org/wiki/Lasziv

http://de.wikipedia.org/wiki/Lasziv


22


Autoritative vs. nicht-autoritative Metadaten• Autoritative Metadaten

stammen von einer zuverlässigen (autoritativen) Quelle, wie z.B.

• dem Autor der Original-Daten

• einem ausgewiesenen Experten

Nicht-autoritative Metadatenstammen von einer prinzipiell unzuverlässigen Quelle, wie z.B.

• den Benutzern

• prominentes Beispiel: Social Tagging Systeme



23

AutorRessource

Benutzer

autoritativeMetadaten

Apfel

Frucht

nicht-autoritativeMetadaten

Apfel

apple

Obst

Frühstück

kaufen


Kollaborative Annotation -- Social Tagging

© E.C. Publications, Inc.



24 Kollaborative Annotation -- Social Tagginghttp://www.wordle.net/



http://www.wordle.net

http://www.wordle.net


25


Semantische Metadaten• sind strukturierte/unstrukturierte Metadaten

• Semantik (Bedeutung) der Metadaten ist formal definiert (Ontologie) und daher maschinenlesbar (und maschinenverstehbar)

"An ontology is an explicit, formal specification of a shared conceptualization. The term is borrowed from philosophy, where an Ontology is a systematic account of Existence. For AI systems, what ‘exists’ is that which can be represented.“

(Thomas R. Gruber, 1993)

Konzeptualisierung: abstraktes Modell (Domäne, identifizierte relevante

Begriffe, Beziehungen)

Explizit: Bedeutungen aller Begriffe definiert

Formal: maschinenverstehbar

Gemeinsam: Konsens bzgl. Ontologie



26

Publikation

Buch

ist eine

Zeitschrift

ist eine

Verlag verlegt

• Titel• Schlüsselwörter• ...

Eigenschaften

Autorverfasst

wird verfasstvon

Personist eine

Adresse

hat eine

• Nachname• Vorname• Straße...

Eigenschaften

Springer Verlag

ist ein

HaraldSack

ist eine

Digitale Kommunikationist ein

1..n

1..n

Mann

Frauist eine

ist eine

≠


Semantische Metadaten• Beispiel



27


Semantische Metadaten• erlauben die Festlegung formaler Axiome

• z.B. „Es ist nicht möglich, dass das Publikationsdatum vor dem Geburtsdatum eines Autors der Publikation liegt.“

• erlauben das Ziehen von Schlussfolgerungen

• z.B. „Alle Menschen sind sterblich.“ „Sokrates ist ein Mensch.“ „Daher ist Sokrates sterblich.“

• Daher ist es mit semantischen Metadaten möglich, implizit vorhandenes Wissen mit Hilfe von Schlussfolgerungs-und Herleitungsoperationen explizit zu machen Raffael: Die Schule von Athen, 1510



28


Named Entity Recognition• Ziel ist eine Abbildung von Zeichenketten bzw. Low-Level Metadaten auf

formale Wissensrepräsentationen, die Informationen über deren Bedeutung maschinenlesbar/maschinenverstehbar repräsentieren.

http://www.hpi.uni-potsdam.de/meinel/team/mitarbeiter_meinel/joerg.html URI

http://www.hpi.uni-potsdam.de/meinel/team/mitarbeiter_meinel/joerg-foaf.rdf RDF Metadata

foaf:Person RDF Metadata

Jörg Waitelonis Text


http://www.hpi.uni-potsdam.de/meinel/team/mitarbeiter_meinel/joerg.html





Entity Mapping

29


Entity Mapping

foaf:Person

Jörg Waitelonis

is afoaf:Projectfoaf:Documentfoaf:Organization

disjoint with foaf:firstname Jörg

foaf:lastname Waitelonis

property

property

foaf:Person

knows

Harald Sack

is a

foaf:interestfoaf:publicationsfoaf:workplaceHomepage...

property


■Semantische Annotation


30


time

e.g., person xy

location yz

event abc

e.g., bibliographical data,geographical data,encyclopedic data, ..

Metadata Extraction

Entity Recognition/ Mapping


Seminar: Linked Open Data Engineering, Dr. Harald Sack, Jörg Waitelonis, Hasso-Plattner-Institut, Universität Potsdam

31

Das Semantic Web - Datenzentrierte Verarbeitung •Ziel des Semantic Web: ...to create a ,Web of Data‘



Seminar: Linked Open Data Engineering, Dr. Harald Sack, Jörg Waitelonis, Hasso-Plattner-Institut, Universität Potsdam

32



Beispiel: http://dbpedia.org/resource/Ernest_Hemingway

33Daten werden repräsentiert als RDF-Tripel

Subject ObjectProperty

dbpedia:ontology/influences dbpedia:ontology/influences

Ezra Pound Ernest Hemingway J.D. Salinger



http://dbpedia.org/resource/Apache

http://dbpedia.org/resource/Apache


34 Beispiele:

Explorative Videosuche mit Linked Data

Was kann man mit semantischen Metadaten machen?

http://mediaglobe.yovisto.com:8080/

http://mediaglobe.yovisto.com:8080/mggui/

https://nm-contentus-d2.iais.fraunhofer.de/contentus/


http://testing.yovisto.com/%0Dhttp://testing.yovisto.com/%0Dhttp://testing.yovisto.com/

http://testing.yovisto.com/%0Dhttp://testing.yovisto.com/%0Dhttp://testing.yovisto.com/

http://mediaglobe.yovisto.com:8080

http://mediaglobe.yovisto.com:8080










35 Beispiele:

Who Knows

RISQ!

Spiele mit und um Linked Open Data...

http://fb10games.hpi.uni-potsdam.de/game.html

http://mediaglobe.yovisto.com:8080/risq/









3. Seminarthemen

4. Administratives

Semantic Multimedia



SeminarthemaSpiel für semantische Annotation von Videos

■ Problem:

□Metadaten sind sehr wichtig für effiziente Suche in Videos

□Metadaten sind häufig nicht “semantisch” (Tags/Keywords statt URIs)

□ automatische Annotationsverfahren sind ungenau und fehleranfällig

□manuelles Erzeugen von Metadaten ist sehr aufwändig und langweilig

■ Ziel:

□ Entwickeln eines Spiels zur semantischen Annotation von Videosequenzen

□Möglichkeit der spatio-temporalen Annotation

□ Das Spiel soll Spaß machen und den Nutzer motivieren

37



38

http://artigo.gwi.uni-muenchen.de/

http://images.google.com/imagelabeler/

Häufiges Spielprinzip:Zwei Spieler vergeben gleichzeitig Tags und erhalten beide Punkte bei Übereinstimmung der Eingabe.

einige Tags sind dabei nichterlaubt ...



http://artigo.gwi.uni-muenchen.de

http://artigo.gwi.uni-muenchen.de




39

http://waisda.nl/http://www.gwap.com/gwap/gamesPreview/popvideo/

Probleme

□ Tags sind mehrdeutig und müssen disambiguiert werden.

□ Die Spiele erfordern z.T. zwei Spieler.

□ Die Mitspieler müssen Interesse am Video-Material haben.



http://waisda.nl

http://waisda.nl

http://www.gwap.com/gwap/gamesPreview/popvideo/





■ Literatur (Auswahl)

□ Velsen van, Lex & Melenhorst, Mark (2008) User Motives for Tagging Video Content. In: 5th International Conference on Adaptive Hypermedia and Adaptive Web-Based Systems, 2008, Hannover, Germany.

□ Siorpaes, Katharina & Hepp, Martin (2008): Games with a Purpose for the Semantic Web In: IEEE Intelligent Systems , Vol. 23 , Nr. 11, pp. 50–60.

□ van Zwol, Roelof ; Lluis Garcia ; Georgina Ramirez ; Borkur Sigurbjornsson & Marcos Labad (2008) Video Tag Game In: 17th International World Wide Web Conference (WWW developer track), ACM Press

□ van Ahn Luis & Dabbish, Laura (2008) Designing games with a purpose. Commun. ACM, Vol. 51, Nr. 8, pp. 58–67.

■ weitere Literatur: im Seminar-Blog....

40



http://doc.utwente.nl/68861/1/Velsen08user.pdf




http://www.google.com/url?sa=t&source=web&cd=3&ved=0CCgQFjAC&url=http%253A%252F%252Fciteseerx.ist.psu.edu%252Fviewdoc%252Fdownload%253Fdoi%253D10.1.1.159.7794%2526rep%253Drep1%2526type%253Dpdf&rct=j&q=Games%2520with%2520a%2520Purpose%2520for%2520the%2520Semantic%2520Web&ei=9NuiTdDeGNHBswadjriBAg&usg=AFQjCNEBcREzqvm5c4KH3ZjxyUpxRroqFg&sig2=dxmDfVJt4NROyYf4eITLTg&cad=rja




http://research.yahoo.com/pub/2157

http://research.yahoo.com/pub/2157

http://www.cs.cmu.edu/~biglou/GWAP_CACM.pdf

http://www.cs.cmu.edu/~biglou/GWAP_CACM.pdf




3. Seminarthemen

4. Administratives

Semantic Multimedia



42 Seminar Semantic Multimedia□Semesterwochenstunden: 4

□ECTS: 6

□Leistungsfeststellung:

□Schriftliche Ausarbeitung zum Vortragsthema (Umfang ca. 20 Seiten)□Umsetzung einer vorgegebenen Implementierungsaufgabe im Team□Präsentation der Ergebnisse

(Zwischenpräsentation, Endpräsentation, Wochenbesprechungen)

□Projektteams mit je 2-3 Studenten bearbeiten eine der vorgeschlagenen Aufgabenstellungen

Semantic Multimedia



Administratives■Termine:

□Wöchentliches Seminargruppentreffen

□Termin nach Vereinbarung

□Zwischenpräsentation der Projektergebnisse

□Abschlusspräsentation der Ergebnisse

□Termin in der letzten Semesterwoche

43

Semantic Multimedia



44

Literatur

• P. Hitzler, S. Roschke, Y. Sure: Semantic Web Grundlagen, Springer, 2007.

• Grundlegende Materialien via Seminar-Blog http://semmul2011.blogspot.com/

Semantic Multimedia


http://semmul2011.blogspot.com

http://semmul2011.blogspot.com

Technology

Semantic Multimedia - Seminar Sommersemester 2011 - Kickoff