11

IR 1

Multimedia Retrieval

Christa Womser-HackerVorlesung im SoSe2002

IR 2

Gliederung: Teil 1

• Information Retrieval im Kontext der Informationswissenschaft

• Informationsprozess• Was ist Information Retrieval nicht?• Was ist Informations Retrieval?• Was ist Intelligentes Information Retrieval?• Was ist Multimedia Retrieval?

IR 3

Multimedia Retrieval im Kontext der Informationswissenschaft

IR 4

IR im Kontext der Informationswissenschaft

Die Informationswissenschaft befasst sichDie Informationswissenschaft befasst sichmit Informationsprozessen und ihren mit Informationsprozessen und ihren Rahmenbedingungen. Sie spannt den BogenRahmenbedingungen. Sie spannt den Bogenvon der Produktion von Wissen und Informationvon der Produktion von Wissen und Information(repräsentiert in versch. Medien)(repräsentiert in versch. Medien)bis hin zurbis hin zurNutzung durch heterogene Benutzergruppen.Nutzung durch heterogene Benutzergruppen.

IR 5

Der informationswiss. I.-Begriff• Differenzierung: Information und Wissen• Wissen ist der Bestand an Modellen über Objekte

und Sachverhalte der Welt, die in Individuen, in Gruppen etc. vorhanden sind

• Im Problemlösungsprozeß wird „ein Stück Wissen“ in Information transformiert

• bei der Erarbeitung von I. entsteht Mehrwert• Formel: „Information ist Wissen in Aktion“• aus I. kann wieder W. entstehen

IR 6

Pragmatisches Postulat• Information ist immer gebunden an einen

spezifischen Problemlösungs-zusammenhang

• Situation und Kontext des Benutzers sind relevant

• Information kommt in einem Kommunikationsprozeß zustande

• Beispiel: Jobanzeigen

22

IR 7

Mehrwertsfunktion• Durch die Erarbeitung von Information

entsteht Mehrwert, da das Wissen einem „Veredelungsprozeß“ unterzogen wird

• Stichwort: Informationsarbeit• Beispiele

– benutzerbezogene Aufbereitung in Form von, graphischen Visualisierungen, Management Reports, adäquater Medienmix etc.

IR 8

Beispiel für Mehrwert:Elektronische

Publikationskataloge• Schnelle und potentiell weltweite

Verfügbarkeit via Internet• größere Aktualität• intensivere Austausch- und Kommunika-

tionsmöglichkeiten• erweiterte Darstellungs- und Recherche-

möglichkeiten

IR 9

Beispiel für Mehrwert:Elektronische Zeitschriften

• E-Journals sind vernetzt zu Hypertexten• Interaktivität und Dynamik• geringere Kosten (Bsp. Dissertationen)• keine Wartezeiten wg. Fernleihe• Mehrfachnutzung kein Problem• gezielte Suche nach Schlagwörtern• schneller und einfacher Zugang

IR 10

Zusammenfassung• I. basiert auf W., muß aber an den situativen

Kontext des Benutzers angepaßt werden• I. ist abhängig vom Adressaten• I. wird nach ihrem Neuheitswert und ihrer

Handlungsrelevanz beurteilt• I. ist zielgerichtet und planorientiert, wobei

Unsicherheit über die Pläne bestehen kann

IR 11

• I. muß mengenmäßig angepaßt werden, ein Zuviel ist genau so schlecht wie ein ein Zuwenig an I. (Informationsflut vs. Informationsdefizit)

• Information zur rechten Zeiten, am rechten Ort, in der richtigen Form

• I. ist Produkt und öffentliches Gut.

IR 12

Der Informationsprozess

33

IR 13

Informationsprozess: Rollen

Benutzer Vermittler System

Informations-suchendermit Problem

Spricht die Sprache desSystems

Kann nur das,was man ihmbeigebracht hat

IR 14

Annahmen über den Kommunikationspartner

Mensch Maschine

Annahmen überdie Maschine

Annahmen überden Menschen

Beispiel: BenutzermodelleStereotypenansatz„Ärzte sind vielbeschäftigt und habennie Zeit“. D.h. sie wollen nur ein paarSchlüsseldokumente mit guten Visualisierungen

„Maschinen sinddoof.“„Ich möchte von demAbfahrtsbahnhof Hildes-heim zum Ankunftsbahn-hof Hannover fahren“

IR 15

Ein Stück des Informationsprozesses

IR 16

Information Retrieval im Gegensatz zu ...

IR 17

... zum rein intellektuellen Informationsprozess

• Informationswissenschaft befaßt sich insbesondere mit Informationsaustausch zwischen Mensch und Maschine (und mit dessen Rahmenbedingungen)

• Fokus: sozio-techn. Kommunikationssituation:

Mensch - ComputerIR 18

Begriff: Informationssysteme (Verständnis der Wirtschaftsinformatik)

• WI befaßt sich mit „Informations- und Kommunikationssystemen in Wirtschaft und Verwaltung“ (Lehner et al. 1995)

• d.h. interdisziplinäre Ausrichtung• Objektbereich aus den Wirtschaftswiss. +

Informationssystem aus der Informatik

44

IR 19

Verständnis der Informationswissenschaft

• Einbeziehung des gesamten Informa-tionsprozesses

• nicht nur Ausrichtung auf betriebliche Informationssysteme, sondern auch wissenschaftliche und Fachinformation (z.B. Chemie)

• Schwerpunktsetzung auf verschiedene Typen informationeller Einheiten (unsicheres Wissen, vage Anfragen)

IR 20

...zum holistischen Ansatz der Informations-und Kommunikationssysteme

• Information und Kommunikation• Austausch von Informationen zwischen den Komponenten

des Systems und zwischen dem System und seiner Umwelt

• holistischer Ansatz• „das Informationssystem des Unternehmens“: Gesamtheit

aller betrieblicher Abläufe und Tätigkeiten im Bereich Information

IR 21

Einteilung von Informationssystemen

• nach dem Verwendungszweck? z.B. Administration, Entscheidungsunterstützung

• betriebliche und überbetriebliche IS• branchenspezifische und branchenüber-

greifende IS? IS im Bereich ZVEI vs. generelle Anwendungssysteme für die

Buchführung

• funktionsbezogene / unternehmensbezog.• Typ der Information (Bildretrieval etc.)

IR 22

... Zur Relationalen Datenbank

Name Vorname Straße PLZ Ort Tel.nr.

Sachs Hans Burg-weg 7

90403 Nürnberg 0911/226727

Geier Florian Kolping-str. 4

80807 München 089/777777

Meier Josef Bach-weg 18

81669 München 089/728293

Meier Kurt Schützen-str. 7

81659 München 089/728043

IR 23

... Zur Objektorientierten Datenbank

Personen

Kinder Mütter/Väter Begleitpersonal

Vor Ort Gäste

Verwaltung Pflege Betreuer

Vererbbare EigenschaftenName, Vorname etc.

Gehalt

Krankenkasse

Bsp. Eltern-Kind-Kuren

IR 24

... Zu Expertensystemen od. entscheidungsunterstützenden

Systemen• Komponenten

– Wissenskomponente (Wissen und Regeln)– Inferenzkomponente– Interaktionskomponente– Akquisitionskomponente– Erklärungskomponente

BspBsp. MYCIN. MYCIN

55

IR 25

Was ist Information Retrieval ?

IR 26

Information Retrieval Systeme (IRS)

• Was ist IR? Was ist IIR?• Grundmodell des IR• IR-Modelle• Indexierung

– Termbehandlung (gesprochen – geschrieben)– Bildanalyse

• Retrieval– Anfragegenerierung/-optimierung– Visualisierung– Hilfen

Wo kann Intelligenzeingebracht werden?

D.h. innovative IRS

Hintergrundfrage

IR 27

• „An information retrievalsystem is an information system, that is , a system used to store items of informations that need to be processed, searched, retrieved, anddisseminated to various user populations.“ (Salton/McGill 1983,XI)

• Im IR werden Informationssysteme in bezug auf ihre Rolle im Prozeß des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations-Nachfragenden betrachtet (FG IR in GI)

IR 28

• „IR beschäftigt sich schwerpunktmäßig mit jenen Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen. Vage Anfragen sind dadurch gekennzeichnet, daß die Antwort nicht a priori eindeutig definiert ist.“

(FG IR in GI)

IR 29

„IR is a communication process. [...] authors or creators

of records communicate with readers, but indirectly and

with a possibly long time lag between the creation of a

message or text and its delivery to the IR system user.

[...] Is information retrieval a computer activity? It is not

strictly necessary that it be [...]“ [Meadows 1991, S.2]

IR 30

„leading the user to those documents that will be best

enable him/her to satisfyhis/her need for information“

[Robertson 1981, S.10]

„the goal of an information retrieval system is for the

user to obtain information from the knowledge resource

which helps her/him in problem management“ [Belkin 1984]

66

IR 31

Informationsprozeß

Problem Problem-

analyse

Suchfra-genformulierung

Suche Bewertung Informations -

aufbereitung

1.1. 2.2. 3.3.

4.4. 5.5. 6.6.

IR 32

Was ist Intelligentes IR? (IIR)

Ausgangspunkt (Croft 1987, 249):„We do not know the best way of representing the content oftext documents and the users‘ information needs so that theycan be compared and the relevant documents retrieved.We cannot even agree on a definition of relevance.... Limitation of recall and precision...

The other factor is the increasing awareness of the importance of IR as an application area..... Systems that handle text and multimedia documents...“

IR 33

Was ist Intelligentes IR? (IIR)(Croft 1987, 249):„Intelligent IR, as we have used it to define the scope of thisspecial issue, deals with the overlap of research in artificialintelligence (AI) and IR...“

Two categories of projects:„(1) basic research in such areas of AI as natural language pro-cessing , knowledge representation , and reasoning that use IR asan application and(2) research that concentrates on the development of systems thatblend traditional IR techniques and techniques developed in AI“.

Ziel: to build significantly more effective systems

IR 34

What makes a system intelligent?

– Sparck Jones 1983• knowledge base, inferential capabilities to establish

connections between a request and a set ofdocuments, NLP, Fusion, Clustering techniques

– Van Rijsbergen 1986• plausible inference• Handling der Differenz zwischen theoretischer

Performanz (100% Recall, 100% Precision ) und praktischer Performanz

IR 35

Annäherung: AI und IR

AI IR

Simulationkleine Szenarios

RealitätsbezugEvaluierung / Testen„echte“ KollektionenMassendaten

ExpertensystemeWissensrepräsentation

NLP

IR 36

IR und Expertensysteme• Regelbasierte Repräsentation von Expertenwissen• „expert intermediary systems“ (cf. Brooks 1987)

– assistiert in der Anfrageformulierung– bei der Auswahl der Suchstrategie– und bei der Bewertung der Ergebnisdokumente

• Analyse des Benutzerverhaltens (Ziel: Aufbau eines Anfrage- und Benutzermodells cf. Brajnik, Guida, Tassa 1987: IR-NL II: Erarbeitung von Stereotypen)

• IOTA (Chiaramella et al.): NLP: Suchkonzepte und Benutzerinformation

• Fox 1987: The CODER system

77

IR 37

IR und NLP• Ziel: Ersetzung einfacher Sprachanalysetechniken

durch „sophisticated NLP techniques“, um den Inhalt exakter abbilden zu können

– Einsatz großer Wortbücher– Verwendung von Thesauri– Wissensbasen auf der Basis der Terme– Kombination von Morphologie, Syntax und Semantik

IR 38

Expertensysteme od. entscheidungs-unterstützende Systeme

• Komponenten– Wissenskomponente (Wissen und Regeln)– Inferenzkomponente– Interaktionskomponente– Akquisitionskomponente– Erklärungskomponente

IR 39

Aktuelle Modelle mit erweiterter Modellstruktur

Standard -modell

Retrieval-hilfen

Intell.Thesauri

Lern-komponenten

Benutzer-modelle

VisualisierungSchnittstellen

NLP-Techniken

RelevanceFeedback

IR 40

Grundmodell: IRS

Texte

Match

Anfrage

Analyse

Ergebnis

1.Dok.62.Dok.83.Dok. 784.Dok.99

Repräsentationen

term1, term2,term3, term4...

Repräsentation

text text texttext text texttext text texttext text texttext text text

IR 41

Das Matching-Paradigma des klassischen IR

• Klassisches Boolesches Retrieval• Benutzer drücken ihr Suchproblem in einer

exakten Retrievalsprache aus• Verbindung von Termen und Boolescher

Logik• Beispiel:Messenger• search (mess? OR pruef?) AND laser

IR 42

Boolesche Logik

Term1

• AND, OR, NOT

Term2

Term3

88

IR 43

Nachteile der Booleschen Systeme

• Disjunkte Unterteilung in relevant und nicht-relevant

• Erwünschter Umfang schwer kontrollierbar• Benutzer haben Probleme mit der

Booleschen Logik• Visualisierbarkeit

IR 44

Ranking-Systeme

• Anordnung des Ergebnisses in einer nach Relevanz (!) sortierten Reihenfolge

• notwendige Voraussetzung: gewichtete Indexierung

• cut-off kann vom Benutzer bestimmt werden

IR 45

Grundprinzip Ranking

Index

Dokumente Anfrage

Gewicht / Rankingwert pro Dokument-Anfrage-Relation

IR 46

Boolesche Beispielrecherche

• „Auswirkungen von Zigarettenkonsum auf das Krebsrisiko bei Jugendlichen“

• 1.Anfrage Zigaretten 19.238 • 2. Anfrage Zigaretten /TI 2.598 • 3. Anfrage Krebs 25.072• 4. Anfrage 2 AND 3 637• 5. Anfrage 4 AND Jugendlicher 54

IR 47

Suche in Ranking-Systemen• Anfrage Gewicht D1 D2 D3

• Zigaretten 5 x x x• Krebs 5 x• Jugendlicher 1 x x

Gewicht 5 11 6

Anordnung: 1. D2 2.D3 3. D1

-

IR 48

Multimedia

99

IR 49 IR 50

Multimedia - IR

IR 51

Zwei extreme Positionen: die erste ...

A Digital Library for Education

„It is time to build the America within reach ... An Americawhere every child can strech a hand across a keyboardand reach every book ever written, every painting everpainted , every symphony ever composed.“

President Bill Clinton

IR 52

Zwei extreme Positionen: die zweite ...

„Der Mensch ist gottlob so robust, daß er alle didaktischen Experimente unbeschädigt übersteht, auch die universitären. Wer sich dennoch von einerIntensivierung der Hochschuldidaktik eine Modernisierung der Lehre verspricht, der wird enttäuscht werden; nicht nur, weil Wissenschaftsprozessekeinen didaktischen Regeln folgen, sondern weil der selbstbewußt Lernendein seiner didaktischen Behandlung eher Formen der Entmündigung als der zu fördernden Selbstbestimmung sieht.“

Jürgen Mittelstraß (1994), Die unzeitgemaesse Universität, S. 19

IR 53 IR 54

Begriff Multimedia„Multimedia wird heute als Oberbegriff für eine Vielzahl neuer bzw. neuartiger Produkte und Dienstleistungen aus dem Computer-, Telekommunikations - und Medienbereich verwendet.“

Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (nach Grauer/Merten 1996,8)

1010

IR 55

Begriff MultimediaMultimedia ist „eine Synthese und ganzheitliche Nutzung verschiedener Medien. Bild (Film und Photographie), Ton und Text sind nicht mehr getrennte Werkgrößen, sondern können dank der Digitalisierung zu einer neuen Einheit verknüpft werden“.

Hoeren 1996, Multimedia-Recht

„Multimedia ist die Integration von verschiedenartigen Medien. Voraussetzung dabei ist, daß die Medien einen inhaltlichen Bezug zueinander haben, der didaktisch begründbar ist.“

Helmert 1992

IR 56

Dimension Zeit• Diskrete Medien

– Informationen in diesen Medien bestehen ausschließlich aus einer Folge einzelner Elemente

– Beispiele: Text, Grafik

• Zeitabhängige Medien– Veränderung über die

Zeit hinweg– Information steckt

nicht nur in einem Wert, sondern auch im Zeitpunkt des Auftretens

– Beispiele: Ton, Bewegtbild

IR 57

Medien

TextText und Hypertext

BildGrafikFoto

Diskrete Medien(zeitunabhängig)

VideoAnimationVideofilm

Ton (Audio)Sprache, Musik,

Geräusche

Kontinuierliche Medien(zeitabhängig)

Medien

IR 58

TexteVolltexte (z.B. Patente)

Textkondensate (Abstracts, Titel)Referenzen:

Autor: Krcmar , H.

Titel: Informationsmanagement

PY: 1997

Verlag: Springer

ISBN: 3 -540-61846-5

IR 59

„Bilder“

0

102030405060

708090

1. Qrtl. 2. Qrtl. 3. Qrtl. 4. Qrtl.

OstWestNord

IR 60

Video

• Spielfilm– TITEL: Jenseits der Stille– LAND: Deutschland– JAHR: 1996– REGIE: Caroline Link– LÄNGE: 109 Minuten– EINORDNUNG: Mehrfach preisgekrönter

Erstlingsfilm

1111

IR 61

Audio

Gesprochene Sprache: SprecherLängeZeitTranskription

Musik: Sänger: Elton JohnTitel: Candle in the Wind„traurig, ruhig, melancholisch“Schlagwörter: Diana, Tod, Begräbnis, Symbol ...

IR 62

Mischformen

• Für den Benutzer ist die Befriedigung des Informationsbedürfnisses zentral, nicht das Medium, in welchem das Wissen vorliegt.

• Text und Graphik / Bild

• Text und Fakten

IR 63

Hypermedia

Text TextText Text

Bild

Text TextText Text

Text Text Text Text

TextText Text Text

Bild Bild

Text TextText Text

IR 64

Merkmale von Multimedia-Systemen

• Die zweckgerichtete Integration zeitin-varianter und zeitvarianter Medien

• Interaktion mit dem Benutzer• assoziativer Zugriff auf die Informationen• Simulation von Benutzerwünschen• Speicherung, Übertragung und

Verarbeitung aller Medien in digitaler Form

IR 65

Memex (1945)„Memory Extender“ (1)

• Private Sammlung von Büchern, Aufzeich-nungen, Mitteilungen

• eine Art Archiv• schneller und gezielter Zugriff• Speicherung auf Mikrofilm in einem

speziellen „Schreibtisch“ mit Vorführ- und Leseeinrichtungen (auch zum parallelen Vergleich)

IR 66

Memex (1945) (2)• Assoziative Indizierung als Konzept von

Memex (untypisierte Verbindungen)• spezielle typisierte Verbindungen sollten

Pfade durch das Material zur Verfügung stellen, um Wissen über spezielles Thema zusammenzufassen (automatische Werkzeuge)

1212

IR 67 IR 68

As we may thinkby

Vannevar Bush (1890-1974)The Atlantic Monthly , July 1945, Vol. 176, no. 1, pp. 101-108.

http://www.theatlantic.com/unbound /flashbks /computer/bushf.htm

IR 69

Aspen Movie Map (1978) (1)A. Lippmann / jetzt Media Lab des MIT

• Erstes Hypermediasystem• simulierte Fahrt durch die Stadt

Aspen/Colorado• Videofilme aller Straßen der Stadt• Benutzer bewegt sich via Steuerknüppel• kann Anhalten und Gebäude betreten• Auswahl der Jahreszeit

IR 70

Aspen Movie Map (2)

• Einsatz von zwei Bildschirmen– Film, Überblick: Straßenkarte zum direkten

Anspringen, Orientierungspunkte

• Beispiele: pädagogische Systeme, Reiseersatzmodelle (z.B. Flughafen Entebbe), Manuale (Auto- / Fahrrad-handbücher)

IR 71

Kodierung von Medientypen

• Der Medientyp TEXT• Der Medientyp BILD• Der Medientyp Graphik• Der Medientyp Analogvideo• Der Medientyp Digitalvideo• Der Medientyp SOUND

IR 72

Charakteristik multimedialer Daten

nach Meyer-Wegener 1991, Grauer/Merten 1997,75Rohdaten Registrierungsdaten Beschreibungsdaten

Text Zeichenfolge Kodierung als ASCII Layout, logischeStruktur,Schlüsselwörter

Bild Pixelmatrix Höhe/Breite,Kodierungsdetails

Linien, Flächen,Situation

Video Sequenz vonPixelmatrizen

BilderAuflösungKodierungsdetails

Szenenbeschreibung

Audio DigitaleAbtastwerte

Abtastrate, Auflösungder Abtastwerte

Text, Werk,Komponist, Interpret

1313

IR 73

Architekturmodell

Navigations-werkzeug

MM Abfrage-schnittstelle

Medien-editoren

InteraktiveIcons

Multimediale informations- bzw. Medienkomposition undIntegration von Metamodell und Abfrageverarbeitung

Text-DBMS Bild-DBMSAudio -DBMS

Video-DBMS

BildText Audio Video

Benutzerschnittstelle

IR 74

Zugriff auf MM-Objekte

• Anforderungen:– umfassende Formatunterstützung– effiziente Speicherverwaltung– Integration von Manipulationswerkzeugen– Indexierungs- und Retrievalmechanismen– Synchronisationsmechanismen

IR 75

Beispiel

Anfragen:rotes Auto, Sportwagen

Metadaten: Farbe, Textur, Kontur ...

IR 76

Klasse der FortbewegungsmittelBrowsing

IR 77

Browsing

• Über das Suchkonzept besteht eine Vorstellung im Kopf, die nicht verbalisiert wird

• per Ähnlichkeitsmatch wird das den Vorstellungen am besten entsprechende Bild ausgewählt

• Beispiel: „Clipart-Galleries“

IR 78

Content Extraction: Farbsegmentierung

Vorgehen:Räumliche Anordnung der FarbbereicheReduktion der Anzahl der Farben auf GrundfarbenBestimmung zusammenhängender FarbflächenMetadaten: Größe, Position und Farbwert jedes

Farbbereichs

1414

IR 79

Content Extraction: Textursegmentierung

Vorgehen:Räumliche Anordnung der TexturenEinteilung in vier Rechtecke gleicher GrößeVergleich der Rechtecke mittels statistischer Verfahrenbei Übereinstimmung Zusammenfassung, sonst weitere UnterteilungMetadaten: Position und Größe der Rechtecke, sowie die

statistischen Werte der zugehörigen TexturIR 80

Content Extraction: Konturerkennung

Vorgehen:Grenzen zwischen Flächen mit großem HelligkeitsunterschiedKonvertierung in GraustufenbildBerechnung der HelligkeitsunterschiedeKontur an den Punkten, die bestimmte Grenzwerte überschreitenMetadaten: Konturpunkte

IR 81

Content Extraction

• Bilder– Farbe

– Textur– Kontur

• Audio– Frequenz (Tonlage)

– Amplitude (Lautstärke)– Frequenzübergänge

IR 82

Musik: Content Extraction• Ein Klang besteht aus einer Grundfrequenz

und überlagerten Frequenzen• Überlagerte Frequenzen sind zur Erkennung

eines Musikstücks irrelevant

• Analyse der Grundfrequenz führt zur Reduktion des Musikstücks auf sein Grundtöne (= Metadaten)

IR 83

Beispiel

Werbefilme(Musik)Signatur

Gesuchtes Musik-stück

„Spezi ist Spitze“

Werbefilm-Datenbank

SignaturMatch

Nicht gefundengefunden

Grundfrequenz-analyse

IR 84

Gesprochene Sprache: Content Extraction

• Grundlage: Spracherkennung

• Signalverarbeitung• Zuordnung zu logischen Spracheinheiten

(Worte und Laute)

• s. im Detail Folien zur Spracherkennung

1515

IR 85

Videosegmentierung (1)

Einzelne Kameraeinstellungen, sog. Camera Shots bilden kleinsteEinheit inhaltlich zusammengehörender Bilder

Camera Shot Camera Shot Camera Shot

Szenenwechsel

...

Erkennung der Szenenwechsel über Histogrammvergleich

IR 86

Videosegmentierung (2)

Aus speichertechnischen Gründen werden aus einer Kameraein-stellung nur einige wenige Schlüsselbilder (keyframes) ausgewählt.

Meist erstes, letztes und mittleres Bild aus der Kameraeinstellu ngals keyframes

Auf keyframes werden Content Extraction Methoden angewandt

dynamische Struktur:Kamerabewegung: alle Pixel bewegen sichObjektbewegung: nur ein Teil der Pixel bewegt sichBestimmung der Richtung durch Richtungsvektoren

IR 87

Ausführlicher am Beispiel der Filmindexierung

IR 88

Video: Content ExtractionSchweins, K. http://www.fbi .fh-koeln .de

AudioFrequenz AmplitudeFrequenzüberlagerung

BildFarbe TexturKonturräumliche Anordnung

Dynamische Komponente von VideoKamerabewegungenObjektbewegungenSzenenwechsel

IR 89

Anwendungsbeispiele der Zukunft

• spezifische Zusammenstellung für den Unterricht (individuelles „Schulfernsehen“)

• Reiseveranstalter stellen individuelle Dokumentation eines Urlaubsgebietes für speziellen Kunden zusammen (Fokus wahlweise Kultur, Sport, Natur etc.)

• interaktives Fernsehen: Zusammenstellung des Programms, Wahl der Perspektive/bestimmte Handlungen/Einfluß auf Protagonisten

IR 90

Voraussetzungen

• Schneller Zugriff auf archiviertes Filmmaterial

• sequenzgenaue Erschließung von Sendungen, Filmen etc.

1616

IR 91

Vollständige vs. partielle Erschließung

– Soll der gesamte Film erschlossen werden?– Sollen bestimmte Sequenzen herausdestilliert

werden? (Frage nach der DBE: Film, Ein -stellung, Filmsequenz, Einzelbild?)

• Z.B. nur Dominanzereignisse (Katastrophen, Naturereignisse, politische, gesellschaftliche E.)

• ?abhängig vom Verwendungszweck und auch den Ressourcen der Dokumentations-stelle

IR 92

Mögliche Kriterien• Sequenz als semantische Einheit

– gemeinsamer Schauplatz, zeitliches Kontinuum, Figurenkonstellation, inhaltliche Handlungsablauf, Vertonung

– Wechsel in einem Kriterium als Abgrenzung einer Einheit

• Filmsequenzen als technische Einheit– von Schnitt zu Schnitt

• Mischformen

IR 93

Probleme• Parallele Handlungen• mehrere Detailhandlungen eingebettet in

übergeordnete Handlung• Diskontinulierliche Handlungen• Auseinanderklaffen von Ton und Bild

Einstellung 1

Einstellung 2

Einstellung 3

Sequenz

IR 94

Repräsentation

FormalerfassungInhaltl.

Erschließung

Zur eindeutigen Identifikationzum WiederauffindenQuelle: Vor- und Nachspann,

Schnittlisten, Drehbuch

Versch. Formen der Weiter-verwendung

IR 95

RAK-AV 1994Regelwerk zur alphabet. Katalogisierung (Sonderregelung: audiovisuelle Medien)

• Filmidentifikationsnr.• Titel• Produktionsnummer• Rundfunkanstalt• Archivnummer• Erstsendedatum• Wiederhlgsdatum• Rechte• Aufnahmeort• Produktionsort• Aufzeichnungsdatum

• Mitwirkende• Produktion• Verwendungsbeschränk

ung• Auszeichnungen• Begleitmaterial• Entstehungsjahr• Einschaltquote• Standort• Aufzeichnungsnorm• Laufzeit ...

IR 96

Inhaltliche Erschließung:5 Informationskanäle

• Visuelles Bild• Schriftzug / Graphik• Dialoge• Musik• Geräusche / Toneffekte

1717

IR 97

Übertragbarkeit von IR-Techniken???

• Abstracts• Thesaurus• Rollenindexierung• Deskriptorensystem• Klassifikationssystem• Geographische Codierung• Visuelle Indexierung• Volltextindexierung

IR 98

Beispiel: Rollenindexierung

• Szene:– Ein Hund jagt eine Katze auf der Straße

• HUND (1), KATZE (2), JAGEN (3), STRASSE (4)

• (1) Subjekt (2) Objekt (3) Handlung• (4) Ort

IR 99

Geographische Codierung

• Zuordnung:– LÄNDER, BERGE, FLÜSSE,

STRASSENZÜGE, GEBÄUDE etc.– Beispiel: Reisefilme, Dokumentationen– Zugriff über „anonyme Bildmotive“– PTS Country Code (vierstellige Notationen: 1.

Weltregion, 2.-4. Land, z.B. 1JAP)– immer stärkere Detaillierung

IR 100

Visuelle Indexierung

• Bilder als Indexierungsvokabular (meist zusätzlich)

• Gebrauch der Preview Möglichkeit • erstes Bild einer Sequenz als Zugang

(Voraussetzung automat. Schnitterkennung)

IR 101

Fall-Beispiele

• Fernseharchiv des WDR• Stockshot Database des National Film

Board of Canada• AMPHORE (in Entwicklung)• NTSB Labs (Dokumentation von Flugzeug-

und Zugunglücken)

IR 102

WDR-Archiv (Stand: 11/97)

• Basis für die Erschließung der Sendungen ist „Regelwerk Fernsehen“ (RWFS)

• Unterscheidung: nachweispflichtige und dokumentationspflichtige Beiträge– Nachweis: Titel, Herkunft, Sendedaten– Dokumentation: inhaltliche Erschließung

(Indexierungstiefe ist abhängig vom sog. Dokumentationswert)

1818

IR 103

Formale Erfassung

• Titel (Ansetzungsproblematik!)• Identifikationsdaten (Rundfunkanstalt,

Sendedauer ...)• Urheberschaft, Produktion, Mitwirkende• Bild-/Tonträger• Begleitmaterial, Auszeichnung, Quote• Nutzungsrechte

IR 104

Inhaltliche Beschreibung

• Klassifizierung nach Kategorienschema• Sachinhalt• Bildinhalt• Indexat

– mit jeweils unterschiedlicher Tiefe

IR 105

Vorgehen

• Deskriptoren aus Kategorienschema (Bildung, Freizeit, Gesellschaft, Politik, Kultur, Medizin ...) nach RWFS

• Inhaltsbeschreibung in Form eines Abstracts (Trennung von Bild- und Sachinhalt)

• Volltextanalyse durch PASSAT

IR 106

Zukunft

• Umstellung des Archivs ist geplant (Behebung von Medienbrüchen)

• gemeinsame Datenbank für Bibliothek, Bildarchiv, Filmarchiv, Historisches Archiv, Notenarchiv, Pressearchiv, Schallarchiv

• Ziel: Cross-Recherchen

IR 107

Stockshot Database (NFB)

• Online-Datenbank zur Dokumentation von Archivaufnahmen, die bei der Produktion von Sendungen anfallen (Filmemacher)– DBE ist einzelne Einstellung– Zusammenfassung mehrerer Einstellungen– Zusammenfassung von Einstellungen zu einem

Thema– Indexierung der zugehörigen Texte

IR 108

Stand der Technik – Derzeit keine automatische Schnitterkennung– Kopierung des Filmmaterials– Erfassung formaler Elemente:

• Arbeitstitel, Filmemacher, Produktionsnr., Jahr, Kameraeinstellungen, Geograph. Region, Zeitangaben (Winter, Tagesanbruch, Dämmerung), wetterkundliche Daten, spezielle Aufnahmeverhältnisse (Sonnenschein, Schneesturm, Spezialeffekte)

– Beschreibung der Einheiten mit Hilfe eines Thesaurus (E und F)

1919

IR 109

AMPHORE– Institut für den Wissenschaftlichen Film in

Göttingen produziert, dokumentiert und archiviert wissenschaftliche Filme

– weitere Aufgaben: Verbreitung der Medien, neue Visualisierungsformen, Beratung

– Bestand: 6000 Filme– Suche derzeit über alphabet . Schlagwörter,

Autorenname, Filmindex– Nachweis von Filmen nicht Filmsequenzen

(Sichtung des gesamten Materials)

IR 110

Audio-visual Media Platform for the Highlighting, Organization

and Retrieval of EntitiesAMPHORE

• Ziel: Erschließung von und Zugriff auf einzelne Sequenzen

• Partner: GMD-IPSI

IR 111

Vorgehensweise bei einer Anfrage

• 1. Schritt: Produktion einer CD-Rom in Preview-Qualität zur Vorauswahl

• 2. Schritt: Lieferung von Filmmaterial in Präsentationsqualität

• (500 Euro pro Minute geliefertem Film)

IR 112

Komponenten des Informations-systems

– Digitalisierung und Speicherung von Videos– formale Erfassung und inhaltl. Erschließung– Definition von Hyperlinks– Thesaurusverwaltung– OCR für Begleitpublikationen– Recherche– Abspielen von Videos– Export von Videos

IR 113

NTSB-Detective• Dokumentation von Zug- und Flugzeug-

unglücken zur Ursachenklärung (Piloten-oder Materialfehler, Fremdeinwirkung ...)– Computersimulation des Absturzes– Tonaufzeichnungen des Voice Recorder

(Sprache, Geräusche ...)– Fotos und Echtteile vom Wrack / den Leichen

• Prüfergebnisse, DNS-Analysen zur Identifikation

– Geograph. Aufzeichnungen– Zeugenberichte etc.

IR 114

Zusammenfassung

• Sehr heterogene Methoden, die auf spezifische Probleme zugeschnitten sind

• keine Komplettlösung• noch keine direkten Anfragen möglich

– („Suche Bild mit rotem Ferrari“)– Umweg über Beispieldaten (Ähnlichkeitssuche)

2020

IR 115

Kognitionspsychologische Grundlagen

IR 116

Gliederung

• Visuelle Wahrnehmung (Bsp. und Experimente)

• auditive Wahrnehmung• Gedächtnisformen• Textverstehen• Bildverstehen

IR 117

Literatur und sonst.

• Hasebrook (1995): Multimedia-Psychologie• Weidenmann 1988, 1991, 1994

• CD-ROM: Illusionen. Von Wahrnehmung und Optischer Täuschung. Navigo.

IR 118

Ziel :

Gestaltung der Interaktion zum benutzergerechtenInformationsaustausch zwischen Mensch und Maschineunter Berücksichtigung der Möglichkeiten und Grenzender menschlichen Informationsverarbeitung

Fragen:Zusammenspiel der versch. Medien:Unterstützen sich visuelle und akustische Informationen?Behindern mehrere Medien die Informationsaufnahme?Arbeitet visuelles und akustisches System nach gleichen Regeln?Welche Medien unterstützen wie den Wissensaufnahmeprozeß?...

IR 119

Informationsaufnahme des Menschen bei Lernprozessen in % der Ausgangsinformation

Informa-tions-übermittlungdurch

Jeff-coate

Börner Multi-Media

MM-ABC

Hören 20% 20% 10% 20%

Sehen 10% 30% 30% 20%

Hören&Sehen

50% 50% 50% 40%

Mitden-ken

80%

Eig.Handeln

80% 90% 95% 70%

IR 120

Die menschliche Informationsverarbeitung:

funktionale EinheitenBalzert 1996,544

Zeichenerkennung

Sensor. Register(visuell, auditiv, haptisch...)

Sinnesorgane: Auge, Ohr ...

Langzeitgedächtnis LZGdeklaratives Wissenprozedurales Wissen

Kurzzeitgedächtnis KZGArbeitsgedächtnis

Kognitive ProzesseEntscheiden, Suchen...

SprechenBewegung (Arm, Hand, Finger, Augen, Kopf)

2121

IR 121

Visuelle Wahrnehmung (1)• scharfes Sehen: nur im Bereich der Fovea (=

Netzhautbereich, auf den ein fixierter Punkt projiziert wird)

• Schärfe nimmt ab mit der Entfernung von der Fovea (Konturwahrnehmung, Farbabschwächung)

• Bewegungsempfindlichkeit nimmt zu!!!

• Wahrnehmung über großen Bereich: kleine Bereiche werden durch die Augen fixiert und in Gesamtbild integriert

• Pfade der Augenbewegung: periphere Grobwahrnehmung und Erwartungshaltung

IR 122

Visuelle Wahrnehmung (2)• Bei mehr als 30 Grad Entfernung eines Objekts von

der Fovea ist Kopfbewegung nötig• Bewegung am Zielort kann Reaktion auslösen

• Orientierung durch graphische und farbliche Unterschiede (Erleichterung der Suche)

• visuelle Wahrnehmung unterliegt einem Zeitraster von 100ms (mehrere Reize in kürzerer Zeit werden als Einheit wahrgenommen) (Beispiel: Cursorblinken)

IR 123

Visuelle Wahrnehmung

Sehr scharf

unscharf

unscharf

Foveales Sehen

Peripheres Sehen

Peripheres Sehen

IR 124

Wahrnehmung als aktiver Prozeß(Hasebrook 1995)

– Visuelle Wahrnehmung erfolgt nicht nur als photographischer Prozeß, sondern unter Einbeziehung des Vorwissens anhand vorgefertigter Schemata.

– Wahrnehmung ist eine „aktive Interpretation“, die zum großen Teil automatisch erzeugt wird und bewußt beeinflußt werden kann

IR 125

Konstanzphänomene

• Helligkeit eines Objekts immer relativ zu seiner Umgebung

• Bewegungskonstanz: ist ein bewegtes Objekt verdeckt, wird die Bewegung möglichst „natürlich“ ergänzt

• Farbkonstanz• Formkonstanz

IR 126

1. sog. Kippfiguren

Wahrnehmung beruht immer auf einer Illusion, auf Vorstellungenund Erwartungen, die z.B. an ein Bild herangetragen werden.

Abbildung selbst verändert sich nicht, aber die Wahrnehmungist instabil, kippt um

Grund:bei der Betrachtung entsteht keine stabile Sichtweise

2222

IR 127

2. Necker-WürfelBasis: L.A. Necker (schweiz. Naturforscher)

instabile Sichtweise:

graue Seite einmal hinten, einmal vornefunktioniert sogar bei teilweise verdecktem Würfel

IR 128

3. Einbeziehung von Vorwissen und Vorerfahrung

S. Abb. 2.5 in Hasebrook S. 24

Reizwahrnehmung, Reizverarbeitung: aus dem Strom der Reize wird nach einer sinnvollen Interpretation gesucht (Ordnung und Kategorisierung der Reize)

Abhängigkeit des Gesehenen vom Vorwissen, von der VorerfahrungVorwissen läßt sich nicht ausklammern

IR 129

Sehen

• „Augen sind Teil des Gehirns“• Grundfunktion menschlichen Sehens:

• kein weiter Überblick, sondern detailreiche Darst. von Einzelobjekten

• versch. Spezialisierungen des Sehens

IR 130

Auge - Netzhaut - Gehirn (1)

•Linse: zum Scharfstellen auf Objekte (je nach Nähe)•Iris: funktioniert als Blende (bei hellem Licht zieht sie sich zusammen,• um weniger Licht auf die Netzhaut gelangen zu lassen, Öf fnung bei• wenig Licht•das fokusierte Bild wird auf dem Kopf stehend auf die Netzhaut projiziert•Netzhaut (Retina): viele mit einander verschaltete Nervenzellen•Fovea in der Mitte der Netzhaut: Zellen besonders dicht (Scharfbereich)

IR 131

Nachwirkungen: Ermüdung (Kontrast, Kippen, Abstand)

• Erzeugung eines negativen Nachbilds• Netzhaut reagiert auf Reizung mit Licht durch

Ermüdung (ist nachvollziehbar)

• cf. Abb. 2.8 aus Hasebrook• Grenzkontrast: an den Grenzen zwischen weißen

und schwarzen Stellen Verstärkung bzw. Hemmung, um den Kontrast zu verstärken

• Neigungswinkel als Nacheffekt (c f. Abb. 2.10 Hasebrook )

IR 132

Kaniszas Dreieck und Figuren

• Abb. 2.11 aus Hasebrook

• ausgefüllte Kreise, Dreieck und nicht umrandetes • Dreieck, welches die anderen Figuren überlagert

• automatische Entstehung von illusionären weißen Figuren

2323

IR 133

Gestaltgesetze als Begründung

• Visuelles System sucht nach möglichst einfacher Beschreibung

• „Linienbündel durch Kreis überlagert“• Gesetz der guten Fortsetzung und Prinzip

der geschlossenen Figur (Erfassung einer möglichst geschlossenen Gestalt)

IR 134

„Pop-out“-Effektdt. „etwas springt ins Auge“

• HasebrookAbb. 2.12– abweichende Elemente springen ins Auge

(unabhängig von der Anzahl der sie umgebenden Elementen)

– Abweichung wird durch unterschiedlich spezialisierte Merkmalsdetektoren festgestellt

– werden ähnliche Merkmalsdetektoren angesprochen, steigt die Suchzeit

IR 135

Auge - Netzhaut - Gehirn (2)

•Netzhaut liefert Beschreibung von Form, Bewegung, Farbe, Hell-Dunkel•Beschreibung wird von den Sehnerven ins Gehirn weitergeleitet•„blinder Fleck“: Austrittstelle des Sehnervs aus dem Auge (Inhalt wird• durch Vorwissen und den Merkmalen der nahen Objekte ersetzt)•beide Sehnerven kreuzen sich im Chiasma opticum und ziehen zur Sehrinde• (visueller Cortex / Stelle der Großhirnrinde am Hinterkopf)•rechte Gehirnhälfte erhalte Information des linken Auges und umgekehrt•Verbindung beider Gehirnhälften durch Balken (Corpus allosum zum • Zusammenfügen der Bilder beider Augen)

IR 136

3D-Sehen

• Paarweise Anlage des visuellen Systems• Disparität• Konvergenz• Akkomodation• Umweltinformation

IR 137

Verarbeitung akustischer Information

• Abspielen von Tonfolgen, Musik, gesproch. Sprache

• Frage: wird ähnlich wie beim Sehen nach Interpretationen des Gehörten gesucht?– Bestätigung in Experimenten mit Tönen

(Bregman/Campbell)– Gestaltprinzipien (z.B. „gute Fortsetzung“)

IR 138

Experimente

• Zwei in einander geschobene Melodien

– wenn ein Stück bekannt ist, werden beide Melodien erkannt

– d.h. Mensch ist in der Lage, differenziert zu hören und Interpretation der akustischen Wahrnehmung zu steuern

2424

IR 139

Fazit:Visuelles und akustisches System beginnen nach der Reizaufnahme mit der Weiterverarbeitung dieser Informationen, um daraus nicht Abbilder, sondern Interpretationen der Umwelt zu formen. Dabei werden analoge Gestaltprinzipien eingesetzt.

IR 140

Selektive Wahrnehmung

• Information, wird wahrgenommen, nicht deren Details (Bsp. Münze)

• Verarbeitung der wichtigen Merkmale

IR 141

Klass. Experiment von Sperling

• Memorierungsleistung ca. 5 Buchstaben• in Kombination mit Tönen bessere

Memorierungsleistung (aber nur sehr kurzfristig)

– Folgerung: visuell wird die gesamte Information gespeichert, dauerhaft ist nur ein Bruchteil möglich

– Annahme: sensorische Register, die für kurze Zeit recht vollständig speichern können

IR 142

Gedächtnisformen

Sensorisches Gedächtnis (auch sensorische Register genannt)

Kurzzeit- oder Arbeitsgedächtnis kann für kurze Zeit einigewenige Information speichern

Langzeitgedächtnis, das eine große Menge von Informationenfür lange Zeit behalten kann

IR 143

Gedächtnis (Atkinson/Shiffrin)

1234567

Umwelt-information

KZGLZGsemant. Speicherung

Selektion

Ver-tiefendeWiederhlg .

Vergessen durch Störung

Vergessen durch Ersetzen

IR 144

Arbeitsgedächtnis

LZGZentrale Aufmerksamkeits-kontrolle

Visuell-räumlicher SpeicherSprachl.-akust. Speicher

LZG

KZG

2525

IR 145

Die magische 7• Gleichzeitige Verarbeitung von 7

Informationseinheiten• Mnemotechniken

• kein wesentlicher Einfluß auf die Anz. gleichzeitig aktiv gehaltener Einheiten, aber Menge pro Informationseinheit

• Bsp. L-I-T-M-U-M-I-A-D-E vs. MULTIMEDIA

• behaltensfördernden Wirkung von Vorstel-lungsbildern

IR 146

Verstehen von Wörtern

– Nicht ein Buchstabe bzw. Ton nach dem anderen wird wahrgenommen, sondern Abtasten in kl. Sprüngen (sprunghafte Blickbewegungen)

– Fixation (0,25 sec.): 6 bis 8 Buchstaben– beim Hören: Wahrnehmung sinnvoll

segmentierter Lauteinheiten (Phoneme)– Bsp.: „In mud eels are, in clay none are.“

IR 147

Wahrnehmung audio-visueller Medien

• Ausgelagert!

IR 148

Stimmt die Multimedia-Pyramide?

0%

10%20%

30%40%50%

60%70%

80%90%

Hören

Sehen + Lesen

Sehen, Lesen,HÖRENSprechen

Tun

IR 149

Antwort• Täuschen pauschales Ergebnis vor („Viel

hilft nicht immer viel!“)• Differenzieren, ob Faktenwiedererkennung

oder freie Wiedergabe• differenzierte Erklärung, was unter den

einzelnen Kategorien verstanden wird• zu übermittelnder Inhalt ist wesentlich für

Medienmix

IR 150

Beispiele

• Bahnauskunftsysteme: gesprochene Ankunfts - und Abfahrtzeiten weniger geeignet als schriftliche Mitteilung (besser Sehen als Hören, beides???)

• Bereich der Medizin: gute Zeichnungen mit Falschfarben besser zur Erklärung der menschlichen Anatomie als brillianteFarbfotos

2626

IR 151

Entscheidend ist also nicht wie viele Medien einge-setzt werden oder wie realitätsnah diese Medien sind,sondern ob der Inhalt angemessen für die jeweiligeBenutzergruppe dargestellt wird.

Für die angemessene Inhaltsdarstellung gibt es

keine Patentrezepte!

IR 152

Exkurs: TextverstehenBeispiel„Du bleibst vor der Front stehen, legst die rechte Hand auf denmetallenen Bügel, der etwa auf Bauchhöhe aus der Flächehinausragt. Durch einen Druck auf das freischwebende Endebewegst du diesen abwärts, bis du am Widerstand fühlst, daßder Anschlag erreicht ist. In dieser Position hältst du den Bügelfest und drückst nun in horizontaler Richtung, vom Körper weg.Du wirst sehen, es verschiebt sich darauf die ganze vor dirliegende Fläche im Winkel ....“

Roger Willemsen 1987, 118 (Figuren der Willkür)

IR 153

Was soll dies zeigen?

• Synonym: „Du öffnest die Tür“• Texte werden umso leichter verstanden, je

eher sie an bereits Bekanntes anknüpfen, dieses kurz erwähnen, nicht aber lange beschreiben.

• Leser baut sich Gedankenwelt auf, konstruiert zu einfachem Satz eine Geschichte.

IR 154

Komponenten des Textverstehens

• Worterkennung (Ermittlung der Bedeutung)• Abruf aus mentalem Lexikon

• Ermittlung des Zusammenhangs der Wörter• Beschreibung der regelhaften Strukturen in der

Grammatik

• Ermittlung des Inhalts (Semantik)• Begriffslexikon mit Merkmalen

• „Colourless green ideas sleep furiously“

IR 155

Chomsky-Grammatik: Beispiel

DER

Artikel

MANN

Nomen

NP

NIMMT

Verb

DAS

Artikel

BUCH

Nomen

NP

VP

Satz

IR 156

Kintsch / Van Dijk: Modell des Textverstehens

• Erklärungsmodell der Textverarbeitung und des Textbehaltens

• Gliederung des Textes in Sinneinheiten– kleinste sinnvolle Einheiten: sog.

Propositionen mit Argumenten über Wahrheitsgehalt

– Verknüpfung von Propositionen

2727

IR 157

Propositionen

• „Tina kauft sich ein Eis. Sie mag besonders gerne Erdbeereis.“

• Verknüpfung der Propositionen (Ersetzung „sie“ durch „Tina“)

• nicht generalisierbar:– „Der alte Mann steigt in Konstanz in den Zug,

der andere alte Mann in Allensbach“.

IR 158

Experimente zu den Propositionen

• Die Länge des Textverstehens hängt von der Anzahl der Propositionen nicht von der Anzahl der Wörter ab!

• Begriffspaare: Frage, ob in einem Satz?– VPs erkennen in einer Proposition

vorkommende Wörter schneller

IR 159

Beispiel für PropositionenDie AmeisenIn Hamburg lebten zwei Ameisen,Die wollten nach Australien reisen.Bei Altona auf der ChausseeDa taten ihnen die Beine weh,Und da verzichteten sie weise,Dann auf den letzten Teil der Reise.

Ringelnatz

IR 160

Ort: Hamburg

leben, Ameisen

Zahl: zwei Wollen verreisen

Ziel: Australien Beine tun weh

Ort: Altonaauf der Chaussee

Verzichten auf Reise

Art: weise

Zerlegung inPropositionen

IR 161

Ablauf

• Das in seiner Aufnahmekapazität begrenzte KZG wird mit Propositionen gefüllt

• werden mehr P. erfaßt als in den Speicher passen, P. mit den wenigsten Links werden inaktiv

• im KZG werden aktive P. gehalten, inaktive werden ins LZG trasferiert (müssen aktiviert werden)

IR 162

• Die P., die am häufigsten wiederholt werden, d.h. die meisten Bezugspunkte bzw. Links aufweisen, werden am besten behalten.– „Ameisen (wollen) verreisen“

2828

IR 163

Mentale Repräsentation von Bild-und Textinformation

(Hasebrook, 91ff.)

TextverstehenSprachverstehenSchriftbeherrschung

Bildverstehen

Bildersprache ?Bilderschrift

Mögliche Antworten:Bilder werden direkt verstandenLesen von Bildern muß gelernt werden, Bilder können nicht unabhängig von der Bildsprache (z.B. des Malers) verstanden werden

IR 164

Unterschiede: Text - Bild(Hasebrook, 97ff.)

Texteinzelne, getrennte Elemente(Wörter) zur Beschreibung

Benennung von Beziehungen

feste Grammatik gibt Regeln vorsprachl . Darstellung ist abstrakt

Bildkeine diskreten Elemente(Figuren, Linien, Punkte)

Position der Elemente ergibt Beziehung

Grammatik für Bilder gibtes nicht

Analogie zur Welt

IR 165

Geteiltes GedächtnisSprachlich-sequentielle Information

Bildlich analogeInformation

Sinnesorgane

Verbales System Nicht-verbales System

LogogeneImagene

Querver-bindungen

IR 166

„Sog. informierende Bilder“Weidenmann 1994

Informierende Bilder werden erstellt, um Aussagen zubestimmten Inhalten zu machen (vor allem in instruktionalen Situationen (Informationssysteme))

Ziel: Codierung von Bilder, sodaß der Rezipient den Inhalt möglichst eindeutig und vollständig erfassenkann.

Einsatz von Techniken, um den Prozeß der Informations-erfassung zu unterstützen (z.B. Legenden, Verbalisierung)

IR 167

Bildproduktion - Bildrezeption

InformierendesBild

Autor RezipientBildhafte Codierung

Informations-extraktion

Antizipation

Was wollte der Autor mitteilen?

IR 168

Differenzierung

• Nur-Text-Information• Nur Bild-Information• Überlappende Information aus Text und

Bild• ...

2929

IR 169

Offene Fragen

• Wie funktioniert die Informations-extraktion aus Bildern?

• Welche Merkmale bestimmen den Rezeptionsprozess

• Psychologische Analyse der Bildproduktion noch kein Thema (vgl. Dokumentation von Texten = Beruf, Schreibprozessforschung)

IR 170

Gestaltung informierender Bilder• IB kommunizieren best. Inhalt als visuelles

Argument (zentrale Merkmale)• Gebrauchsanweisung, Beschilderung -->

Handlungsanweisung

• adäquate Codierung• alle relevanten Aspekte• optimal abgestimmt auf Rezipienten und Situation

• Expertenwissen zur Produktion visueller Argumente (unkanonisiertes Wissen)

IR 171

Beispiel 1

IR 172

Beispiel 2

IR 173

Beispiel 3

IR 174

Beispiel 4

3030

IR 175

Möglichkeiten bildhafter Codierung

– Darstellungscodes zur Argumentangemessenheit

• angemessene Visualisierung• Konventionalität• Kontur, Schattierung,• Perspektive, natürl. Farbe,

vertrauter Kontext• Einhaltung von Konventionen

(Leserichtung)

– Steuerungscodes zur Rezeptionsangemessenheit

• Extraktion steuern• Abweichung vom

Gewohnten, Hinweis auf Besonderes

• opt. Hervorhebung• Kontrast, Vergleich• spezielle Zeichen:

Pfeile, Symbolfarben

IR 176

Bsp. für Darstellungscodes

• Abbild: Inhalte, die in der Realität vorkommen (z.B. „das Ohr“)

• je vertrauter die Objekte, desto geringer der graph. Aufwand, um mentale Repräsentation zu induzieren (Karikaturen, Piktogramme)

• logische Bilder: erfunden zur grafischen Präsentation abstrakter Strukturen und konventionalisiert (Liniendiagramme)

• (z.B. Nettoumsatz in den letzten 10 Jahren)

IR 177

Bsp. für Darstellungscodes

• Kombinationen von Abbild und log. Bilder: Darstellung des Konzepts „Vogel“ am Beispiel der verschiedenen Vogelarten

IR 178

Bsp. für Steuerungscodes

– Üblicherweise erfolgt Lenkung der Bildverarbeitung verbal (Legenden, Überschriften, Kommentare etc.)

– meist Doppelungen des bildlichen Darst.codes– richtige Steuerungen: Beginnen Sie die Tabelle

in Spalte 1 zu lesen, vergleichen Sie...

IR 179

Bsp. für Steuerungscodes

– Explizite bildliche Codes: explizite Zeichen als Zusätze zur eigentlichen Darstellung

• Bildliche Mittel: Pfeile, farbl. Hervorhebungen, Ausschnittvergrößerungen, Schraffierungen

– implizite Steuerungscodes• implizite Hervorhebung z.B. durch Größe, Farbe,

Abweichung von den anderen Bildelementen

IR 180

Rezeption informierender Bilder

• Prä-attentive Prozesse: erster Blick• laufen automatisch, unbewußt, sehr schnell ab• Vorwissen spielt trotzdem eine Rolle• primärer Zugriff auf das Bild und liefern

unmittelbare Interpretation

• Attentive Prozesse: umfassendes Extrahieren der Information

• kontrollierte Suche, explizite Analyse, langsamer, bewußt, größerer mentaler Aufwand

3131

IR 181

Bilder und mentale Modelle

• Komplexes Wissen wird in Form mentaler Modelle gespeichert („interne Objekte“)

• Mentale Modelle stehen in Analogie-beziehung zu Realitätsausschnitten

• Aufbau von Theorien und Regelsystemen– Vorstellung über das Funktionieren eines

Geräts (ausreichend zur Interaktion)– Zusammenspiel volkswirtschaftl. Variablen

IR 182

Mentale Modelle– Kognitive Repräsentationen von Teilen des

Systems (Struktur und dynam. Verknüpfung der Teile)

– MM erlauben Prognosen, wie sich Veränderungen in Teilen auf andere Teile auswirken (simulative Abläufe vor dem „inneren Auge“)

– Differenzierung: Experten - Laien - Modelle

» Experten: nicht nur Oberflächenmerkmale (kausale und strukturelle Aspekte, deep-level)

» Laien: wahrnehmbare Merkmale, inkohärente, lückenhafte, widersprüchl . MM

IR 183

Mentale Modelle

Bild intern(image)

Bilde extern(picture)

AspektCodierung

MM als bildhafteVorstellungen

Bilder alsexternalisierte MMdes Bildautors

AspektBildverarbei-tung

MM alsWerkzeuge beimBildverstehen

Bilder als Materialzur KonstruktionMM

IR 184

MM als bildhafte Vorstellungen

– Imaginative Manipulation MM bei der Anwendung auf konkrete Problemlösungen

– Imaginatives „Ablesen“ der Veränderungen– Imagination als „interne“ Medien für

Denkarbeit– Lernen: Übergang vom Laien zum Experten

• Oberflächenmerkmale werden zunehmend ersetzt durch konzeptionelle Merkmale, die zum wirklichen Verstehen notwendig sind (Einfluß des Trainings)

IR 185

Problematik: Erfassung MM– Gibt es interindividuelle Unterschiede bzgl.

Generierung und Nutzung interner Bilder?• Sog. „ Visualisierer / Verbalisierer“ als Werkzeuge

(Selbstauskunft -Fragebögen)– hoher Score in Richtung Visualisierer : „a visualmode of

thinking“

• Ansatz von Kosslyn et al. 1985– Unterscheidung versch. Teilfähigkeiten „imaginary

ability“ (z.B. rotierenlassen eines internen Objekts, Verbindung eines abstrakten Bilds mit Eselsbrücken, Auswertung von Analogien etc.)

– unterschiedliche Gruppen: gute und schlechte Visualisierer

IR 186

Bilder als externalisierte MM– Umsetzung der Perspektive des Bildautors in

optische Darstellungen („Statement“, „visuelles Argument“)

– komplexe Interaktion der mentalen Vorstellungen eines Autors zu bestimmten Inhalten mit Prozessen des Formulierens (auch Antizipation des Rezipientenverhaltens)

3232

IR 187

Visuelle Gestaltung

Welche optischen Attribute sind wichtig? (Farbe, Schattierung, Bilderfolge, bewegte Bilder)

Welche Perspektive? (z.B. bei Handlungsanweisungen: Kravattenbinden Spiegelsicht oder Daraufsicht???)

Was ist der informativste Moment bei der Darstellung von Bewegung? (Bsp. Comics, Laokoon-Motiv)

Wie lassen sich Grenzen der bildlichen Darstellung kompensieren? (z.B. durch Text oder nichtsprachliche

Information)

IR 188

Notwendig: Forschung in diesem Bereich

• Studie von Rankin 1987– Befragung von Lerntext-Autoren nach Zweck,

Botschaft und Hauptinhalten ihrer Illustrationen– Überprüfung des Gelernten bei Studenten

(Fehleranalyse)• Interpretation unwichtiger Aspekte (gleiche Stärke

von Pfeilen und Kästen)

– Entwicklung eines Design-Modells für Autoren von Bildern

IR 189

Bilder als Material für MM

• Fragestellung : Aufbau und Optimierung MM mithilfe von Bildern– je besser das MM, desto besser die

Problemlösungsfähigkeit in best. Bereich– eignen sich Bilder (Analogbilder, Abbilder,

logische Bilder) in besonderer Weise für die Konstruktion MM der Rezipienten?

IR 190

Beziehung zw. Bildern und MM•Abruf

•Bilder können vorhandenes MM aktivieren

•„Schrank-Ikone“ : Datei/Directory-Struktur•Fokussierung

•Bilder können Teile eines MM besonders hervorheben •(Knoten und Kanten, z.B. Handgriff in Montage-•anleitung)

•Konstruktion•Bilder können aufzeigen, wie Objekte in alte Strukturen eingebaut werden können

•Ersatz

•Bilder können komplexes MM vor Augen führen•Trickfilm

IR 191

D.h.

• Bilder als visuelle Hilfen für den Nutzer zur Konstruktion mentaler Modelle

• Bilder sind besonders effektiv, da sie sowohl die Komponenten als auch die Relationen präsentieren können (sprachlich wesentlich schwieriger: Aussehen von Objekten, räumliche Konstellationen etc.)

IR 192

Kombination: Sprache und Bild– Funktion der Sprache:

• Disambiguierung mehrdeutiger Bilder• Akzentuierung komplexer Bilder

• Erläuterung logischer Bilder

– Rezipient muß folgende Aufgaben bewältigen:• selektive Fokussierung jeweils auf Text - oder Bild• gleichzeitige bzw. abwechselnde Verarbeitung

beider Symbolsysteme• Aufbau einer kohärenten, zusammenhängenden und

stimmigen Text/Bild-Repräsentation

3333

IR 193

Bis hier:MM als Werkzeuge zum Bildverstehen

• Vorwissen einer Personen als einfluß-reichste Variable– wenig Vorwissen korreliert mit bestimmter

Form der Bildpräsentation– abstrakte Bilder erfordern mehr Elaboration

und Inferenzen

IR 194

Zusammenfassung• Informierende Bilder sind als visuelle

Argumente zu verstehen• Bilder spielen eine wichtige Rolle im

Kommunikationsprozeß zw. Bildautor und Bildrezipient

• Forschungsarbeit muß erweitert werden

IR 195

Bezug zu Multimedia

• Multimedia-Systeme müssen die kognitionspsychologischen Grundlagen berücksichtigen und operationalisieren

• Im Vgl. zu den konventionellen Medien bieten sie neue Möglichkeiten– Beispiel: Differenzierung der Rezipienten kann

insbesondere durch Multimedia-Systeme geleistet werden