Upload
hoangtuong
View
222
Download
0
Embed Size (px)
Citation preview
11
IR 1
Multimedia Retrieval
Christa Womser-HackerVorlesung im SoSe2002
IR 2
Gliederung: Teil 1
• Information Retrieval im Kontext der Informationswissenschaft
• Informationsprozess• Was ist Information Retrieval nicht?• Was ist Informations Retrieval?• Was ist Intelligentes Information Retrieval?• Was ist Multimedia Retrieval?
IR 3
Multimedia Retrieval im Kontext der Informationswissenschaft
IR 4
IR im Kontext der Informationswissenschaft
Die Informationswissenschaft befasst sichDie Informationswissenschaft befasst sichmit Informationsprozessen und ihren mit Informationsprozessen und ihren Rahmenbedingungen. Sie spannt den BogenRahmenbedingungen. Sie spannt den Bogenvon der Produktion von Wissen und Informationvon der Produktion von Wissen und Information(repräsentiert in versch. Medien)(repräsentiert in versch. Medien)bis hin zurbis hin zurNutzung durch heterogene Benutzergruppen.Nutzung durch heterogene Benutzergruppen.
IR 5
Der informationswiss. I.-Begriff• Differenzierung: Information und Wissen• Wissen ist der Bestand an Modellen über Objekte
und Sachverhalte der Welt, die in Individuen, in Gruppen etc. vorhanden sind
• Im Problemlösungsprozeß wird „ein Stück Wissen“ in Information transformiert
• bei der Erarbeitung von I. entsteht Mehrwert• Formel: „Information ist Wissen in Aktion“• aus I. kann wieder W. entstehen
IR 6
Pragmatisches Postulat• Information ist immer gebunden an einen
spezifischen Problemlösungs-zusammenhang
• Situation und Kontext des Benutzers sind relevant
• Information kommt in einem Kommunikationsprozeß zustande
• Beispiel: Jobanzeigen
22
IR 7
Mehrwertsfunktion• Durch die Erarbeitung von Information
entsteht Mehrwert, da das Wissen einem „Veredelungsprozeß“ unterzogen wird
• Stichwort: Informationsarbeit• Beispiele
– benutzerbezogene Aufbereitung in Form von, graphischen Visualisierungen, Management Reports, adäquater Medienmix etc.
IR 8
Beispiel für Mehrwert:Elektronische
Publikationskataloge• Schnelle und potentiell weltweite
Verfügbarkeit via Internet• größere Aktualität• intensivere Austausch- und Kommunika-
tionsmöglichkeiten• erweiterte Darstellungs- und Recherche-
möglichkeiten
IR 9
Beispiel für Mehrwert:Elektronische Zeitschriften
• E-Journals sind vernetzt zu Hypertexten• Interaktivität und Dynamik• geringere Kosten (Bsp. Dissertationen)• keine Wartezeiten wg. Fernleihe• Mehrfachnutzung kein Problem• gezielte Suche nach Schlagwörtern• schneller und einfacher Zugang
IR 10
Zusammenfassung• I. basiert auf W., muß aber an den situativen
Kontext des Benutzers angepaßt werden• I. ist abhängig vom Adressaten• I. wird nach ihrem Neuheitswert und ihrer
Handlungsrelevanz beurteilt• I. ist zielgerichtet und planorientiert, wobei
Unsicherheit über die Pläne bestehen kann
IR 11
• I. muß mengenmäßig angepaßt werden, ein Zuviel ist genau so schlecht wie ein ein Zuwenig an I. (Informationsflut vs. Informationsdefizit)
• Information zur rechten Zeiten, am rechten Ort, in der richtigen Form
• I. ist Produkt und öffentliches Gut.
IR 12
Der Informationsprozess
33
IR 13
Informationsprozess: Rollen
Benutzer Vermittler System
Informations-suchendermit Problem
Spricht die Sprache desSystems
Kann nur das,was man ihmbeigebracht hat
IR 14
Annahmen über den Kommunikationspartner
Mensch Maschine
Annahmen überdie Maschine
Annahmen überden Menschen
Beispiel: BenutzermodelleStereotypenansatz„Ärzte sind vielbeschäftigt und habennie Zeit“. D.h. sie wollen nur ein paarSchlüsseldokumente mit guten Visualisierungen
„Maschinen sinddoof.“„Ich möchte von demAbfahrtsbahnhof Hildes-heim zum Ankunftsbahn-hof Hannover fahren“
IR 15
Ein Stück des Informationsprozesses
IR 16
Information Retrieval im Gegensatz zu ...
IR 17
... zum rein intellektuellen Informationsprozess
• Informationswissenschaft befaßt sich insbesondere mit Informationsaustausch zwischen Mensch und Maschine (und mit dessen Rahmenbedingungen)
• Fokus: sozio-techn. Kommunikationssituation:
Mensch - ComputerIR 18
Begriff: Informationssysteme (Verständnis der Wirtschaftsinformatik)
• WI befaßt sich mit „Informations- und Kommunikationssystemen in Wirtschaft und Verwaltung“ (Lehner et al. 1995)
• d.h. interdisziplinäre Ausrichtung• Objektbereich aus den Wirtschaftswiss. +
Informationssystem aus der Informatik
44
IR 19
Verständnis der Informationswissenschaft
• Einbeziehung des gesamten Informa-tionsprozesses
• nicht nur Ausrichtung auf betriebliche Informationssysteme, sondern auch wissenschaftliche und Fachinformation (z.B. Chemie)
• Schwerpunktsetzung auf verschiedene Typen informationeller Einheiten (unsicheres Wissen, vage Anfragen)
IR 20
...zum holistischen Ansatz der Informations-und Kommunikationssysteme
• Information und Kommunikation• Austausch von Informationen zwischen den Komponenten
des Systems und zwischen dem System und seiner Umwelt
• holistischer Ansatz• „das Informationssystem des Unternehmens“: Gesamtheit
aller betrieblicher Abläufe und Tätigkeiten im Bereich Information
IR 21
Einteilung von Informationssystemen
• nach dem Verwendungszweck? z.B. Administration, Entscheidungsunterstützung
• betriebliche und überbetriebliche IS• branchenspezifische und branchenüber-
greifende IS? IS im Bereich ZVEI vs. generelle Anwendungssysteme für die
Buchführung
• funktionsbezogene / unternehmensbezog.• Typ der Information (Bildretrieval etc.)
IR 22
... Zur Relationalen Datenbank
Name Vorname Straße PLZ Ort Tel.nr.
Sachs Hans Burg-weg 7
90403 Nürnberg 0911/226727
Geier Florian Kolping-str. 4
80807 München 089/777777
Meier Josef Bach-weg 18
81669 München 089/728293
Meier Kurt Schützen-str. 7
81659 München 089/728043
IR 23
... Zur Objektorientierten Datenbank
Personen
Kinder Mütter/Väter Begleitpersonal
Vor Ort Gäste
Verwaltung Pflege Betreuer
Vererbbare EigenschaftenName, Vorname etc.
Gehalt
Krankenkasse
Bsp. Eltern-Kind-Kuren
IR 24
... Zu Expertensystemen od. entscheidungsunterstützenden
Systemen• Komponenten
– Wissenskomponente (Wissen und Regeln)– Inferenzkomponente– Interaktionskomponente– Akquisitionskomponente– Erklärungskomponente
BspBsp. MYCIN. MYCIN
55
IR 25
Was ist Information Retrieval ?
IR 26
Information Retrieval Systeme (IRS)
• Was ist IR? Was ist IIR?• Grundmodell des IR• IR-Modelle• Indexierung
– Termbehandlung (gesprochen – geschrieben)– Bildanalyse
• Retrieval– Anfragegenerierung/-optimierung– Visualisierung– Hilfen
Wo kann Intelligenzeingebracht werden?
D.h. innovative IRS
Hintergrundfrage
IR 27
• „An information retrievalsystem is an information system, that is , a system used to store items of informations that need to be processed, searched, retrieved, anddisseminated to various user populations.“ (Salton/McGill 1983,XI)
• Im IR werden Informationssysteme in bezug auf ihre Rolle im Prozeß des Wissenstransfers vom menschlichen Wissensproduzenten zum Informations-Nachfragenden betrachtet (FG IR in GI)
IR 28
• „IR beschäftigt sich schwerpunktmäßig mit jenen Fragestellungen, die im Zusammenhang mit vagen Anfragen und unsicherem Wissen entstehen. Vage Anfragen sind dadurch gekennzeichnet, daß die Antwort nicht a priori eindeutig definiert ist.“
(FG IR in GI)
IR 29
„IR is a communication process. [...] authors or creators
of records communicate with readers, but indirectly and
with a possibly long time lag between the creation of a
message or text and its delivery to the IR system user.
[...] Is information retrieval a computer activity? It is not
strictly necessary that it be [...]“ [Meadows 1991, S.2]
IR 30
„leading the user to those documents that will be best
enable him/her to satisfyhis/her need for information“
[Robertson 1981, S.10]
„the goal of an information retrieval system is for the
user to obtain information from the knowledge resource
which helps her/him in problem management“ [Belkin 1984]
66
IR 31
Informationsprozeß
Problem Problem-
analyse
Suchfra-genformulierung
Suche Bewertung Informations -
aufbereitung
1.1. 2.2. 3.3.
4.4. 5.5. 6.6.
IR 32
Was ist Intelligentes IR? (IIR)
Ausgangspunkt (Croft 1987, 249):„We do not know the best way of representing the content oftext documents and the users‘ information needs so that theycan be compared and the relevant documents retrieved.We cannot even agree on a definition of relevance.... Limitation of recall and precision...
The other factor is the increasing awareness of the importance of IR as an application area..... Systems that handle text and multimedia documents...“
IR 33
Was ist Intelligentes IR? (IIR)(Croft 1987, 249):„Intelligent IR, as we have used it to define the scope of thisspecial issue, deals with the overlap of research in artificialintelligence (AI) and IR...“
Two categories of projects:„(1) basic research in such areas of AI as natural language pro-cessing , knowledge representation , and reasoning that use IR asan application and(2) research that concentrates on the development of systems thatblend traditional IR techniques and techniques developed in AI“.
Ziel: to build significantly more effective systems
IR 34
What makes a system intelligent?
– Sparck Jones 1983• knowledge base, inferential capabilities to establish
connections between a request and a set ofdocuments, NLP, Fusion, Clustering techniques
– Van Rijsbergen 1986• plausible inference• Handling der Differenz zwischen theoretischer
Performanz (100% Recall, 100% Precision ) und praktischer Performanz
IR 35
Annäherung: AI und IR
AI IR
Simulationkleine Szenarios
RealitätsbezugEvaluierung / Testen„echte“ KollektionenMassendaten
ExpertensystemeWissensrepräsentation
NLP
IR 36
IR und Expertensysteme• Regelbasierte Repräsentation von Expertenwissen• „expert intermediary systems“ (cf. Brooks 1987)
– assistiert in der Anfrageformulierung– bei der Auswahl der Suchstrategie– und bei der Bewertung der Ergebnisdokumente
• Analyse des Benutzerverhaltens (Ziel: Aufbau eines Anfrage- und Benutzermodells cf. Brajnik, Guida, Tassa 1987: IR-NL II: Erarbeitung von Stereotypen)
• IOTA (Chiaramella et al.): NLP: Suchkonzepte und Benutzerinformation
• Fox 1987: The CODER system
77
IR 37
IR und NLP• Ziel: Ersetzung einfacher Sprachanalysetechniken
durch „sophisticated NLP techniques“, um den Inhalt exakter abbilden zu können
– Einsatz großer Wortbücher– Verwendung von Thesauri– Wissensbasen auf der Basis der Terme– Kombination von Morphologie, Syntax und Semantik
IR 38
Expertensysteme od. entscheidungs-unterstützende Systeme
• Komponenten– Wissenskomponente (Wissen und Regeln)– Inferenzkomponente– Interaktionskomponente– Akquisitionskomponente– Erklärungskomponente
IR 39
Aktuelle Modelle mit erweiterter Modellstruktur
Standard -modell
Retrieval-hilfen
Intell.Thesauri
Lern-komponenten
Benutzer-modelle
VisualisierungSchnittstellen
NLP-Techniken
RelevanceFeedback
IR 40
Grundmodell: IRS
Texte
Match
Anfrage
Analyse
Ergebnis
1.Dok.62.Dok.83.Dok. 784.Dok.99
Repräsentationen
term1, term2,term3, term4...
Repräsentation
text text texttext text texttext text texttext text texttext text text
IR 41
Das Matching-Paradigma des klassischen IR
• Klassisches Boolesches Retrieval• Benutzer drücken ihr Suchproblem in einer
exakten Retrievalsprache aus• Verbindung von Termen und Boolescher
Logik• Beispiel:Messenger• search (mess? OR pruef?) AND laser
IR 42
Boolesche Logik
Term1
• AND, OR, NOT
Term2
Term3
88
IR 43
Nachteile der Booleschen Systeme
• Disjunkte Unterteilung in relevant und nicht-relevant
• Erwünschter Umfang schwer kontrollierbar• Benutzer haben Probleme mit der
Booleschen Logik• Visualisierbarkeit
IR 44
Ranking-Systeme
• Anordnung des Ergebnisses in einer nach Relevanz (!) sortierten Reihenfolge
• notwendige Voraussetzung: gewichtete Indexierung
• cut-off kann vom Benutzer bestimmt werden
IR 45
Grundprinzip Ranking
Index
Dokumente Anfrage
Gewicht / Rankingwert pro Dokument-Anfrage-Relation
IR 46
Boolesche Beispielrecherche
• „Auswirkungen von Zigarettenkonsum auf das Krebsrisiko bei Jugendlichen“
• 1.Anfrage Zigaretten 19.238 • 2. Anfrage Zigaretten /TI 2.598 • 3. Anfrage Krebs 25.072• 4. Anfrage 2 AND 3 637• 5. Anfrage 4 AND Jugendlicher 54
IR 47
Suche in Ranking-Systemen• Anfrage Gewicht D1 D2 D3
• Zigaretten 5 x x x• Krebs 5 x• Jugendlicher 1 x x
Gewicht 5 11 6
Anordnung: 1. D2 2.D3 3. D1
-
IR 48
Multimedia
99
IR 49 IR 50
Multimedia - IR
IR 51
Zwei extreme Positionen: die erste ...
A Digital Library for Education
„It is time to build the America within reach ... An Americawhere every child can strech a hand across a keyboardand reach every book ever written, every painting everpainted , every symphony ever composed.“
President Bill Clinton
IR 52
Zwei extreme Positionen: die zweite ...
„Der Mensch ist gottlob so robust, daß er alle didaktischen Experimente unbeschädigt übersteht, auch die universitären. Wer sich dennoch von einerIntensivierung der Hochschuldidaktik eine Modernisierung der Lehre verspricht, der wird enttäuscht werden; nicht nur, weil Wissenschaftsprozessekeinen didaktischen Regeln folgen, sondern weil der selbstbewußt Lernendein seiner didaktischen Behandlung eher Formen der Entmündigung als der zu fördernden Selbstbestimmung sieht.“
Jürgen Mittelstraß (1994), Die unzeitgemaesse Universität, S. 19
IR 53 IR 54
Begriff Multimedia„Multimedia wird heute als Oberbegriff für eine Vielzahl neuer bzw. neuartiger Produkte und Dienstleistungen aus dem Computer-, Telekommunikations - und Medienbereich verwendet.“
Büro für Technikfolgen-Abschätzung beim Deutschen Bundestag (nach Grauer/Merten 1996,8)
1010
IR 55
Begriff MultimediaMultimedia ist „eine Synthese und ganzheitliche Nutzung verschiedener Medien. Bild (Film und Photographie), Ton und Text sind nicht mehr getrennte Werkgrößen, sondern können dank der Digitalisierung zu einer neuen Einheit verknüpft werden“.
Hoeren 1996, Multimedia-Recht
„Multimedia ist die Integration von verschiedenartigen Medien. Voraussetzung dabei ist, daß die Medien einen inhaltlichen Bezug zueinander haben, der didaktisch begründbar ist.“
Helmert 1992
IR 56
Dimension Zeit• Diskrete Medien
– Informationen in diesen Medien bestehen ausschließlich aus einer Folge einzelner Elemente
– Beispiele: Text, Grafik
• Zeitabhängige Medien– Veränderung über die
Zeit hinweg– Information steckt
nicht nur in einem Wert, sondern auch im Zeitpunkt des Auftretens
– Beispiele: Ton, Bewegtbild
IR 57
Medien
TextText und Hypertext
BildGrafikFoto
Diskrete Medien(zeitunabhängig)
VideoAnimationVideofilm
Ton (Audio)Sprache, Musik,
Geräusche
Kontinuierliche Medien(zeitabhängig)
Medien
IR 58
TexteVolltexte (z.B. Patente)
Textkondensate (Abstracts, Titel)Referenzen:
Autor: Krcmar , H.
Titel: Informationsmanagement
PY: 1997
Verlag: Springer
ISBN: 3 -540-61846-5
IR 59
„Bilder“
0
102030405060
708090
1. Qrtl. 2. Qrtl. 3. Qrtl. 4. Qrtl.
OstWestNord
IR 60
Video
• Spielfilm– TITEL: Jenseits der Stille– LAND: Deutschland– JAHR: 1996– REGIE: Caroline Link– LÄNGE: 109 Minuten– EINORDNUNG: Mehrfach preisgekrönter
Erstlingsfilm
1111
IR 61
Audio
Gesprochene Sprache: SprecherLängeZeitTranskription
Musik: Sänger: Elton JohnTitel: Candle in the Wind„traurig, ruhig, melancholisch“Schlagwörter: Diana, Tod, Begräbnis, Symbol ...
IR 62
Mischformen
• Für den Benutzer ist die Befriedigung des Informationsbedürfnisses zentral, nicht das Medium, in welchem das Wissen vorliegt.
• Text und Graphik / Bild
• Text und Fakten
IR 63
Hypermedia
Text TextText Text
Bild
Text TextText Text
Text Text Text Text
TextText Text Text
Bild Bild
Text TextText Text
IR 64
Merkmale von Multimedia-Systemen
• Die zweckgerichtete Integration zeitin-varianter und zeitvarianter Medien
• Interaktion mit dem Benutzer• assoziativer Zugriff auf die Informationen• Simulation von Benutzerwünschen• Speicherung, Übertragung und
Verarbeitung aller Medien in digitaler Form
IR 65
Memex (1945)„Memory Extender“ (1)
• Private Sammlung von Büchern, Aufzeich-nungen, Mitteilungen
• eine Art Archiv• schneller und gezielter Zugriff• Speicherung auf Mikrofilm in einem
speziellen „Schreibtisch“ mit Vorführ- und Leseeinrichtungen (auch zum parallelen Vergleich)
IR 66
Memex (1945) (2)• Assoziative Indizierung als Konzept von
Memex (untypisierte Verbindungen)• spezielle typisierte Verbindungen sollten
Pfade durch das Material zur Verfügung stellen, um Wissen über spezielles Thema zusammenzufassen (automatische Werkzeuge)
1212
IR 67 IR 68
As we may thinkby
Vannevar Bush (1890-1974)The Atlantic Monthly , July 1945, Vol. 176, no. 1, pp. 101-108.
http://www.theatlantic.com/unbound /flashbks /computer/bushf.htm
IR 69
Aspen Movie Map (1978) (1)A. Lippmann / jetzt Media Lab des MIT
• Erstes Hypermediasystem• simulierte Fahrt durch die Stadt
Aspen/Colorado• Videofilme aller Straßen der Stadt• Benutzer bewegt sich via Steuerknüppel• kann Anhalten und Gebäude betreten• Auswahl der Jahreszeit
IR 70
Aspen Movie Map (2)
• Einsatz von zwei Bildschirmen– Film, Überblick: Straßenkarte zum direkten
Anspringen, Orientierungspunkte
• Beispiele: pädagogische Systeme, Reiseersatzmodelle (z.B. Flughafen Entebbe), Manuale (Auto- / Fahrrad-handbücher)
IR 71
Kodierung von Medientypen
• Der Medientyp TEXT• Der Medientyp BILD• Der Medientyp Graphik• Der Medientyp Analogvideo• Der Medientyp Digitalvideo• Der Medientyp SOUND
IR 72
Charakteristik multimedialer Daten
nach Meyer-Wegener 1991, Grauer/Merten 1997,75Rohdaten Registrierungsdaten Beschreibungsdaten
Text Zeichenfolge Kodierung als ASCII Layout, logischeStruktur,Schlüsselwörter
Bild Pixelmatrix Höhe/Breite,Kodierungsdetails
Linien, Flächen,Situation
Video Sequenz vonPixelmatrizen
BilderAuflösungKodierungsdetails
Szenenbeschreibung
Audio DigitaleAbtastwerte
Abtastrate, Auflösungder Abtastwerte
Text, Werk,Komponist, Interpret
1313
IR 73
Architekturmodell
Navigations-werkzeug
MM Abfrage-schnittstelle
Medien-editoren
InteraktiveIcons
Multimediale informations- bzw. Medienkomposition undIntegration von Metamodell und Abfrageverarbeitung
Text-DBMS Bild-DBMSAudio -DBMS
Video-DBMS
BildText Audio Video
Benutzerschnittstelle
IR 74
Zugriff auf MM-Objekte
• Anforderungen:– umfassende Formatunterstützung– effiziente Speicherverwaltung– Integration von Manipulationswerkzeugen– Indexierungs- und Retrievalmechanismen– Synchronisationsmechanismen
IR 75
Beispiel
Anfragen:rotes Auto, Sportwagen
Metadaten: Farbe, Textur, Kontur ...
IR 76
Klasse der FortbewegungsmittelBrowsing
IR 77
Browsing
• Über das Suchkonzept besteht eine Vorstellung im Kopf, die nicht verbalisiert wird
• per Ähnlichkeitsmatch wird das den Vorstellungen am besten entsprechende Bild ausgewählt
• Beispiel: „Clipart-Galleries“
IR 78
Content Extraction: Farbsegmentierung
Vorgehen:Räumliche Anordnung der FarbbereicheReduktion der Anzahl der Farben auf GrundfarbenBestimmung zusammenhängender FarbflächenMetadaten: Größe, Position und Farbwert jedes
Farbbereichs
1414
IR 79
Content Extraction: Textursegmentierung
Vorgehen:Räumliche Anordnung der TexturenEinteilung in vier Rechtecke gleicher GrößeVergleich der Rechtecke mittels statistischer Verfahrenbei Übereinstimmung Zusammenfassung, sonst weitere UnterteilungMetadaten: Position und Größe der Rechtecke, sowie die
statistischen Werte der zugehörigen TexturIR 80
Content Extraction: Konturerkennung
Vorgehen:Grenzen zwischen Flächen mit großem HelligkeitsunterschiedKonvertierung in GraustufenbildBerechnung der HelligkeitsunterschiedeKontur an den Punkten, die bestimmte Grenzwerte überschreitenMetadaten: Konturpunkte
IR 81
Content Extraction
• Bilder– Farbe
– Textur– Kontur
• Audio– Frequenz (Tonlage)
– Amplitude (Lautstärke)– Frequenzübergänge
IR 82
Musik: Content Extraction• Ein Klang besteht aus einer Grundfrequenz
und überlagerten Frequenzen• Überlagerte Frequenzen sind zur Erkennung
eines Musikstücks irrelevant
• Analyse der Grundfrequenz führt zur Reduktion des Musikstücks auf sein Grundtöne (= Metadaten)
IR 83
Beispiel
Werbefilme(Musik)Signatur
Gesuchtes Musik-stück
„Spezi ist Spitze“
Werbefilm-Datenbank
SignaturMatch
Nicht gefundengefunden
Grundfrequenz-analyse
IR 84
Gesprochene Sprache: Content Extraction
• Grundlage: Spracherkennung
• Signalverarbeitung• Zuordnung zu logischen Spracheinheiten
(Worte und Laute)
• s. im Detail Folien zur Spracherkennung
1515
IR 85
Videosegmentierung (1)
Einzelne Kameraeinstellungen, sog. Camera Shots bilden kleinsteEinheit inhaltlich zusammengehörender Bilder
Camera Shot Camera Shot Camera Shot
Szenenwechsel
...
Erkennung der Szenenwechsel über Histogrammvergleich
IR 86
Videosegmentierung (2)
Aus speichertechnischen Gründen werden aus einer Kameraein-stellung nur einige wenige Schlüsselbilder (keyframes) ausgewählt.
Meist erstes, letztes und mittleres Bild aus der Kameraeinstellu ngals keyframes
Auf keyframes werden Content Extraction Methoden angewandt
dynamische Struktur:Kamerabewegung: alle Pixel bewegen sichObjektbewegung: nur ein Teil der Pixel bewegt sichBestimmung der Richtung durch Richtungsvektoren
IR 87
Ausführlicher am Beispiel der Filmindexierung
IR 88
Video: Content ExtractionSchweins, K. http://www.fbi .fh-koeln .de
AudioFrequenz AmplitudeFrequenzüberlagerung
BildFarbe TexturKonturräumliche Anordnung
Dynamische Komponente von VideoKamerabewegungenObjektbewegungenSzenenwechsel
IR 89
Anwendungsbeispiele der Zukunft
• spezifische Zusammenstellung für den Unterricht (individuelles „Schulfernsehen“)
• Reiseveranstalter stellen individuelle Dokumentation eines Urlaubsgebietes für speziellen Kunden zusammen (Fokus wahlweise Kultur, Sport, Natur etc.)
• interaktives Fernsehen: Zusammenstellung des Programms, Wahl der Perspektive/bestimmte Handlungen/Einfluß auf Protagonisten
IR 90
Voraussetzungen
• Schneller Zugriff auf archiviertes Filmmaterial
• sequenzgenaue Erschließung von Sendungen, Filmen etc.
1616
IR 91
Vollständige vs. partielle Erschließung
– Soll der gesamte Film erschlossen werden?– Sollen bestimmte Sequenzen herausdestilliert
werden? (Frage nach der DBE: Film, Ein -stellung, Filmsequenz, Einzelbild?)
• Z.B. nur Dominanzereignisse (Katastrophen, Naturereignisse, politische, gesellschaftliche E.)
• ?abhängig vom Verwendungszweck und auch den Ressourcen der Dokumentations-stelle
IR 92
Mögliche Kriterien• Sequenz als semantische Einheit
– gemeinsamer Schauplatz, zeitliches Kontinuum, Figurenkonstellation, inhaltliche Handlungsablauf, Vertonung
– Wechsel in einem Kriterium als Abgrenzung einer Einheit
• Filmsequenzen als technische Einheit– von Schnitt zu Schnitt
• Mischformen
IR 93
Probleme• Parallele Handlungen• mehrere Detailhandlungen eingebettet in
übergeordnete Handlung• Diskontinulierliche Handlungen• Auseinanderklaffen von Ton und Bild
Einstellung 1
Einstellung 2
Einstellung 3
Sequenz
IR 94
Repräsentation
FormalerfassungInhaltl.
Erschließung
Zur eindeutigen Identifikationzum WiederauffindenQuelle: Vor- und Nachspann,
Schnittlisten, Drehbuch
Versch. Formen der Weiter-verwendung
IR 95
RAK-AV 1994Regelwerk zur alphabet. Katalogisierung (Sonderregelung: audiovisuelle Medien)
• Filmidentifikationsnr.• Titel• Produktionsnummer• Rundfunkanstalt• Archivnummer• Erstsendedatum• Wiederhlgsdatum• Rechte• Aufnahmeort• Produktionsort• Aufzeichnungsdatum
• Mitwirkende• Produktion• Verwendungsbeschränk
ung• Auszeichnungen• Begleitmaterial• Entstehungsjahr• Einschaltquote• Standort• Aufzeichnungsnorm• Laufzeit ...
IR 96
Inhaltliche Erschließung:5 Informationskanäle
• Visuelles Bild• Schriftzug / Graphik• Dialoge• Musik• Geräusche / Toneffekte
1717
IR 97
Übertragbarkeit von IR-Techniken???
• Abstracts• Thesaurus• Rollenindexierung• Deskriptorensystem• Klassifikationssystem• Geographische Codierung• Visuelle Indexierung• Volltextindexierung
IR 98
Beispiel: Rollenindexierung
• Szene:– Ein Hund jagt eine Katze auf der Straße
• HUND (1), KATZE (2), JAGEN (3), STRASSE (4)
• (1) Subjekt (2) Objekt (3) Handlung• (4) Ort
IR 99
Geographische Codierung
• Zuordnung:– LÄNDER, BERGE, FLÜSSE,
STRASSENZÜGE, GEBÄUDE etc.– Beispiel: Reisefilme, Dokumentationen– Zugriff über „anonyme Bildmotive“– PTS Country Code (vierstellige Notationen: 1.
Weltregion, 2.-4. Land, z.B. 1JAP)– immer stärkere Detaillierung
IR 100
Visuelle Indexierung
• Bilder als Indexierungsvokabular (meist zusätzlich)
• Gebrauch der Preview Möglichkeit • erstes Bild einer Sequenz als Zugang
(Voraussetzung automat. Schnitterkennung)
IR 101
Fall-Beispiele
• Fernseharchiv des WDR• Stockshot Database des National Film
Board of Canada• AMPHORE (in Entwicklung)• NTSB Labs (Dokumentation von Flugzeug-
und Zugunglücken)
IR 102
WDR-Archiv (Stand: 11/97)
• Basis für die Erschließung der Sendungen ist „Regelwerk Fernsehen“ (RWFS)
• Unterscheidung: nachweispflichtige und dokumentationspflichtige Beiträge– Nachweis: Titel, Herkunft, Sendedaten– Dokumentation: inhaltliche Erschließung
(Indexierungstiefe ist abhängig vom sog. Dokumentationswert)
1818
IR 103
Formale Erfassung
• Titel (Ansetzungsproblematik!)• Identifikationsdaten (Rundfunkanstalt,
Sendedauer ...)• Urheberschaft, Produktion, Mitwirkende• Bild-/Tonträger• Begleitmaterial, Auszeichnung, Quote• Nutzungsrechte
IR 104
Inhaltliche Beschreibung
• Klassifizierung nach Kategorienschema• Sachinhalt• Bildinhalt• Indexat
– mit jeweils unterschiedlicher Tiefe
IR 105
Vorgehen
• Deskriptoren aus Kategorienschema (Bildung, Freizeit, Gesellschaft, Politik, Kultur, Medizin ...) nach RWFS
• Inhaltsbeschreibung in Form eines Abstracts (Trennung von Bild- und Sachinhalt)
• Volltextanalyse durch PASSAT
IR 106
Zukunft
• Umstellung des Archivs ist geplant (Behebung von Medienbrüchen)
• gemeinsame Datenbank für Bibliothek, Bildarchiv, Filmarchiv, Historisches Archiv, Notenarchiv, Pressearchiv, Schallarchiv
• Ziel: Cross-Recherchen
IR 107
Stockshot Database (NFB)
• Online-Datenbank zur Dokumentation von Archivaufnahmen, die bei der Produktion von Sendungen anfallen (Filmemacher)– DBE ist einzelne Einstellung– Zusammenfassung mehrerer Einstellungen– Zusammenfassung von Einstellungen zu einem
Thema– Indexierung der zugehörigen Texte
IR 108
Stand der Technik – Derzeit keine automatische Schnitterkennung– Kopierung des Filmmaterials– Erfassung formaler Elemente:
• Arbeitstitel, Filmemacher, Produktionsnr., Jahr, Kameraeinstellungen, Geograph. Region, Zeitangaben (Winter, Tagesanbruch, Dämmerung), wetterkundliche Daten, spezielle Aufnahmeverhältnisse (Sonnenschein, Schneesturm, Spezialeffekte)
– Beschreibung der Einheiten mit Hilfe eines Thesaurus (E und F)
1919
IR 109
AMPHORE– Institut für den Wissenschaftlichen Film in
Göttingen produziert, dokumentiert und archiviert wissenschaftliche Filme
– weitere Aufgaben: Verbreitung der Medien, neue Visualisierungsformen, Beratung
– Bestand: 6000 Filme– Suche derzeit über alphabet . Schlagwörter,
Autorenname, Filmindex– Nachweis von Filmen nicht Filmsequenzen
(Sichtung des gesamten Materials)
IR 110
Audio-visual Media Platform for the Highlighting, Organization
and Retrieval of EntitiesAMPHORE
• Ziel: Erschließung von und Zugriff auf einzelne Sequenzen
• Partner: GMD-IPSI
IR 111
Vorgehensweise bei einer Anfrage
• 1. Schritt: Produktion einer CD-Rom in Preview-Qualität zur Vorauswahl
• 2. Schritt: Lieferung von Filmmaterial in Präsentationsqualität
• (500 Euro pro Minute geliefertem Film)
IR 112
Komponenten des Informations-systems
– Digitalisierung und Speicherung von Videos– formale Erfassung und inhaltl. Erschließung– Definition von Hyperlinks– Thesaurusverwaltung– OCR für Begleitpublikationen– Recherche– Abspielen von Videos– Export von Videos
IR 113
NTSB-Detective• Dokumentation von Zug- und Flugzeug-
unglücken zur Ursachenklärung (Piloten-oder Materialfehler, Fremdeinwirkung ...)– Computersimulation des Absturzes– Tonaufzeichnungen des Voice Recorder
(Sprache, Geräusche ...)– Fotos und Echtteile vom Wrack / den Leichen
• Prüfergebnisse, DNS-Analysen zur Identifikation
– Geograph. Aufzeichnungen– Zeugenberichte etc.
IR 114
Zusammenfassung
• Sehr heterogene Methoden, die auf spezifische Probleme zugeschnitten sind
• keine Komplettlösung• noch keine direkten Anfragen möglich
– („Suche Bild mit rotem Ferrari“)– Umweg über Beispieldaten (Ähnlichkeitssuche)
2020
IR 115
Kognitionspsychologische Grundlagen
IR 116
Gliederung
• Visuelle Wahrnehmung (Bsp. und Experimente)
• auditive Wahrnehmung• Gedächtnisformen• Textverstehen• Bildverstehen
IR 117
Literatur und sonst.
• Hasebrook (1995): Multimedia-Psychologie• Weidenmann 1988, 1991, 1994
• CD-ROM: Illusionen. Von Wahrnehmung und Optischer Täuschung. Navigo.
IR 118
Ziel :
Gestaltung der Interaktion zum benutzergerechtenInformationsaustausch zwischen Mensch und Maschineunter Berücksichtigung der Möglichkeiten und Grenzender menschlichen Informationsverarbeitung
Fragen:Zusammenspiel der versch. Medien:Unterstützen sich visuelle und akustische Informationen?Behindern mehrere Medien die Informationsaufnahme?Arbeitet visuelles und akustisches System nach gleichen Regeln?Welche Medien unterstützen wie den Wissensaufnahmeprozeß?...
IR 119
Informationsaufnahme des Menschen bei Lernprozessen in % der Ausgangsinformation
Informa-tions-übermittlungdurch
Jeff-coate
Börner Multi-Media
MM-ABC
Hören 20% 20% 10% 20%
Sehen 10% 30% 30% 20%
Hören&Sehen
50% 50% 50% 40%
Mitden-ken
80%
Eig.Handeln
80% 90% 95% 70%
IR 120
Die menschliche Informationsverarbeitung:
funktionale EinheitenBalzert 1996,544
Zeichenerkennung
Sensor. Register(visuell, auditiv, haptisch...)
Sinnesorgane: Auge, Ohr ...
Langzeitgedächtnis LZGdeklaratives Wissenprozedurales Wissen
Kurzzeitgedächtnis KZGArbeitsgedächtnis
Kognitive ProzesseEntscheiden, Suchen...
SprechenBewegung (Arm, Hand, Finger, Augen, Kopf)
2121
IR 121
Visuelle Wahrnehmung (1)• scharfes Sehen: nur im Bereich der Fovea (=
Netzhautbereich, auf den ein fixierter Punkt projiziert wird)
• Schärfe nimmt ab mit der Entfernung von der Fovea (Konturwahrnehmung, Farbabschwächung)
• Bewegungsempfindlichkeit nimmt zu!!!
• Wahrnehmung über großen Bereich: kleine Bereiche werden durch die Augen fixiert und in Gesamtbild integriert
• Pfade der Augenbewegung: periphere Grobwahrnehmung und Erwartungshaltung
IR 122
Visuelle Wahrnehmung (2)• Bei mehr als 30 Grad Entfernung eines Objekts von
der Fovea ist Kopfbewegung nötig• Bewegung am Zielort kann Reaktion auslösen
• Orientierung durch graphische und farbliche Unterschiede (Erleichterung der Suche)
• visuelle Wahrnehmung unterliegt einem Zeitraster von 100ms (mehrere Reize in kürzerer Zeit werden als Einheit wahrgenommen) (Beispiel: Cursorblinken)
IR 123
Visuelle Wahrnehmung
Sehr scharf
unscharf
unscharf
Foveales Sehen
Peripheres Sehen
Peripheres Sehen
IR 124
Wahrnehmung als aktiver Prozeß(Hasebrook 1995)
– Visuelle Wahrnehmung erfolgt nicht nur als photographischer Prozeß, sondern unter Einbeziehung des Vorwissens anhand vorgefertigter Schemata.
– Wahrnehmung ist eine „aktive Interpretation“, die zum großen Teil automatisch erzeugt wird und bewußt beeinflußt werden kann
IR 125
Konstanzphänomene
• Helligkeit eines Objekts immer relativ zu seiner Umgebung
• Bewegungskonstanz: ist ein bewegtes Objekt verdeckt, wird die Bewegung möglichst „natürlich“ ergänzt
• Farbkonstanz• Formkonstanz
IR 126
1. sog. Kippfiguren
Wahrnehmung beruht immer auf einer Illusion, auf Vorstellungenund Erwartungen, die z.B. an ein Bild herangetragen werden.
Abbildung selbst verändert sich nicht, aber die Wahrnehmungist instabil, kippt um
Grund:bei der Betrachtung entsteht keine stabile Sichtweise
2222
IR 127
2. Necker-WürfelBasis: L.A. Necker (schweiz. Naturforscher)
instabile Sichtweise:
graue Seite einmal hinten, einmal vornefunktioniert sogar bei teilweise verdecktem Würfel
IR 128
3. Einbeziehung von Vorwissen und Vorerfahrung
S. Abb. 2.5 in Hasebrook S. 24
Reizwahrnehmung, Reizverarbeitung: aus dem Strom der Reize wird nach einer sinnvollen Interpretation gesucht (Ordnung und Kategorisierung der Reize)
Abhängigkeit des Gesehenen vom Vorwissen, von der VorerfahrungVorwissen läßt sich nicht ausklammern
IR 129
Sehen
• „Augen sind Teil des Gehirns“• Grundfunktion menschlichen Sehens:
• kein weiter Überblick, sondern detailreiche Darst. von Einzelobjekten
• versch. Spezialisierungen des Sehens
IR 130
Auge - Netzhaut - Gehirn (1)
•Linse: zum Scharfstellen auf Objekte (je nach Nähe)•Iris: funktioniert als Blende (bei hellem Licht zieht sie sich zusammen,• um weniger Licht auf die Netzhaut gelangen zu lassen, Öf fnung bei• wenig Licht•das fokusierte Bild wird auf dem Kopf stehend auf die Netzhaut projiziert•Netzhaut (Retina): viele mit einander verschaltete Nervenzellen•Fovea in der Mitte der Netzhaut: Zellen besonders dicht (Scharfbereich)
IR 131
Nachwirkungen: Ermüdung (Kontrast, Kippen, Abstand)
• Erzeugung eines negativen Nachbilds• Netzhaut reagiert auf Reizung mit Licht durch
Ermüdung (ist nachvollziehbar)
• cf. Abb. 2.8 aus Hasebrook• Grenzkontrast: an den Grenzen zwischen weißen
und schwarzen Stellen Verstärkung bzw. Hemmung, um den Kontrast zu verstärken
• Neigungswinkel als Nacheffekt (c f. Abb. 2.10 Hasebrook )
IR 132
Kaniszas Dreieck und Figuren
• Abb. 2.11 aus Hasebrook
• ausgefüllte Kreise, Dreieck und nicht umrandetes • Dreieck, welches die anderen Figuren überlagert
• automatische Entstehung von illusionären weißen Figuren
2323
IR 133
Gestaltgesetze als Begründung
• Visuelles System sucht nach möglichst einfacher Beschreibung
• „Linienbündel durch Kreis überlagert“• Gesetz der guten Fortsetzung und Prinzip
der geschlossenen Figur (Erfassung einer möglichst geschlossenen Gestalt)
IR 134
„Pop-out“-Effektdt. „etwas springt ins Auge“
• HasebrookAbb. 2.12– abweichende Elemente springen ins Auge
(unabhängig von der Anzahl der sie umgebenden Elementen)
– Abweichung wird durch unterschiedlich spezialisierte Merkmalsdetektoren festgestellt
– werden ähnliche Merkmalsdetektoren angesprochen, steigt die Suchzeit
IR 135
Auge - Netzhaut - Gehirn (2)
•Netzhaut liefert Beschreibung von Form, Bewegung, Farbe, Hell-Dunkel•Beschreibung wird von den Sehnerven ins Gehirn weitergeleitet•„blinder Fleck“: Austrittstelle des Sehnervs aus dem Auge (Inhalt wird• durch Vorwissen und den Merkmalen der nahen Objekte ersetzt)•beide Sehnerven kreuzen sich im Chiasma opticum und ziehen zur Sehrinde• (visueller Cortex / Stelle der Großhirnrinde am Hinterkopf)•rechte Gehirnhälfte erhalte Information des linken Auges und umgekehrt•Verbindung beider Gehirnhälften durch Balken (Corpus allosum zum • Zusammenfügen der Bilder beider Augen)
IR 136
3D-Sehen
• Paarweise Anlage des visuellen Systems• Disparität• Konvergenz• Akkomodation• Umweltinformation
IR 137
Verarbeitung akustischer Information
• Abspielen von Tonfolgen, Musik, gesproch. Sprache
• Frage: wird ähnlich wie beim Sehen nach Interpretationen des Gehörten gesucht?– Bestätigung in Experimenten mit Tönen
(Bregman/Campbell)– Gestaltprinzipien (z.B. „gute Fortsetzung“)
IR 138
Experimente
• Zwei in einander geschobene Melodien
– wenn ein Stück bekannt ist, werden beide Melodien erkannt
– d.h. Mensch ist in der Lage, differenziert zu hören und Interpretation der akustischen Wahrnehmung zu steuern
2424
IR 139
Fazit:Visuelles und akustisches System beginnen nach der Reizaufnahme mit der Weiterverarbeitung dieser Informationen, um daraus nicht Abbilder, sondern Interpretationen der Umwelt zu formen. Dabei werden analoge Gestaltprinzipien eingesetzt.
IR 140
Selektive Wahrnehmung
• Information, wird wahrgenommen, nicht deren Details (Bsp. Münze)
• Verarbeitung der wichtigen Merkmale
IR 141
Klass. Experiment von Sperling
• Memorierungsleistung ca. 5 Buchstaben• in Kombination mit Tönen bessere
Memorierungsleistung (aber nur sehr kurzfristig)
– Folgerung: visuell wird die gesamte Information gespeichert, dauerhaft ist nur ein Bruchteil möglich
– Annahme: sensorische Register, die für kurze Zeit recht vollständig speichern können
IR 142
Gedächtnisformen
Sensorisches Gedächtnis (auch sensorische Register genannt)
Kurzzeit- oder Arbeitsgedächtnis kann für kurze Zeit einigewenige Information speichern
Langzeitgedächtnis, das eine große Menge von Informationenfür lange Zeit behalten kann
IR 143
Gedächtnis (Atkinson/Shiffrin)
1234567
Umwelt-information
KZGLZGsemant. Speicherung
Selektion
Ver-tiefendeWiederhlg .
Vergessen durch Störung
Vergessen durch Ersetzen
IR 144
Arbeitsgedächtnis
LZGZentrale Aufmerksamkeits-kontrolle
Visuell-räumlicher SpeicherSprachl.-akust. Speicher
LZG
KZG
2525
IR 145
Die magische 7• Gleichzeitige Verarbeitung von 7
Informationseinheiten• Mnemotechniken
• kein wesentlicher Einfluß auf die Anz. gleichzeitig aktiv gehaltener Einheiten, aber Menge pro Informationseinheit
• Bsp. L-I-T-M-U-M-I-A-D-E vs. MULTIMEDIA
• behaltensfördernden Wirkung von Vorstel-lungsbildern
IR 146
Verstehen von Wörtern
– Nicht ein Buchstabe bzw. Ton nach dem anderen wird wahrgenommen, sondern Abtasten in kl. Sprüngen (sprunghafte Blickbewegungen)
– Fixation (0,25 sec.): 6 bis 8 Buchstaben– beim Hören: Wahrnehmung sinnvoll
segmentierter Lauteinheiten (Phoneme)– Bsp.: „In mud eels are, in clay none are.“
IR 147
Wahrnehmung audio-visueller Medien
• Ausgelagert!
IR 148
Stimmt die Multimedia-Pyramide?
0%
10%20%
30%40%50%
60%70%
80%90%
Hören
Sehen + Lesen
Sehen, Lesen,HÖRENSprechen
Tun
IR 149
Antwort• Täuschen pauschales Ergebnis vor („Viel
hilft nicht immer viel!“)• Differenzieren, ob Faktenwiedererkennung
oder freie Wiedergabe• differenzierte Erklärung, was unter den
einzelnen Kategorien verstanden wird• zu übermittelnder Inhalt ist wesentlich für
Medienmix
IR 150
Beispiele
• Bahnauskunftsysteme: gesprochene Ankunfts - und Abfahrtzeiten weniger geeignet als schriftliche Mitteilung (besser Sehen als Hören, beides???)
• Bereich der Medizin: gute Zeichnungen mit Falschfarben besser zur Erklärung der menschlichen Anatomie als brillianteFarbfotos
2626
IR 151
Entscheidend ist also nicht wie viele Medien einge-setzt werden oder wie realitätsnah diese Medien sind,sondern ob der Inhalt angemessen für die jeweiligeBenutzergruppe dargestellt wird.
Für die angemessene Inhaltsdarstellung gibt es
keine Patentrezepte!
IR 152
Exkurs: TextverstehenBeispiel„Du bleibst vor der Front stehen, legst die rechte Hand auf denmetallenen Bügel, der etwa auf Bauchhöhe aus der Flächehinausragt. Durch einen Druck auf das freischwebende Endebewegst du diesen abwärts, bis du am Widerstand fühlst, daßder Anschlag erreicht ist. In dieser Position hältst du den Bügelfest und drückst nun in horizontaler Richtung, vom Körper weg.Du wirst sehen, es verschiebt sich darauf die ganze vor dirliegende Fläche im Winkel ....“
Roger Willemsen 1987, 118 (Figuren der Willkür)
IR 153
Was soll dies zeigen?
• Synonym: „Du öffnest die Tür“• Texte werden umso leichter verstanden, je
eher sie an bereits Bekanntes anknüpfen, dieses kurz erwähnen, nicht aber lange beschreiben.
• Leser baut sich Gedankenwelt auf, konstruiert zu einfachem Satz eine Geschichte.
IR 154
Komponenten des Textverstehens
• Worterkennung (Ermittlung der Bedeutung)• Abruf aus mentalem Lexikon
• Ermittlung des Zusammenhangs der Wörter• Beschreibung der regelhaften Strukturen in der
Grammatik
• Ermittlung des Inhalts (Semantik)• Begriffslexikon mit Merkmalen
• „Colourless green ideas sleep furiously“
IR 155
Chomsky-Grammatik: Beispiel
DER
Artikel
MANN
Nomen
NP
NIMMT
Verb
DAS
Artikel
BUCH
Nomen
NP
VP
Satz
IR 156
Kintsch / Van Dijk: Modell des Textverstehens
• Erklärungsmodell der Textverarbeitung und des Textbehaltens
• Gliederung des Textes in Sinneinheiten– kleinste sinnvolle Einheiten: sog.
Propositionen mit Argumenten über Wahrheitsgehalt
– Verknüpfung von Propositionen
2727
IR 157
Propositionen
• „Tina kauft sich ein Eis. Sie mag besonders gerne Erdbeereis.“
• Verknüpfung der Propositionen (Ersetzung „sie“ durch „Tina“)
• nicht generalisierbar:– „Der alte Mann steigt in Konstanz in den Zug,
der andere alte Mann in Allensbach“.
IR 158
Experimente zu den Propositionen
• Die Länge des Textverstehens hängt von der Anzahl der Propositionen nicht von der Anzahl der Wörter ab!
• Begriffspaare: Frage, ob in einem Satz?– VPs erkennen in einer Proposition
vorkommende Wörter schneller
IR 159
Beispiel für PropositionenDie AmeisenIn Hamburg lebten zwei Ameisen,Die wollten nach Australien reisen.Bei Altona auf der ChausseeDa taten ihnen die Beine weh,Und da verzichteten sie weise,Dann auf den letzten Teil der Reise.
Ringelnatz
IR 160
Ort: Hamburg
leben, Ameisen
Zahl: zwei Wollen verreisen
Ziel: Australien Beine tun weh
Ort: Altonaauf der Chaussee
Verzichten auf Reise
Art: weise
Zerlegung inPropositionen
IR 161
Ablauf
• Das in seiner Aufnahmekapazität begrenzte KZG wird mit Propositionen gefüllt
• werden mehr P. erfaßt als in den Speicher passen, P. mit den wenigsten Links werden inaktiv
• im KZG werden aktive P. gehalten, inaktive werden ins LZG trasferiert (müssen aktiviert werden)
IR 162
• Die P., die am häufigsten wiederholt werden, d.h. die meisten Bezugspunkte bzw. Links aufweisen, werden am besten behalten.– „Ameisen (wollen) verreisen“
2828
IR 163
Mentale Repräsentation von Bild-und Textinformation
(Hasebrook, 91ff.)
TextverstehenSprachverstehenSchriftbeherrschung
Bildverstehen
Bildersprache ?Bilderschrift
Mögliche Antworten:Bilder werden direkt verstandenLesen von Bildern muß gelernt werden, Bilder können nicht unabhängig von der Bildsprache (z.B. des Malers) verstanden werden
IR 164
Unterschiede: Text - Bild(Hasebrook, 97ff.)
Texteinzelne, getrennte Elemente(Wörter) zur Beschreibung
Benennung von Beziehungen
feste Grammatik gibt Regeln vorsprachl . Darstellung ist abstrakt
Bildkeine diskreten Elemente(Figuren, Linien, Punkte)
Position der Elemente ergibt Beziehung
Grammatik für Bilder gibtes nicht
Analogie zur Welt
IR 165
Geteiltes GedächtnisSprachlich-sequentielle Information
Bildlich analogeInformation
Sinnesorgane
Verbales System Nicht-verbales System
LogogeneImagene
Querver-bindungen
IR 166
„Sog. informierende Bilder“Weidenmann 1994
Informierende Bilder werden erstellt, um Aussagen zubestimmten Inhalten zu machen (vor allem in instruktionalen Situationen (Informationssysteme))
Ziel: Codierung von Bilder, sodaß der Rezipient den Inhalt möglichst eindeutig und vollständig erfassenkann.
Einsatz von Techniken, um den Prozeß der Informations-erfassung zu unterstützen (z.B. Legenden, Verbalisierung)
IR 167
Bildproduktion - Bildrezeption
InformierendesBild
Autor RezipientBildhafte Codierung
Informations-extraktion
Antizipation
Was wollte der Autor mitteilen?
IR 168
Differenzierung
• Nur-Text-Information• Nur Bild-Information• Überlappende Information aus Text und
Bild• ...
2929
IR 169
Offene Fragen
• Wie funktioniert die Informations-extraktion aus Bildern?
• Welche Merkmale bestimmen den Rezeptionsprozess
• Psychologische Analyse der Bildproduktion noch kein Thema (vgl. Dokumentation von Texten = Beruf, Schreibprozessforschung)
IR 170
Gestaltung informierender Bilder• IB kommunizieren best. Inhalt als visuelles
Argument (zentrale Merkmale)• Gebrauchsanweisung, Beschilderung -->
Handlungsanweisung
• adäquate Codierung• alle relevanten Aspekte• optimal abgestimmt auf Rezipienten und Situation
• Expertenwissen zur Produktion visueller Argumente (unkanonisiertes Wissen)
IR 171
Beispiel 1
IR 172
Beispiel 2
IR 173
Beispiel 3
IR 174
Beispiel 4
3030
IR 175
Möglichkeiten bildhafter Codierung
– Darstellungscodes zur Argumentangemessenheit
• angemessene Visualisierung• Konventionalität• Kontur, Schattierung,• Perspektive, natürl. Farbe,
vertrauter Kontext• Einhaltung von Konventionen
(Leserichtung)
– Steuerungscodes zur Rezeptionsangemessenheit
• Extraktion steuern• Abweichung vom
Gewohnten, Hinweis auf Besonderes
• opt. Hervorhebung• Kontrast, Vergleich• spezielle Zeichen:
Pfeile, Symbolfarben
IR 176
Bsp. für Darstellungscodes
• Abbild: Inhalte, die in der Realität vorkommen (z.B. „das Ohr“)
• je vertrauter die Objekte, desto geringer der graph. Aufwand, um mentale Repräsentation zu induzieren (Karikaturen, Piktogramme)
• logische Bilder: erfunden zur grafischen Präsentation abstrakter Strukturen und konventionalisiert (Liniendiagramme)
• (z.B. Nettoumsatz in den letzten 10 Jahren)
IR 177
Bsp. für Darstellungscodes
• Kombinationen von Abbild und log. Bilder: Darstellung des Konzepts „Vogel“ am Beispiel der verschiedenen Vogelarten
IR 178
Bsp. für Steuerungscodes
– Üblicherweise erfolgt Lenkung der Bildverarbeitung verbal (Legenden, Überschriften, Kommentare etc.)
– meist Doppelungen des bildlichen Darst.codes– richtige Steuerungen: Beginnen Sie die Tabelle
in Spalte 1 zu lesen, vergleichen Sie...
IR 179
Bsp. für Steuerungscodes
– Explizite bildliche Codes: explizite Zeichen als Zusätze zur eigentlichen Darstellung
• Bildliche Mittel: Pfeile, farbl. Hervorhebungen, Ausschnittvergrößerungen, Schraffierungen
– implizite Steuerungscodes• implizite Hervorhebung z.B. durch Größe, Farbe,
Abweichung von den anderen Bildelementen
IR 180
Rezeption informierender Bilder
• Prä-attentive Prozesse: erster Blick• laufen automatisch, unbewußt, sehr schnell ab• Vorwissen spielt trotzdem eine Rolle• primärer Zugriff auf das Bild und liefern
unmittelbare Interpretation
• Attentive Prozesse: umfassendes Extrahieren der Information
• kontrollierte Suche, explizite Analyse, langsamer, bewußt, größerer mentaler Aufwand
3131
IR 181
Bilder und mentale Modelle
• Komplexes Wissen wird in Form mentaler Modelle gespeichert („interne Objekte“)
• Mentale Modelle stehen in Analogie-beziehung zu Realitätsausschnitten
• Aufbau von Theorien und Regelsystemen– Vorstellung über das Funktionieren eines
Geräts (ausreichend zur Interaktion)– Zusammenspiel volkswirtschaftl. Variablen
IR 182
Mentale Modelle– Kognitive Repräsentationen von Teilen des
Systems (Struktur und dynam. Verknüpfung der Teile)
– MM erlauben Prognosen, wie sich Veränderungen in Teilen auf andere Teile auswirken (simulative Abläufe vor dem „inneren Auge“)
– Differenzierung: Experten - Laien - Modelle
» Experten: nicht nur Oberflächenmerkmale (kausale und strukturelle Aspekte, deep-level)
» Laien: wahrnehmbare Merkmale, inkohärente, lückenhafte, widersprüchl . MM
IR 183
Mentale Modelle
Bild intern(image)
Bilde extern(picture)
AspektCodierung
MM als bildhafteVorstellungen
Bilder alsexternalisierte MMdes Bildautors
AspektBildverarbei-tung
MM alsWerkzeuge beimBildverstehen
Bilder als Materialzur KonstruktionMM
IR 184
MM als bildhafte Vorstellungen
– Imaginative Manipulation MM bei der Anwendung auf konkrete Problemlösungen
– Imaginatives „Ablesen“ der Veränderungen– Imagination als „interne“ Medien für
Denkarbeit– Lernen: Übergang vom Laien zum Experten
• Oberflächenmerkmale werden zunehmend ersetzt durch konzeptionelle Merkmale, die zum wirklichen Verstehen notwendig sind (Einfluß des Trainings)
IR 185
Problematik: Erfassung MM– Gibt es interindividuelle Unterschiede bzgl.
Generierung und Nutzung interner Bilder?• Sog. „ Visualisierer / Verbalisierer“ als Werkzeuge
(Selbstauskunft -Fragebögen)– hoher Score in Richtung Visualisierer : „a visualmode of
thinking“
• Ansatz von Kosslyn et al. 1985– Unterscheidung versch. Teilfähigkeiten „imaginary
ability“ (z.B. rotierenlassen eines internen Objekts, Verbindung eines abstrakten Bilds mit Eselsbrücken, Auswertung von Analogien etc.)
– unterschiedliche Gruppen: gute und schlechte Visualisierer
IR 186
Bilder als externalisierte MM– Umsetzung der Perspektive des Bildautors in
optische Darstellungen („Statement“, „visuelles Argument“)
– komplexe Interaktion der mentalen Vorstellungen eines Autors zu bestimmten Inhalten mit Prozessen des Formulierens (auch Antizipation des Rezipientenverhaltens)
3232
IR 187
Visuelle Gestaltung
Welche optischen Attribute sind wichtig? (Farbe, Schattierung, Bilderfolge, bewegte Bilder)
Welche Perspektive? (z.B. bei Handlungsanweisungen: Kravattenbinden Spiegelsicht oder Daraufsicht???)
Was ist der informativste Moment bei der Darstellung von Bewegung? (Bsp. Comics, Laokoon-Motiv)
Wie lassen sich Grenzen der bildlichen Darstellung kompensieren? (z.B. durch Text oder nichtsprachliche
Information)
IR 188
Notwendig: Forschung in diesem Bereich
• Studie von Rankin 1987– Befragung von Lerntext-Autoren nach Zweck,
Botschaft und Hauptinhalten ihrer Illustrationen– Überprüfung des Gelernten bei Studenten
(Fehleranalyse)• Interpretation unwichtiger Aspekte (gleiche Stärke
von Pfeilen und Kästen)
– Entwicklung eines Design-Modells für Autoren von Bildern
IR 189
Bilder als Material für MM
• Fragestellung : Aufbau und Optimierung MM mithilfe von Bildern– je besser das MM, desto besser die
Problemlösungsfähigkeit in best. Bereich– eignen sich Bilder (Analogbilder, Abbilder,
logische Bilder) in besonderer Weise für die Konstruktion MM der Rezipienten?
IR 190
Beziehung zw. Bildern und MM•Abruf
•Bilder können vorhandenes MM aktivieren
•„Schrank-Ikone“ : Datei/Directory-Struktur•Fokussierung
•Bilder können Teile eines MM besonders hervorheben •(Knoten und Kanten, z.B. Handgriff in Montage-•anleitung)
•Konstruktion•Bilder können aufzeigen, wie Objekte in alte Strukturen eingebaut werden können
•Ersatz
•Bilder können komplexes MM vor Augen führen•Trickfilm
IR 191
D.h.
• Bilder als visuelle Hilfen für den Nutzer zur Konstruktion mentaler Modelle
• Bilder sind besonders effektiv, da sie sowohl die Komponenten als auch die Relationen präsentieren können (sprachlich wesentlich schwieriger: Aussehen von Objekten, räumliche Konstellationen etc.)
IR 192
Kombination: Sprache und Bild– Funktion der Sprache:
• Disambiguierung mehrdeutiger Bilder• Akzentuierung komplexer Bilder
• Erläuterung logischer Bilder
– Rezipient muß folgende Aufgaben bewältigen:• selektive Fokussierung jeweils auf Text - oder Bild• gleichzeitige bzw. abwechselnde Verarbeitung
beider Symbolsysteme• Aufbau einer kohärenten, zusammenhängenden und
stimmigen Text/Bild-Repräsentation
3333
IR 193
Bis hier:MM als Werkzeuge zum Bildverstehen
• Vorwissen einer Personen als einfluß-reichste Variable– wenig Vorwissen korreliert mit bestimmter
Form der Bildpräsentation– abstrakte Bilder erfordern mehr Elaboration
und Inferenzen
IR 194
Zusammenfassung• Informierende Bilder sind als visuelle
Argumente zu verstehen• Bilder spielen eine wichtige Rolle im
Kommunikationsprozeß zw. Bildautor und Bildrezipient
• Forschungsarbeit muß erweitert werden
IR 195
Bezug zu Multimedia
• Multimedia-Systeme müssen die kognitionspsychologischen Grundlagen berücksichtigen und operationalisieren
• Im Vgl. zu den konventionellen Medien bieten sie neue Möglichkeiten– Beispiel: Differenzierung der Rezipienten kann
insbesondere durch Multimedia-Systeme geleistet werden