View
3
Download
0
Category
Preview:
Citation preview
Documents Multimédia : Documents Multimédia : Description et Recherche pautomatique
Elise Arnaud (INRIA Rhône-Alpes)El se Arnaud (INRIA Rhône Alpes)Anne Guérin-Dugué (GIPSA-lab)
elise.arnaud@inrialpes.fr i @ i l b i fanne.guerin@gipsa-lab.inpg.fr
M2PGI 1
PlanPlan
I t d ti1. Introduction2. Recherche de documents
« Texte » : un survol
7. Mesures de Similarité
« Texte » : un survol3. Évaluation
Indexation Signal vs
8. Boucle de reformulation
4. Indexation Signal vs Sémantique
5 Caractérisation « image »5. Caractérisation « image »6. Caractérisation « vidéo » et
« son » « son »
M2PGI 2
I IntroductionI. Introduction La problématique La problématique
Rechercher dans une base de documents (au sens large) un ou plusieurs documents qui sont en accord large) un ou plusieurs documents qui sont en accord avec une demande formulée par un utilisateur.
Les « composants » du systèmeL mp u y m Un utilisateur Base documentaire : Base d’images, de vidéos, de textes, … Langage pour exprimer sa demande : langage
d’interrogation Langage pour représenter les documents : langage Langage pour représenter les documents : langage
d’indexation Processus d’appariement : Fonction de correspondance
M2PGI 3
I IntroductionI. Introduction Quel type de documents ?Quel type de documents ?
Documents Multimédia Documents « Texte », Documents « Texte » + images
Images Bandes sonores Images , Bandes sonores Vidéos, Vidéos + Bandes sonores
Enjeuxj Développement des bases documentaires numériques Accès à leur contenu
U f i l i é Usage professionnel ou privé Exemple : Rapport scientifique Netsizer Janvier 2000
(www.netsizer.com/daily.html) : + 70 millions d’ordinateurs é l d 4000 T O d’I f i (I connectés, plus de 4000 Tera Octets d’Information (Image et
Vidéo)
M2PGI 4
I IntroductionI. Introduction Faire la distinction entre les applications Faire la distinction entre les applications
« RI » versus « BD » « RI » : avec sémantique pas de « vérité terrain » « RI » : avec sémantique, pas de « vérité terrain »,
plusieurs réponses possibles Collection d’œuvres d’Art (Musée Virtuel, Histoire de l’Art) Archives audiovisuelles (INA ) Archives audiovisuelles (INA, ….) Collection de photos de Presse (Agence de Presse) Collection de photos personnelles (Bornes interactives, …) …
« BD » :sans sémantique, avec « vérité terrain », identification O/N Empreintes digitales (Sécurité, Police) Photos d’identité (Sécurité, Police) Fichier de logos déposés (Copyright)
M2PGI 5
Fichier de logos déposés (Copyright) …
Exemple d ’une classification d ’une agence de photographiesagence de photographies
N° 1 Backgrounds & Landscapes N° 26 People & VacationN 1 Backgrounds & LandscapesN° 2 People & LifestylesN° 3 Lagoons & Palm treesN° 4 Trees & ForestN° 5 Waterfalls & WatersN° 6 S & L i
N 26 People & VacationN° 27 Landmarks of the WorldN° 28 Sport & ActionN° 29 Business, Space & IndustryN° 30 Panoramic LandscapesN° 31 B i & C iN° 6 Sport & Leisure
N° 7 Backgrounds & TexturesN° 8 MountainsN° 9 Building & CitiesN° 10 Business & Transportation
N° 31 Business & CreationN° 32 Super PanoramicN° 33 Industry & TransportationN° 34 Seniors & LifestylesN° 35 Food & Gastronomy
N° 11 Business & FinancesN° 12 Fields & FlowersN° 13 AnimalsN° 14 The 4 SaisonsN° 15 Natural Backgrounds
yN° 36 Elements & NatureN° 37 Skies & SunsetsN° 38 USA & SymbolsN° 39 MicrotexturesN° 40 Super BackgroundsN 15 Natural Backgrounds
N° 16 Fruits & VegetablesN° 17 Water BackgroundsN° 18 Silk BackgroundsN° 19 High TechN° 20 F ili & Child
N 40 Super BackgroundsN° 41 Business & EURON° 42 Business & ConceptsN° 43 Technology & CommunicationN° 44 Medecine & HealthcareN° 45 M d G tN° 20 Families & Children
N° 21 Business &CommunicationN° 22 Business & IdeasN° 23 Couples & TeensN° 24 Graphie Design & Creation
N° 45 Modern GastronomyN° 46 Panoramic Nature ScenesN° 47 AgricultureN° 48 European CitiesN° 49 Christmas & Celebrations
M2PGI 6
N° 25 France & Symbols N° 50 Attractive LandscapesN° 51 Internet & Communication
Primitives sémantiquesPrimitives sémantiques
Exemple d’une classification manuelle : Business & Finances
Objets : •Ordinateur•Téléphone•Téléphone•Tableau•CaféMallette•Mallette
•...Ambiance :
i•sereine•détendue•excitation
M2PGI 7
•travail•...
Impressions ÉmotionsImpressions, Émotions
Accueillant Joie de vivre
M2PGI 8
Plus austère, triste Plus fun !
Type de recherche : Enquête sur les usages (journalisme)les usages (journalisme)
Recherche par association avec des choix intéractifsp– Recherche dans des grandes bases d’images– But non spécifié précisément au départ
• Recherche d’une catégorieP ill d hi i– Pour illustrer un document, une histoire• Point de vue sémantique,
P i t d sthéti• Point de vue esthétique,• …
• Recherche d’une image spécifique (cible)• Recherche d une image spécifique (cible)– Point de départ : copie papier, une partie de l’image, …
A W M S ld t l I3E
M2PGI 9
A.W.M. Smeulders et al, I3E Pami, 22(12), 2000
Type de recherche : Enquête sur les usages (journalisme)les usages (journalisme)
Recherche par association avec des choix Recherche par association avec des choix intéractifs Recherche dans des grandes bases d’imagesg g But non spécifié précisément au départ
Recherche d’une catégorie Pour illustrer un document, une histoire
Point de vue sémantique, Point de vue esthétique, …
Recherche d’une image spécifique (cible) Point de départ : copie papier une partie de l’image
M2PGI 10
Point de départ : copie papier, une partie de l image, …A.W.M. Smeulders et al, I3E Pami, 22(12), 2000
Recherche par Requête vs par NavigationNavigation
Recherche par requête : Requête Recherche par requête : Requête explicite Documents Multimédia Documents Multimédia
Langage d’interrogation : Pas ou limité (exemple : dessin sur palette graphique)n ur pa tt graph qu )
Recherche par l’exemple (Query by Example –QBE) Expression du besoin d’information par un ou plusieurs
exemples Documents Texte Documents Texte
Langage d’interrogation : mots-clés
M2PGI 11
Recherche par Requête vs par NavigationNavigation
Recherche par navigation : Requête Recherche par navigation : Requête implicite Navigation de
proche en proche p pdans la base de documents
Forte interaction entre système et tili tutilisateur
Nécessite une IHM él b é
K. Rodden, W. Basalaj, D. Sinclair, K. Wood, Does Organisation by Similarity Assist Image
M2PGI 12
IHM élaborée Browsing?, SIGCHI’01, March 31-April 4, 2001, Seattle, WA, USA
Problèmes posésp
Ils sont complexes et fondamentaux à différents Ils sont complexes et fondamentaux, à différents niveaux : Modélisation de l’Information
Représentation des informations Multimédia Structuration de cette représentation Analyse d’images, Analyse de données, Statistiquesy g , y , q
Prise en compte de l’utilisateur Modèle comportemental Interaction « Usager » <-> « Système » Interaction « Usager » < > « Système » Interfaces Homme-Machine Formulation de la requête : Langage d’interrogation
Évaluation Évaluation Architectures Logicielles Matérielles
Accès aux ressources : mémoires, disques
M2PGI 13
Base de données Systèmes, Réseaux
Système RI « Grand Public »Système RI « Grand Public »
A partir du savoir faire de la RI « Texte » Une image est équivalente à un « sac » de motsg q Indexation
souvent manuelle en utilisant la technique « sac de mots », l’utilisation exprime sa requête par des mots-clés
cf chap. II, RI « texte » (http://images.google.fr/, http://images.search.yahoo.com/)p g y )
Quelques réalisations utilisant la similarité entre images (http://similar-images.googlelabs.com/)t l bi i d d (htt // d l /) et la combinaison des deux (http://www.cydral.com/)
IHM très pauvre Liste de liens = liste d’images
M2PGI 14
Liste de liens = liste d images
http://images search yahoo comhttp://images.search.yahoo.comMot-clé: mountains
M2PGI 15
http://images google fr/imageshttp://images.google.fr/images
Mot-clé: bonheur
M2PGI 16
http://images google fr/imageshttp://images.google.fr/images
Mot-clé: village
M2PGI 17
http://similar-images.googlelabs.com/http //similar images.googlelabs.com/
M2PGI 18
http://similar-images.googlelabs.com/http //similar images.googlelabs.com/
Page 1g
M2PGI 19
http://similar-images.googlelabs.com/http //similar images.googlelabs.com/
Page 2g
M2PGI 20
http://www cydral com/http://www.cydral.com/
M2PGI 21Etape 1 : Mots-clés, (Mountains)
http://www.cydral.com/ avec similarité entre imagessimilarité entre images
Etape 2 : Similarité par le contenu visuel
M2PGI 22Début de la liste
http://www.cydral.com/ avec similarité entre imagessimilarité entre images
Etape 2 : Similarité par le contenu visuel
M2PGI 23Suite de la liste
Appariement d’imagesAppariement d images
Applications utilisant la similarité par contenu visuel pour réaliser des contenu visuel pour réaliser des appariements d’images
C t ti d Constructions de vues panoramiques en 2D ou 3 D bl 3 D pa assemblage pour des scènes naturelles,
t llit i satellitaires , … + vision par ordinateur, -
h h d’i f ti
M2PGI 24
recherche d’information
http://photosynth nethttp://photosynth.net
M2PGI 25
http://photosynth nethttp://photosynth.net
M2PGI 26
Recommended