Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII

Projet Technique Projet Technique

Un PDA multimodal au service des Un PDA multimodal au service des situation de handicap…situation de handicap…

DESS HANDIDESS HANDIUniversité Paris XIIIUniversité Paris XIII


Equipe :Equipe :

Elisabeth KrautElisabeth KrautCharlène OrangeCharlène OrangePhilippe LonginPhilippe LonginThierry BeyleThierry BeyleSerge CesaranoSerge CesaranoDaniel MorenoDaniel Moreno


PlanPlan1-Présentation du Projet1-Présentation du Projet2-Lanceur d’applications2-Lanceur d’applications3-Un bloc Note vocal 3-Un bloc Note vocal 4-La commande vocale 4-La commande vocale 5-Conclusion5-Conclusion

Un PDA Multimodal… Un PDA Multimodal…


Interrogation au préalable des futurs utilisateurs du PDA

Public concerné :Public concerné : Déficients visuels (fédération nationale des Aveugles),

Trisomiques (Association FAIT 21)

Analyse des besoinsAnalyse des besoins


Le Lanceur d’applicationsLe Lanceur d’applications


P1 P2

P3 P4

ZONE DE TEXTE

B1

B2

3B

B4

Par

Ok

INF

ENTRÉE

•Ecran tactile, zones P1 à P4•Boutons de l’appareil, B1 à B4•Flèches de direction du Pad•Molette redondante avec les flèches hautes et basses•Module de reconnaissance d’empreintes vocales


P1 P2

P3 P4

ZONE DE TEXTE

B1

B2

3B

B4

Par

Ok

INF

SORTIE

Utilisation de messages vocaux préenregistrésPositionnement d’un « focus » visuel sur la zone sélectionnée : encadrement, clignotement, inversion vidéoAffichage de la définition de la zone pointée dans la zone de texte gros caractères


Demarrage du PDA

Appui touche B4

INITIALISATION DU LANCEUR

* désactivation des barres hautes et basses* chargement du fichier paramètres par défaut* énoncé vocal du début LANCEUR* énoncé vocal du Focus de zone P1* affichage du texte P1 dans la zone texte

Attente : bouton /zone écran tactile/commande vocale

Flèches ou moletteappuis successifs

Accès direct BoutonsB1 / B2 / B3 / B4

Zones tactiles écranP1 / P2 / P3 / P4

Commande vocale* lecture des appli.* lancer l'appli

SORTIE LANCEURZone OK écran tactile

PARAMETRAGEZone PA écran tactile

SELECTION* changer FOCUS* afficher TEXTE* énoncé vocal du Focus



VALIDATIONappui long

FLECHES OU MOLETTE

VALIDATIONappui longBOUTON


ZONE ECRAN

Inhiber les entrées* bouton* écran tactile

Lance l'applicationpointée par le focus

VALIDATIONcommande vocale

SORTIEAPPLICATION

ENONCE VOCAL SORTIE* effet visuel: inversion vidéo* afficher TEXTE SORTIE


ZONE ECRANOK

SORTIE LANCEURrestitution des paramètres

RETOUR PDA

ENONCE VOCAL PARAMETRES* effet visuel: inversion vidéo* afficher TEXTE PARAMETRES


ZONE ECRANPA

MODULEPARAMETRES

SORTIEMODULE

AIDEZone INF écran tactile

ENONCE VOCAL* du module LANCEUR* du FOCUS


Le bloc notes VocalLe bloc notes Vocal


Le Bloc Notes VocalLe Bloc Notes Vocal

ObjetObjetDéfinition du bloc notesDéfinition du bloc notes

L’existantL’existant

Windows CEWindows CE

VoiceVoice MateMateBloc Notes de Windows CEBloc Notes de Windows CE


Interfaces UtiliséesInterfaces Utilisées Interfaces d’entréesInterfaces d’entrées

BoutonsBoutons

Commande vocaleCommande vocale

Ecran tactileEcran tactilePocket PC

B1

B2

FG

B3

B4

FH FB

FD

B5

MH MB


Interfaces UtiliséesInterfaces UtiliséesInterfaces de sortiesInterfaces de sorties

Haut ParleurHaut Parleur

EcranEcran


Principes ErgonomiquesPrincipes ErgonomiquesLa VocalisationLa Vocalisation

FeedBackFeedBackVocalisation des menus

Vocalisation de déplacementFeedBack Ouverture de fenêtre

Répétition vocaleRépétition vocale

Situation en coursSituation en cours


Principes ErgonomiquesPrincipes ErgonomiquesInterface clavier / Emulation de toucheInterface clavier / Emulation de touche

Tabulation / Maj TabulationTabulation / Maj Tabulation

FlèchesFlèches

Valider / EntrerValider / Entrer

Principe de fonctionnement Principe de fonctionnement WindowsWindows


Principes ErgonomiquesPrincipes ErgonomiquesParamétrageParamétrage

Sonore (Augmenter / Diminuer, Actif / Sonore (Augmenter / Diminuer, Actif / Silence)Silence)

Affichage (Couleur / Contraste…)Affichage (Couleur / Contraste…)

+-


FonctionnalitésFonctionnalités

Ecouter / PauseEcouter / Pause Avancer / ReculerAvancer / Reculer Piste suivante / Piste précédentePiste suivante / Piste précédente

Enregistrer / Arrêter EnregistrementEnregistrer / Arrêter Enregistrement

Sauvegarder (Donner un nom, placer dans un dossier)Sauvegarder (Donner un nom, placer dans un dossier)Créer un dossierCréer un dossier

RechercherRechercherEffacer / RenommerEffacer / Renommer

Conclusion / Perspectives


Perspectives et ConclusionPerspectives et Conclusion


La Commande VocaleLa Commande Vocale



Introduction Introduction INTERFACE D’Entrée:INTERFACE D’Entrée:

Commande VocaleCommande Vocale

qui complète:qui complète:

L’écran TactileL’écran Tactile

Les BoutonsLes Boutons


Introduction Introduction Utilisateurs:Utilisateurs:

Les Handicapés VisuelsLes Handicapés Visuels

Les Handicapés LourdsLes Handicapés Lourds

Grand PublicGrand Public


Reconnaissance de la Parole: Schéma Reconnaissance de la Parole: Schéma

Fig. 1 Schéma FonctionnelFig. 1 Schéma Fonctionnel


Reconnaissance de la ParoleReconnaissance de la ParoleChoix:Choix:

MonolocuteurMonolocuteur vs Multilocuteur vs Multilocuteur

Codification: Codification: LPCLPC vs STFT vs Analyse Cepstral vs STFT vs Analyse Cepstral

Comparaison: Comparaison: DTWDTW


Méthodes:Méthodes:Schéma:Schéma:

Signal Préaccentuation Coupure Fenêtrage LPC DTW Réponse


Réalisation MATLABRéalisation MATLABÉtude Méthodes:Étude Méthodes:

Matlab: Matlab: Implémentation des méthodes Fenetrage Hamming, LPC, STFT et DTW

Enregistrement de 1000 fichiers wav, différentes Liste de test en différentes langues

Préparation environnement de Test: ( Études générés automatiquement, Étude de la complexité, temps de calcul sur PDA )


Réalisation TESTSRéalisation TESTSRésultats avec LPC:Résultats avec LPC:

Matlab: Matlab: Liste de mots 1: 17 mots -> 100 %

Liste de mots 2: 20 mots -> 100 %

Liste de mots 2: 26 lettres Alphabet -> 65 %


Réalisation Embedded C++Réalisation Embedded C++Architecture Logiciel:Architecture Logiciel:

ModuleEnregistrement

Dictionnaire

ModuleReconnaissance

De la Parole

Mots pour Enregistrer

Référence a les Commandes a Reconnaître

Validation

Mot Reconu

ApplicationExtérieur

ApplicationExtérieur


Réalisation Embedded C++Réalisation Embedded C++Intégration aux autres applications:Intégration aux autres applications:

Module totalement indépendant : Module totalement indépendant : Incorporation aux autres applications comme une DLL Utilisation transparent

Appelle a deux fonctions : Appelle a deux fonctions : Fonction EnregistrerDictionnaire(Liste de Mots)Fonction RAP(Liste de Mots a l’instant)

Un PDA multimodal…Un PDA multimodal…

Perspectives et Conclusion Perspectives et Conclusion

Documents

Projet Technique Un PDA multimodal au service des situation de handicap… DESS HANDI Université Paris XIII