1 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Un Formalisme de Description de Questionnaires pour l Evaluation Fabrice Issac -

1Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne

Un Formalisme de Description de Questionnaires pour l ’Evaluation

Fabrice Issac - Olivier Hû

Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France

[email protected] ; [email protected]


Plan

• La place du questionnaire

• Nos objectifs : un formalisme et des outils

• Etat de l ’art provisoire

• Les possibilités de QML

• La chaîne éditoriale complète

• Conclusion


La place du Questionnaire

• L ’Outil d ’évaluation par excellence :– universellement utilisé– facile à mettre en place– facile à utiliser

• Des inconvenients :– capitalisation « à la main »– correction souvent fastidieuse– prédominance du modèle linéaire– type de critère d ’évaluation restreint

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Nos Objectifs

• Un formalisme :– Capitalisation– Automatisation– Dynamisme

• Des outils :– pour l ’exportation– pour la conception– pour l ’édition

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Etat de l ’art provisoire

• TML :– Questions fermées, réponse unique, juste/faux,

avec aide et renforcement– Calculs : f(réponse, nombre d ’essai, indices)

• Bodenreider & Kohler (TML+) :– Question suivante en fonction de la réponse– Paramètres d ’édition

• TACO (serveur Web) :– Questions fermées, réponse unique, juste/faux,

essentielle ou pas.– Calculs : f(réponse, pondération)

• QuizCode (projet Ariadne)– Environnement complet– Basé sur un formalisme (type XML)– Questions variées : ouvertes, graphiques etc.

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Etat de l ’art provisoire

• Limites :

– des réponses booléennes

– hormis Quizcode, des questions essentiellement textuelles

– l ’influence des réponses est limitée

– des résultats numériques

– structure du questionnaire, au mieux, arborescente

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Les Possibilités de QML :les Types de Questions

• Fermée/Ouverte/Mixte

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Question ?rep1rep2rep3

Question ?rep1rep2

Autre :

Question ?




• Nombre de réponses attendues variable

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Question ? VraiFaux

Quelles sont les… ?

Rep1Rep2Rep3Rep4





• Avec degré de justesse

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Question ?

rep1

rep2

rep3

0 /20

20 /20

10 /20





• Avec degré de justesse

• Multimédia (dans la formulation)

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Les Possibilités de QML :les Résultats associés

• Valeurs numériques avec pondération

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Q1 = 20 /20

Q2 = 0 /20

Q3 = 0 /20

Q4 = 10 /20

Poids = 1

3

3

1

Note




• Textuels : vers l ’édition d ’un rapport

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Q1. Il n ’y a pas de …

Q2. Rq : Ne pas oublier de …

Q3. Attention à ...

Rapport Critère…:- Il n ’y a pas de …- Attention à ……

Rq:- Ne pas oublier de...





• Réactions : résultats fournis au moment de la validation de la réponse

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

IndiceRenforcement

OrientationSignal visuel ou sonore

...





• Réactions : résultats fournis au moment de la validation de la réponse

• Influences : adaptation dynamique

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Question : Avez-vous…?Réponses :

Proposition 1Proposition 2

...

… …Q221

Q222

Q223

…

C21 C22 C23

P=1P=3


Les Possibilités de QML :une Adaptation dynamique

• Modification du parcoursQuestionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Q1

SQ11 SQ12

L1Structure initiale :- 1 sous question par défaut : Lien 1- 2 sous questions possibles

Exemple d ’évolution avec 2 possibilités de réponses :

Q1

SQ11 SQ12

L1

Réponse 1Q1

SQ11 SQ12

L1

Réponse 2

Influence locale ou globale


Les Possibilités de QML :une Adaptation dynamique

• Modification du parcours

• Modification des calculs

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Q1

Q2

Q3

C1

Q1

Q2

Q3

C1

C2

Q1

Q2

Q3

C1

C2

C3


Les Possibilités de QML :la Gestion du Parcours

• Nombre d ’essais

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

1 réponse = validation

n modifications autorisées




• Question bloquante

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

La validation n’est activé,et la question suivante posée,que si la bonne réponse est donnée.




• Question bloquante

• Gestion du temps

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Temps limite pour répondre.

Réponse ‘ time-out ’


La Chaîne Editorial complète

• Un Outil d ’aide à la conceptionQuestionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

Auteurs

Outil d ’aideà la conception



• Un Outil d ’aide à la conception• Une capitalisation couplée à une base de

règles ergonomiques

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

QuestionsCalculs

RèglesEdition

Ergonomie

Auteurs





règles ergonomiques• Un Outil d ’aide à l ’édition

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

QuestionsCalculs

RèglesEdition

Ergonomie

Auteurs


Editeurs

Outil d ’aideà l ’édition

Sortie :- papier- site Web- ...

Utilisateurs




règles ergonomiques• Un Outil d ’aide à l ’édition• Un Outil d ’aide à la correction ?

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

QuestionsCalculs

RèglesEdition

Ergonomie

Auteurs


Editeurs

Outil d ’aideà l ’édition

Sortie :- papier- site Web- ...

Utilisateurs

Correcteurs


Prototype

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion

• Un outil de génération automatique sur le Web– tout type de questions– adaptions et parcours dynamiques– calculs contextuels


Conclusion

• Un formalisme puissant mais qui peut être complété : – notion de famille de questions– possibilités de traitements des réponses :

pointage graphique, lancement de TAL sur questions ouvertes…

– tout besoin nouveau… avec ses propres balises

• Un développement « propre » des applications :– étude des tâches des utilisateurs– interface à manipulation directe– mises en place de passerelles

Questionnaire

Objectifs

Etat de l’art

Possibilités

Chaîne

Prototype

Conclusion


Un Formalisme de Description de Questionnaires pour l ’Evaluation

Fabrice Issac - Olivier Hû

Université de Technologie de Compiègne UMR CNRS 6599 HEUDIASYC BP 20529 - 60206 Compiègne, France

[email protected] ; [email protected]

Documents

1 Fabrice Issac - Olivier Hû - Université de Technologie de Compiègne Un Formalisme de Description de Questionnaires pour l Evaluation Fabrice Issac -