Les grilles d’observation.
Michel Girard MD MHPE FRCP(C)
Directeur
Serge Normand MA
DocimologueBureau d’évaluation
Faculté de médecine
En remontant la pyramide...
Sait
Démontre
Sait comment
Fait
Cees van der Vleuten,
Université de Maastricht
FaitÉvaluation de la performance in vivo: Pt simulé incognito, Video, Dossiers…..
Sait comment Examens à contenu clinique:QCR, type dévelop., oral…..
Sait Épreuves factuelles: QCR, écrit, oral…..
Démontre Évaluation de la performance in vitro:ÉCOS, examen avec pt simulé…..
Les grilles d’observation
Quelques questions– Qui construit la grille?– Quoi évaluer?– Qui évaluer?– Binaire ou continue?– Quand la remplir?– Formatif ou normatif?– Qui utilise la grille?
Qui construit la grille?Im
por
tan
ce
Mais attention, l’évaluation est un puissant stimulus de l’apprentissage.
Qui construit la grille?Im
por
tan
ce
Et c’est toujours plus agréable de travailler
en équipe.
Quoi évaluer?
Un geste technique Une attitude Une entrevue Un examen physique Etc.
Qui évaluer?
Les grilles d’évaluation binaires (Fait/Non fait) se prêtent-elles à tous les types d’étudiants?
Qui évaluer?
0,45
0,5
0,55
0,6
0,65
0,7
0,75
0,8
Étudiants Résidents Praticiens
Grille continue Grille binaire
Hodges, Acad Med. 1999; 1129-34
Qui évaluer?
0,45
0,5
0,55
0,6
0,65
0,7
0,75
0,8
Étudiants Résidents Praticiens
Grille continue Grille binaire
Hodges, Acad Med. 1999; 1129-34
Pourtant, il n’y a pas de différence quant à l’établissement d’un diagnostic correct entre les membres des 3 groupes.
Qui évaluer?
L’expert– L’étudiant plus avancé
devient plus personnel dans sa démarche.
– Peut-être désavantagé par les grilles d’observation (binaires).
Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective
Ne pas confondre objectivité et recherche d’objectivation!*
*Norman
Qui évaluer?
Le novice– Les items
spécifiques de la grille sont utiles pour la rétroaction.
– L’utilité, au niveau prégradué, est bien démontrée.
Dauphinee, 2000, Credentialing Physician Specialists: A World Perspective
A: Fait, Non fait
B: Fait, Non fait
C: Fait, Non fait
D: Fait, Non fait
E: Fait, Non fait
F: Fait, Non fait
G: Fait, Non fait
Binaire ou continue?
1: Échec certain
2: Échec limite
3: Réussite limite
4: Réussite certaine
5: Performance supérieure
Grille d’observation Grille d’appréciation
Binaire ou continue?
Grilles binairesDifférentes pour
chaque intervention.
Grille continueLa même pour toutes
les interventions.
On souhaite évaluer la technique chirurgicale après 3 ans de résidence en chirurgie (7 interventions diff.)
Parce que les gestes sont différents d’une intervention à l’autre.
Parce que les principes sont les mêmes d’une intervention à l’autre.
Spécifique ou globale?
Pour chaque intervention
Parce que les principes sont les mêmes d’une intervention à l’autre.
Grille globaleLa même pour toutes les
interventions.Respect des tissus
Gestuelle
Manipulation des instruments
Connaissance des instruments
Déroulement de l’intervention
Gestion des assistants
Connaissance de la procédure
Regehr, Acad Med. 1998; 993-7
Spécifique ou globale?
1 2 3 4 5
Respect des tissus
Gestuelle
Manipulation des instruments
Connaissance des instruments
Déroulement de l’intervention
Gestion des assistants
Connaissance de la procédure
1: Échec certain, 2: Échec limite, 3: Réussite limite, 4: Réussite certaine, 5: Performance supérieure
Mais
attention!
Chaque point sur l’échelle doit être bien défini.
Formatif ou normatif
Bonne nouvelle
Les deux ! ! !
Sans que l’étudiant puisse se constituer une banque de questions.
Formatif ou normatif
Bonne nouvelle
Mais attention, ne pas noter l’épisode
formatif !
Quand la remplir?
Le 2 avril dernier, vous avez semblé manquer d’intérêt lors de ...
Quand la remplir?
Maintenant
Qui utilise la grille?
Un professeur Un patient simulé Un autre étudiant Une infirmière
Peu importe qui rempli la grille, il/elle
doit être formé(e).
Les grilles d’observationEn résumé
Élaborées en groupe Utilisable dans plus d’une situation
– Éviter la multiplication des instruments Bien décrire chaque élément de la grille
– Les items évalués– Les descripteurs de performance
Former les professeurs
Seuil acceptable de passage(Contrasting group method)
Grille1.
2.
3.
4.
5.
6.
7.
TOTAL
SAP
SuccèsÉchec
Cees van der Vleuten,
Université de Maastricht
Succès/Échec S/É
SAP, approche par régression
Grille1.
2.
3.
4.
5.
6.
7.
TOTAL
Éval. Globale 1 2 3 4 5
1 2 3 4 5
Résultatgrille
X
X = seuil de passage
1 = Faible2 = Insuffisant3 = Suffisant4 = Bon5 = Excellent
Cees van der Vleuten,
Université de Maastricht
Quelques règles de base Ne basez pas l’évaluation sur des examens courts Échantillonnez largement (contenu, temps, évaluateurs, patients) Ne soyez pas « fidèle » à une seule méthode - le contenu est plus
important Choisissez des tâches le plus près possible de la pratique clinique
- ne vous inquiétez pas tant de la compétence mesurée Évitez la complexité des simulations ou de la notation Vérifiez les impacts éducatifs de l’évaluation - évaluez l’évaluation Utilisez l’évaluation stratégiquement pour atteindre des objectifs
éducatifs Considérez l’évaluation comme faisant partie du défi du canevas
éducatif
Van der Vleuten, 2000, Credentialing Physician Specialists: A World Perspective
Qui évaluer?
0.45
0.5
0.55
0.6
0.65
0.7
0.75
0.8
Étudiants Résidents Praticiens
Env. naturel ECOS
Hodges, Acad Med. 1999; 1129-34
Qui évaluer?
0.45
0.5
0.55
0.6
0.65
Étudiants Résidents Praticiens
Env. naturel ECOS
Hodges, Acad Med. 1999; 1129-34
La compétence clinique
Un exercice
Que devons-nous évaluer?