22
FACULTE DE MEDECINE de SAINT-ANTOINE Année 2003 MEMOIRE EN VUE DU DIPLOME INTER UNIVERSITAIRE DE PEDAGOGIE MEDICALE Présenté et soutenu le 17 octobre 2003 Par Nadège LEMBERT Et Xavier MASCHINO EVALUATION STRUCTUREE OBJECTIVE : APPLICATION A L’EXAMEN PRATIQUE DE STAGE HOSPITALIER AU COURS DU DEUXIEME CYCLE DES ETUDES MEDICALES

Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

  • Upload
    others

  • View
    2

  • Download
    0

Embed Size (px)

Citation preview

Page 1: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

FACULTE DE MEDECINE de SAINT-ANTOINE

Année 2003

MEMOIRE EN VUE DU DIPLOME INTER UNIVERSITAIRE

DE PEDAGOGIE MEDICALE

Présenté et soutenu le 17 octobre 2003 Par

Nadège LEMBERT Et

Xavier MASCHINO

EVALUATION STRUCTUREE OBJECTIVE :

APPLICATION A L’EXAMEN PRATIQUE DE STAGE HOSPITALIER AU COURS DU DEUXIEME

CYCLE DES ETUDES MEDICALES

Page 2: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

EVALUATION STRUCTUREE OBJECTIVE :

APPLICATION A L’EXAMEN PRATIQUE DE

STAGE HOSPITALIER AU COURS DU

DEUXIEME CYCLE DES ETUDES MEDICALES

Page 3: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

INTRODUCTION

Le deuxième cycle des études médicales a pour objectif l’acquisition des

compétences cliniques et thérapeutiques permettant aux étudiants d’exercer les

fonctions hospitalières du troisième cycle et d’acquérir les compétences

professionnelles de la filière dans laquelle ils s’engageront. Les stages hospitaliers

représentent un terrain essentiel d’apprentissage pour acquérir les différentes

habiletés constituant la compétence clinique.

Actuellement le contrôle des connaissances et de la compétence acquise lors des

stages hospitaliers au cours du deuxième cycle est à la charge de chaque unité de

formation et de recherche médicale et est donc très variable d’une faculté à l’autre. Il

est la plupart du temps, basé sur des examens soit subjectifs (examens oraux

portant sur un seul cas clinique), soit sur des examens ne testant qu’une seule

dimension de la compétence clinique (QCM).

La mise en oeuvre de la réforme des études médicales nous enjoint à développer

des nouvelles technologies éducatives et de plus en plus, les apprenants devront

certifier les compétences acquises lors de leur cursus, justifiant l’emploi de nouvelles

méthodes docimologiques. Largement utilisé en Amérique du Nord, l’examen clinique

objectif structuré (ECOS)1, est un instrument reconnu pour l’évaluation de la

compétence clinique des étudiants en médecine de deuxième et troisième cycle et

des praticiens diplômés lors de la formation médicale continue2 3. Les ECOS sont

des épreuves basées sur la succession de stations avec pour chacune d’elles, des

problèmes à résoudre en temps limité. Les réponses à ces épreuves sont codifiées

et comparées à des check-lists. Ainsi une observation directe permet d’évaluer le

savoir-faire ainsi que l’acquisition de gestes techniques obtenue tout au long du

cursus médical.

Nous rapportons l’expérience d’un ECOS validant l’examen pratique de stage

hospitalier en urologie de 97 étudiants en troisième année du deuxième cycle des

études médicales.

Page 4: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Matériel et méthodes

Développement

Le développement de cet ECOS a été effectué par un praticien hospitalier du service

d’urologie de l’hôpital Tenon, sensibilisé à la pédagogie médicale et à ses nouvelles

méthodes, titulaire du Diplôme Inter Universitaire « Méthodes et évaluation de

l’enseignement médical » obtenu en 1995. Cet urologue qui a plus de dix ans de

pratique clinique, s’est attelé à rédiger des situations cliniques courtes, reflétant bien

la pratique urologique quotidienne. Le choix des cas cliniques a été réalisé en

fonction de leur degré de fréquence et de l’activité urologique adulte habituelle. Le

choix des compétences cliniques à évaluer à été fait selon les objectifs

pédagogiques terminaux du deuxième cycle4 au cours duquel les étudiants doivent

avoir assimilé, parmi d’autres items, les principaux gestes techniques ; les

pathologies les plus fréquentes ; leurs procédures diagnostiques, leurs

thérapeutiques et leurs préventions ainsi que la gestion des urgences les plus

fréquentes (Tableau 1).

Chaque atelier comprenait d’une part, l’exposition courte d’une situation clinique, par

quelques lignes relatant les antécédents, l’âge, le sexe et le motif de consultation du

patient (Annexe 6) associée d’autre part à un support sensitif, visuel ou auditif

différents à chaque atelier. Ces supports psychosensoriels faisaient intervenir le

toucher à l’aide de « boites à prostates » qui sont des dispositifs copiant les

sensations du toucher prostatique à travers le rectum. L’audition était représentée

par un enregistrement relatant un entretien entre un urologue et une de ses

patientes. En ce qui concerne la vision, les supports étaient plus classiques et

comprenaient soit des radiographies standard ou préparées, soit une échographie,

soit une photographie ou la retranscription d’une débit-métrie urinaire. Deux ateliers

ne comprenaient pas de support sensoriel.

La grille de réponse (Annexes 3 et 4) était établie plusieurs jours avant l’examen et

était rédigée en accord avec la simplicité de l’examen ; ainsi pour chaque habileté

acquise, les points correspondants ont été attribués. La notation de chaque question

était cotée selon un barème de mots clés, de 0 à 5 pour le groupe 1 et de 0 à 2, pour

les groupes 2 et 3. La note de chaque candidat correspondait à la somme des scores

obtenus à chaque cas et le total des points obtenu correspond à une note finale sur

Page 5: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

20. Il a été instauré pour 2 questions, lors de la dernière cession, des points négatifs,

lorsqu'une réponse était considérée par le correcteur, inutile ou dangereuse pour le

patient.

Problèmes cliniques

Support psychosensoriel

Objectifs d’évaluation (Objectif terminal du DCEM)

Hypertrophie prostatique

Reconstitution d’un toucher prostatique

transrectal

Diagnostic d’une hypertrophie bénigne de la prostate

n°247 Condylomes

vénériens Photographie couleur Diagnostic d’une infection génitale de

l’homme. N° 89

Rétention d’urines fébrile avec prostatite

Rétention aiguë d’urine : identification des situations d’urgence et planification

de leur prise charge. N° 216

Sténose uréthrale Urographie intraveineuse

Devant un trouble de la miction, justifier les examens complémentaires

pertinents. N° 341 Tumeur de la

prostate Reconstitution d’un toucher prostatique

transrectal

Diagnostic d’une tumeur de la prostate. N°156

Tumeur du rein et tumeur de vessie.

Hématurie

Echographie vésico-rénale

Diagnostic d’une tumeur du rein. N°158

Devant une hématurie, argumenter les principales hypothèses diagnostiques et justifier les examens complémentaires

pertinents. N°315

Lithiases urinaires Radiographie standard abdominale sans

préparation

Diagnostic d’une lithiase urinaire. N°259

Troubles de la miction

Débimétrie urinaire Devant un trouble de la miction, justifier les examens complémentaires

pertinents. N° 341

Infection urinaire basse de la

femme

Devant une infection urinaire, argumenter l’attitude thérapeutique et

planifier le suivi du patient. N° 93

Incontinence urinaire

Audition d’un entretien patiente/médecin

Devant une incontinence de l’adulte, argumenter les principales hypothèses

diagnostiques. N° 321

Tableau 1 : Liste des ateliers.

Page 6: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Organisation

L'étude s'est déroulée au cours de l'année universitaire 2002-2003, à l'hôpital Tenon

de l'assistance publique des hôpitaux de Paris, dans le service d'urologie du

Professeur Thibault.

Les candidats étaient 97 étudiants en DCEM3, tous inscrits dans le certificat couplé à

la pratique clinique « néphrologie-urologie ». Tous ont eu comme évaluation pratique

de ce certificat pour l’urologie, une épreuve sous forme de plusieurs ateliers orientés

s’apparentant à un ECOS. Ainsi aux cessions de janvier 2003, d’avril 2003 et de

juillet 2003, trois groupes de, respectivement 32 (nG1), 32 (nG2) et 33(nG3) étudiants

ont participé à cette nouvelle évaluation. L’examen s’est déroulé sur une journée et a

consisté en un circuit de 7 ateliers courts de 1 ou 2 minutes pour le premier groupe et

en un circuit de 10 ateliers d’une minute chacun pour les deux autres groupes. La

durée de chaque circuit était donc d’environ 10 minutes par candidat et 10 candidats

étaient donc testés par circuit. La durée totale de l’examen était approximativement

de 45 minutes. Les différents ateliers s’échelonnaient dans trois salles, chaque salle

comprenant 2 ou 4 ateliers dispersés. Au début de l’épreuve, il était remis à l’étudiant

une fiche-réponse préétablie à son nom constituée d’une grille comprenant une case

par atelier où il consignait (ou non) ses réponses (Annexes 1 et 2). Un examinateur

était présent dans chaque salle ainsi qu’un autre au début du circuit et un dernier à la

fin. La fonction du premier examinateur était de minuter l’entrée de chaque étudiant

dans le circuit et de distribuer à l’étudiant la fiche-réponse correspondante. En fin de

circuit, les fiches étaient collectées par le dernier examinateur alors que les autres

avaient pour fonction de surveiller et d’orienter les étudiants dans le circuit.

L’objet de notre examen était de tester la faisabilité d’une telle épreuve pour évaluer

la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la

présence des étudiants en stage hospitalier d’urologie ou non.

Nous avons comparé ces notes à celles de l’évaluation pratique de néphrologie

consistant à l’exposition orale d’un cas clinique.

Notre but était d’estimer rapidement et de façon fiable l’acquisition de compétences

cliniques et thérapeutiques simples et essentielles, dans cette spécialité, pour ces

futurs praticiens.

Page 7: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Résultats

Le collectif d'étude était représenté par 100 étudiants de troisième année de

deuxième cycle des études médicales, répartis en 3 groupes d'effectif

homogène(nG), en moyenne 33 par groupe (nG1=32; nG2=34; nG3=34). Deux étudiants

dans le groupe 2 et un dans le groupe 3, ont été exclus de cette étude car ils étaient

absents le jour de l'examen. L'effectif final pour cette étude est donc de 97 étudiants.

Les tableaux 2 et 3 résument les notes moyennes par questions et les notes

moyennes finales obtenues lors de l'examen pour les 3 groupes. Le nombre et le

thème des questions étaient différents pour le groupe 1 et les groupes 2 et 3 ; c’est

pourquoi nous ne les avons pas comparés.

Q1/1 Q2/2 Q3/2 Q4/2 Q5/5 Q6/3 Q7/5 NOTE/20

Gr1 1 1,4 1,4 1,8 1,4 2,1 2,6 11,8

Tab. 2: Notes moyennes obtenues aux questions et note finale /20 pour le groupe 1.

Q1 Q2 Q3 Q4 Q5 Q6 Q7 Q8 Q9 Q10 NOTE/20

Gr2 1,6 0,2 1 0,6 1,6 1,1 1,2 1 0,7 1,4 11,3

Gr3 1,9 0,8 1,6 0,8 1,5 1,1 1,5 1,8 0,6 1,5 12,9

test T 0,020 0,000 0,019 0,041 0,422 0,828 0,077 0,009 0,691 0,830 0,002 Tab.3: Notes moyennes obtenues aux questions et note finale /20 pour les groupes 2 et 3.

Page 8: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Le tableau 2 nous montre les performances globales des candidats du groupe 1.

Hormis pour la question 5, la majorité des étudiants ont obtenu la moyenne à chaque

atelier. 6 étudiants sur 32 (19%) n’ont pas obtenu la note de passage (10/20). En

effet, la cotation de la question 5 se faisait sous forme d'association de bonnes

réponses; 0 ou 1 bonne réponse sur 4 ne donnait aucun point, 2 bonnes réponses

sur 4 équivalait à 2 points et avec la totalité de bonnes réponses (4 bonnes réponses

sur 4), les étudiants obtenaient le maximum des points, c’est à dire 5.

Les notes obtenues dans les groupes 2 et 3 sont regroupées dans le tableau 3. Le

correcteur a utilisé pour ces deux groupes, les mêmes questions et la même cotation

(toutes les questions sont notées sur 2 points) avec cependant une particularité pour

les questions 3 et 9. En effet, en cas de réponse estimée « médicalement

dangereuse » à la question 3, une pondération négative de 2 points, a été mise en

place ainsi qu’à la question 9 où une notation négative de 1 point a été attribuée en

cas de demande d'examen injustifié. Les notes moyennes de ces 65 candidats ont

globalement été supérieures à la moyenne sauf pour 13 candidats (20%). Il a été mis

en évidence que la note moyenne du groupe 3 est significativement meilleure que

celle du groupe 2 (p=0.002).

Parmi les étudiants inscrits au certificat couplé à la pratique clinique « néphrologie-

urologie », le nombre de ceux ayant effectué un stage hospitalier (nGst+) dans le

service d’urologie était homogène dans les 3 groupes( nG1st+=14; nG2st+=14;

nG3st+=10) ; ce qui représente 38% des inscrits (Tableau 4). Il n’existe pas de

différence significative sur la note d’évaluation pratique entre les étudiants ayant

effectué un stage pratique en urologie et ceux ne l’ayant pas fait (Tableau 5).

Groupe 1(%) Groupe 2(%) Groupe 3(%) Total (%)

n 32 34 34 100

Présent à l'examen 32 (100) 32 (94) 33 (97) 97

Stage + 14 (44) 14 (41) 10 (29) 38

Stage - 18 (56) 20 (59) 24 (71) 62

Tab. 4: Répartition des étudiants ayant effectués un stage en urologie.

Page 9: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Tab.5: Moyenne des notes finales des étudiants ayant effectués ou pas un stage en urologie.

La comparaison de nos résultats avec les notes obtenues lors de l’évaluation

pratique en néphrologie ne montrent pas non plus de différence significative

(Tableau 6 et Figure 1 et 2).

UROLOGIE NEPHROLOGIE NOTE T /20

Groupe 1 11,8 14,4 13,1

Groupe 2 11,3 12,7 12,3

Groupe 3 12,9 11,1 11,7

Moyenne 12,0 12,7 12,4

Tab.6: Comparaison des notes obtenues en urologie et en néphrologie.

Note/20 Stage+ Stage-

Groupe 1 11,8 13,4 10,7

Groupe 2 11,3 10,5 11,9

Groupe 3 12,9 11,3 13,5

Page 10: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

0

1

2

3

4

5

6

7

8

9

10

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Répartition notes urologie G2 & G3

Figure 1

0

1

2

3

4

5

6

7

8

9

10

11

12

13

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

Répartition notes néphrologie G2 & G3

Figure 2

Page 11: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Discussion

Bien qu’outre Atlantique l’évaluation par ECOS soit une méthode de référence pour

l’évaluation de la compétence clinique à tous les niveaux du cursus médical1 5, elle

reste encore en France une expérience peu usitée. Au cours du troisième cycle des

études médicales, on observe son utilisation à la faculté de Rouen pour la validation

du résidanat et une étude a été publiée sur l’emploi de ce type d’évaluation6. Ces

deux exemples démontrent la pertinence des ECOS comme outil pédagogique et

d’évaluation formative pour l’enseignement des internes. Pour ce qui est du

deuxième cycle des études médicales, à notre connaissance, l’évaluation structurée

objective n’est utilisée qu’à la faculté de médecine de Créteil pour la validation du

CSCT et il a été publié une seule étude, dont les résultats encourageants ont été

publiés en 20017. En 1997, pour les étudiants de deuxième cycle, il a été mis en

place une notation de stage hospitalier s’intégrant dans la note terminale permettant

à l’étudiant chaque année de passer dans l’année supérieure. Il a été ainsi permis à

l’enseignement clinique d’intervenir à part entière dans l’évaluation globale de

l’étudiant en fin d’année et les facultés de médecine ont ainsi mis en place les

examens d’évaluation des compétences cliniques.

A la faculté de médecine de Saint Antoine, l’évaluation pratique de stage comptant

pour 25% de la note totale du certificat, consiste en l’appréciation par un jury de la

présentation d’une observation concernant un patient présent dans le service et

connu de l’étudiant, ainsi que des réponses aux questions du jury. L’examen pratique

de stage hospitalier en urologie a lui été modifié pour devenir une évaluation

structurée objective. Les motivations de ce changement ont été guidées par une

volonté d’employer de nouvelles méthodes docimologiques et d’évaluer les habiletés

psychomotrices des étudiants, peu enseignées et évaluées par les méthodes

pédagogiques traditionnelles. Le temps imparti à chaque atelier était volontairement

court afin de tester et de stimuler principalement les facultés psychosensorielles de

l’étudiant. Ainsi il a été évalué des « praxies », considérées comme essentielles à

l’acquisition de la compétence clinique en urologie telles que la réalisation et

l’interprétation d’un toucher rectal ou la visualisation de calculs radio-opaques sur un

« abdomen sans préparation ».

Page 12: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Ce mode d’évaluation des pratiques cliniques fait partie intégrante de l’apprentissage

et modèle fortement la façon dont les étudiants vont apprendre8. Elle est aussi utile à

l’enseignant pour vérifier l’atteinte des apprentissages et l’efficacité de ses

programmes. On peut penser que l’application de cette nouvelle forme d’évaluation

incite les étudiants à privilégier ces apprentissages psychosensoriels essentiels à

l’acquisition de la compétence clinique. Dans notre étude nous avons d’ailleurs mis

en évidence une amélioration significative de la note du groupe 3 par rapport à celle

du groupe 2 ; or pour des raisons indépendantes de notre volonté, seuls les

étudiants du groupe 3 ont été informés en début d’enseignement, des modalités de

leur évaluation. Cette tendance reste à être confirmée par la poursuite de l’étude

avec les groupes suivants.

Toutefois avec la réforme du deuxième cycle, les notes de stages n’interviennent

plus dans la note de fin d’année et l’on peut penser que la motivation et

l’apprentissage clinique en stage hospitalier vont progressivement diminuer9.

Parallèlement à cette réforme et de façon paradoxale, nous entrons dans un

processus de certification dont l’ambition est d’établir un contrôle en fin de formation

qui permettrait de juger le candidat dans les conditions qui sont proches de son

exercice. Les ECOS en sont une approche pertinente3 8 10 11, d’autant plus dans le

cadre du stage hospitalier.

Les ateliers utilisés dans notre étude sont différents de ceux utilisés dans un ECOS

standard ; nous n’avons pas employé de patients standardisés ; comme nous l’avons

vu plus avant, le temps imparti pour chaque atelier était très court et enfin l’évaluation

n’était pas faite sur l’observation directe de l’interaction « médecin-patient » mais sur

les réponses à des questions courtes découlant de l’atelier, le plus souvent des

QROC ou des QCM. Ces modifications ont été dictées par des contraintes

logistiques ; nous ne possédions pas le budget nécessaire à l’emploi de comédiens

ou de mannequins ; le nombre et la disponibilité des observateurs étaient insuffisant

à l’observation de chaque atelier et le nombre d’étudiants à évaluer était trop

important pour pouvoir augmenter la durée des ateliers et donc la durée de

l’évaluation. Nous sommes bien conscients que les caractéristiques psychométriques

de ce circuit d’ateliers courts sont loin de celles requises pour assurer une bonne

validité à l’examen12. Toutefois de nombreuses études ont montré qu’un nombre de

cas suffisant et la formation des observateurs assuraient la fiabilité des ECOS et

d’autre part, il a été également démontré que le format flexible de l’ECOS (nombre

Page 13: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

de stations, durée des stations, circuit parallèle, proportions des stations-stimulus /

stations questionnaires) permet d’évaluer un grand nombre de candidats, un large

échantillon d’habiletés, dans un temps relativement court 3 13 14. Enfin, nous avons

pris en compte les recommandations générales pour l’évaluation des apprentissages

lors du développement de notre évaluation15. C’est pourquoi, nous avons modifié

l’organisation de l’examen après le premier groupe. En effet, la non-standardisation

des différents ateliers en temps et en pondération lors de l’évaluation du groupe 1,

ont gêné le déroulement de l’épreuve et ont faussé l’évaluation des critères que nous

voulions mesurer (pondération complexe).

Le format de nos ateliers était également orienté par cette démarche de certification

vers laquelle nos universités médicales se dirigent et à laquelle nous adhérons

fortement. Nous avons vu qu’à la fin du deuxième cycle médical, les étudiants

doivent avoir acquis les compétences cliniques nécessaires à leur fonction d’interne

et de futur praticien. Dans ce cadre, l’acquisition et donc l’évaluation de certaines

habiletés psychomotrices nous semblent primordiales.

A la faculté de Saint-Antoine, la trentaine d’étudiants inscrits au certificat couplé à la

pratique clinique « néphrologie-urologie » sont pendant 3 mois en stage hospitalier

de néphrologie. Sur la base du volontariat 5 d’entre eux peuvent être détachés

pendant 15 jours du service pour intégrer le service d’urologie. Ce système de

rotation a été établi pour permettre à tous les inscrits de « passer » en urologie, s’ils

le souhaitaient. Selon nos résultats, on s’aperçoit que seulement 38% de ces

étudiants intègrent le stage d’urologie. De plus, il n’existe pas de différence

significative sur la note d’examen pratique entre les candidats ayant intégré le stage

d’urologie et ceux ne l’ayant pas fait. Il a pourtant été bien démontré que les

étudiants acquièrent en grande partie leur compétence clinique lors des stages

cliniques hospitaliers16. Dans notre étude, la durée insuffisante du stage pratique est

probablement à l’origine de cette absence de bénéfice.

Nous avons voulu comparer les résultats obtenus lors de l’évaluation pratique

d’urologie à ceux obtenus à celle de néphrologie afin vérifier l’absence d’une trop

grande disparité entre notre évaluation et une évaluation plus classique (figures 1 et

2) et par cela s’assurer de la fiabilité de notre test.

L’acceptabilité de cette évaluation n’a pas été mesurée. Toutefois l’avis informel de

plusieurs étudiants soumis à ce test a été recueilli dans les trois groupes. Celui du

premier groupe est unanime concernant les difficultés organisationnelles

Page 14: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

représentées essentiellement par le manque de temps pour répondre aux questions,

la présence de « files d’attentes » à l’entrée des ateliers comprenant plusieurs cas (Q

5) et l’inadéquation des lieux d’examen (pas de possibilités de s’asseoir en attendant

son « tour », exiguïté des stands). Ce dernier item a été également relevé par les

étudiants des groupes 2 et 3. Cependant, tous ont apprécié cette forme d’évaluation,

notamment son caractère rapide et son orientation psychosensorielle.

Malgré ses limites, cette étude montre la faisabilité d’une épreuve apparentée à un

ECOS pour l’évaluation de stage pratique au cours du deuxième cycle. La

compétence clinique présentant de nombreuses composantes, il serait illusoire de

penser qu’un seul instrument suffit pour l’évaluer. Néanmoins, l’amélioration et

l’utilisation de ces nouvelles méthodes d’évaluation des habiletés psychomotrices

nous aideront certainement à relever le défi posé par la certification de notre

profession.

Page 15: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Annexe 1: Examen pratique d’urologie Groupe 1

NOM : Prénom :

Stagiaire en urologie : oui non

PIECE N°1 ( 2 minutes )

1 Robert A Description :

Diagnostic :

2 Laetitia H Diagnostic :

Traitement proposé :

PIECE N°2 ( 2 minutes )

3 Tancrède V A B C D

4 Frank Z Description :

Examen complémentaire proposé :

PIECE N°3 ( 2 minutes )

Jérémy A Examens N° :

Jérémy B Examens N° :

Jérémy C Examens N° :

5

Jérémy D Examens N° :

PIECE N°4 ( 2 minutes )

6 Ernest E Description :

Diagnostic :

7 Maxime C Description :

NOTE TOTALE SUR 20 :

Page 16: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Annexe 2: Examen pratique d’urologie Groupe 2 et 3

NOM : Prénom :

Stagiaire en urologie : oui non

EXAMEN PRATIQUE D’UROLOGIE DU groupe 2 et 3

UNE MINUTE PAR STAND

1 TR n°1:

= nodule

dur

1 2 3 4

D G D G D G D G

2 Photo : Diagnostic :

3 Mr P.R.

CAT

1.

2.

3.

4 Radio 1 :

Mr HAN...

Diagnostic :

5 TR n°2:

= nodule

dur

1 2 3 4

D G D G D G D G

6 Ernest E

(Echo)

Diagnostic(s) :

7 Mr YAL...

(Radio 2)

Description :

8 Débimétrie Interprétation :

1 : Normale 2 : Pathologique 3 : ininterprétable

9 Sylvie C

Prescription

Prescription :

10 Laetitia H

(Interrog.)

Diagnostic :

NOTE TOTALE SUR 20 :

Page 17: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Annexe 3: Grille de correction Groupe 1

CORRIGE du Gr1

PIECE N°1 ( 2 minutes )

1 Robert A Description : prostate augmentée de volume, souple, homogène,

bien limitée

Diagnostic : HBP / adénome:

1

2 Laetitia H Diagnostic : Instabilité vésicale

Traitement proposé : anticholinergiques

1

1

PIECE N°2 ( 2 minutes )

3 Tacrède V A B C D 2

4 Frank Z Description : prostate augmentée de volume, avec un nodule dur,

bien limitée

Examen complémentaire proposé : soit PSA, soit biopsie de

prostate

1

1

PIECE N°3 ( 2 minutes )

Jérémy A Examens N° : 1 (prostatite aiguë bactérienne)

Jérémy B Examens N° : 4 (bilan initial HBP peu symptomatique)

Jérémy C Examens N° : 2 (bilan dysfonction erectile et baisse libido)

5

Jérémy D Examens N° : 3 (suivi de traitement par BAC)

1 : 0

2 : 2

4 : 5

PIECE N°4 ( 2 minutes )

6 Ernest E Description : - image tissulaire sur la paroi vésicale

- kyste liquidien du rein droit

Diagnostic : tumeur de vessie

1

1

1

7 Maxime C Description : images radiopaques

3 à droite : bassinet /TCI/TCM

2 à gauche : bas uretère gauche

1/1/1

1/1

TOTAL SUR : 20

Page 18: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Annexe 4 : Grille de correction Groupe 2 et 3

UNE MINUTE PAR STAND

1 TR n°1 :

= nodule

dur

1 2 3 4

D G D G D G D G

2

2 Photo :

Diagnostic :

Condylomes vénériens (ou acuminés)

1

3 Mr P.V.

CAT

- Cathéter sus pubien (sonde = -2)

- ECBU

- Antibiothérapie

1

1 : 3

1

4 Radio 1 :

Mr HAN...

Diagnostic :

Sténose de l’urèthre (1) bulbaire / pénien postérieur (1)

2

5 TR n°2 :

= nodule

dur

1 2 3 4

D G D G D G D G

2

6 Echo :

Ernest E

Diagnostic(s) : 1. Tumeur de vessie

2 . Kyste du rein

1

1 : 2

7 Radio 2

Mr YAL

Description :

3 calculs à droite

2 calculs à gauche

1

1 : 2

8 Débimétrie

urinaire

Interprétation :

1 : Normale 2 : Pathologique 3 : Non interprétable

2

9 Sylvie C

Prescription

Traitement antibiotique (minute/court)

Pas d’ECBU (ECBU –1)

2

10 Laetitia H

(Interrogat)

Diagnostic : incontinence par impériosité

/instabilité/hyperexcitabilité vésicale

2

NOTE TOTALE SUR 20 : 20

Page 19: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

Annexe 5: Ennoncés des cas Groupes 2 et 3

STAND N°1

Camembert 1

Quelle hypothèse diagnostique est la plus probable ?

STAND N° 2

Photo

Quelle hypothèse diagnostique est la plus probable ?

STAND N°3 Monsieur Pierre R..., 68 ans.

Consulte à 20h00 pour impossibilité à uriner depuis 10h00 le matin. Une miction à 8h00, difficile et

douloureuse. Douleurs hypogatriques permanentes.

Température : 38°5

Antécédents :

- Jamais opéré

- Traité par un alpha-bloquant depuis 2 ans pour difficultés à uriner

- 1m72, 68 kg

Examen clinique :

Masse hypogastrique arrondie, remontant jusqu’à l’ombilic, rénitente, mate à la percussion, et dont la palpation

est douloureuse et majore l’envie d’uriner.

Fosses lombaires normales.

Organes génitaux externes normaux, y compris méat

CONDUITE A TENIR : LES TROIS PREMIERS GESTES ?

STAND N°4 Il s'agit d'un patient de 65 ans qui vous consulte car il est gèné pour uriner.

A l'interrogatoire, il n'a pas d'antécédents urologiques, il n' a jamais été opéré. Il prend depuis trois ans des

traitements pour ses troubles urinaires. Il a pris un alpha-bloquant pendant 6 mois, sans amélioration. Puis un

inhibiteur de la 5 alpha réductase pendant un an sans succès. Il prend actuellement un traitement par

phytothérapie. Interprétez son urographie intra veineuse.

STAND N° 5

Camembert 2

Quelle hypothèse diagnostique est la plus probable ?

Page 20: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

STAND N° 6 Monsieur Ernest E..., 59 ans.

Consulte pour hématurie microscopique découverte à la médecine du travail.

Ne se plaint d’aucun trouble urinaire.

Antécédents :

- Jamais opéré

- Pas de traitement médical en cours

- Non fumeur

Examen clinique :

Abdomen souple, pas de masse palpable.

Fosses lombaires normales. Orifices herniaires libres

Organes génitaux externes normaux, y compris méat

Toucher rectal normal.

ECBU : hématurie microscopique, pas de germe

Décrivez l’échographie de l’arbre urinaire par voie abdominale.

STAND N° 7 Monsieur Y. HAL..., 35 ans.

Colique néphrétique droite il y a trois jours. Le patient a été traité médicalement et la crise a cédé. Une

radiographie d’abdomen a été prescrite.

Antécédents :

- appendicectomie dans l’enfance

- Colique néphrétique droite il y a un an, non explorée.

- Allergie à la pénicilline

Examen clinique :

Abdomen souple, pas de masse palpable.

Fosses lombaires normales. Orifices herniaires libres

Organes génitaux externes normaux, y compris méat

Décrivez la radiographie d’abdomen sans préparation : aspect, siège et nature probable de la ou des anomalies.

STAND N° 8

Attribuez à cette débitmétrie urinaire le qualificatif approprié.

Page 21: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

STAND N°9 Madame Sylvie C., 38 ans

Consulte pour des brûlures en urinant apparues ce matin. Elle urine très fréquemment, et ses urines sont troubles.

Elle n’a pas de fièvre. C’est la cinquième fois en deux ans que ces troubles se produisent.

Antécédents :

- Jamais opérée, pas d’antécédents urologiques

- Pas de traitement médical en cours

- Deux grossesses normales, pas de contraception

- Excellent état général

Examen clinique :

Abdomen souple, pas de masse palpable.

Fosses lombaires normales et indolores.

Sensibilité à la pression hypogastrique

Touchers pelviens normaux.

Pouls : 60/min

STAND N°10

Mettez le casque

Appuyez sur "lecture"

Ecoutez attentivement le dialogue entre la patiente et son médecin.

- Bonjour Madame. Que puis-je faire pour vous ?

- Beaucoup, j’espère Docteur. Voilà, je viens vous voir parce que j’ai des fuites.

- Des fuites ?

- Oui, des fuites d’urine.

- Depuis combien de temps ?

- Oh, environ 2 à 3 ans.

- Et dans quelles circonstances se produisent-elles ?

- C’est surtout quand je mets les mains dans l’eau, ou quand je rentre à la maison. Dès que je mets la clef

dans la serrure, ça me déclenche une envie terrible, et si je ne vais pas assez vite, eh bien, je fais pipi dans

ma culotte... En plus, ça me réveille la nuit.

- Quel âge avez-vous, Madame ?

- Quarante huit ans, Docteur.

- Vous avez des enfants ?

- Non Docteur, je suis célibataire.

- Et quand vous faites des efforts, quand vous toussez ou que vous éternuez, vous avez aussi des fuites ?

- Ah non, Docteur, quand même pas...

- Vous avez déjà été opérée ?

- Seulement les végétations, quand j’étais petite.

Page 22: Lembert Maschino EVALUATION STRUCTUREE OBJECTIVE · la pratique des étudiants en fin de stage d’urologie et nous les avons corrélées à la présence des étudiants en stage hospitalier

- Vous prenez des médicaments ?

- Rien du tout, Docteur. S’il n’y avait pas ce problème de fuites, tout irait bien.

- Eh bien je pense qu’on va pouvoir arranger ça....

Quel diagnostic vous semble le plus probable ?

1 Harden R, Stevenson M, Downie W, Wilson G. Assessment of clinical competence using objective structured examination. BMJ 1975; 1:447-451. 2 Sloan DA, Donnelly MB, Scwartz RW, Felts JL, Blue AV, Strodel WE. The use of objective structured clinical examination (OSCE) for evaluation and instruction in graduate medical education. J Surg Res 1996; 63:225-230. 3 Reznick R, Smee S, Rothman AI, et al. An objective structured clinical examination for the licentiate: report of the pilot project of the Medical Council of Canada. Acad Med 1990; 65:288-298. 4 BO du ministère de l’Education Nationale et du ministère de la Recherche. N°31 du 30 Août 2001. 5 Stillman PL, Wang Y, Ouyang Q, Zhang S, Yang Y, Sawyer WD. Teaching and assessing clinical skills : a competency-based programme in China. Med Educ 1997; 31: 33-40. 6 Sibert L, Grand’Maison P, Charlin B, Grise P. Développement d’un examen objectif structuré pour évaluer les compétence des internes en urologie. Ped Med 2000 ; 1 :33-39. ��Descargues G, Sibert L, Lechevallier J, Weber J, Lemoine JP, Marpeau L. Evaluation au cours de la formation initiale de la

compétence clinique en gynécologie obstétrique : approche innovatrice basée sur l'observation de la performance par l'ECOS. J Gynecol Obstet Biol Reprod (Paris). 2001 May;30(3):257-264. �

8 Van der Vleuten CPM. The assessment of professional competence and lowbar: developments, research and pratical implications. Adv Health Sc Ed 1996; 1:41-67. 9 Arlet P. La formation clinique dans les universités françaises : chronique d’une mort annoncée. Ann Med Int 2002 ; 153 :427-428. 10 Sutnick A, Friedman M, Stillman P, Norcini J, Wilson M. International use of standardized patients. Teach Learn Med 1994; 6: 33-35. 11 Newble D, Dawson B, Dauphinee D et al. Guidelines for assessing clinical competence. Teach Learn Med 1994; 6: 213-220. 12 Newble DI, Swanson DB. Psychometric characteristics of the objective strutured clinical examination. Med Educ. 1988; 22(4): 325-334. 13 Des Marchais J et le groupe de travail du comité de l’évaluation. Rapport sur le système d’évaluation en vue du certificat de spécialiste. Collège Royal des Médecins et Chirurgiens du Canada, 1993, 113p. 14 Grand-Maison P, Brailovky C, Lescop J, Rainsberry P. Using standardized patients in licensing/certification examinations : comparison of two tests in Canada. Fam Med 1997; 29: 27-32. 15 Jouquan J. Ped Med 2002 ; 3 : 38-52. 16 Swanson DB, Norman GR, Linn RL. Perforamance-based assessment: lessons from the health professions. Educ Res 1995; 24:5-11.