Embed Size (px)
Citation preview
Tests de Jugement Situationnel
Alain Hosdey et Michael Tack
Contenu
• Introduction• Tests de Jugement Situationnel (TJS)
• Demo• Description• Élaboration d’un TJS• Qualités d’un TJS• Bilan• Conseils aux bricoleurs et aux concurrents
• Avis et discussion
Introduction• Alain Hosdey et Michael Tack
• Adforum
• Exercices
Introduction• Alain Hosdey et Michael Tack• Adforum
• Bases de notre activité :• Esprit d’innovation • Caractère scientifique• Orientation vers la pratique
• Activités :• Développement d’outils RH• Audit• Divers
Projets importants actuellement en cours :
QUESTION : QUE FAITES-VOUS ?
Vous êtes responsable du personnel d’une grande entreprise. Nous sommes début septembre. La caméra de contrôle montre qu’une employée administrative met dans son sac quatre blocs de papier et plusieurs stylos à bille.
Au moment où elle est abordée par la Sécurité, elle explique que le matériel est destiné à un usage privé. C’est une femme qui élève seule deux enfants, et elle déclare que le mois de septembre lui coûte beaucoup d’argent. Quelques fournitures scolaires en plus tombent donc bien.
Le règlement du travail précise : vol = licenciement.
Exercice
Propositions : êtes-vous d’accord ?
1. La réaction d’une personne à ce genre de situations permet d’apprendre des choses sur elle.
2. La connaissance d’une personne est nécessaire (avec une marge d’incertitude) pour savoir comment elle réagira dans un contexte professionnel.
3. L’expérience d’un individu influe sur le fait qu’il aura de bonnes ou de moins bonnes réactions.
4. Dans différentes organisations, un individu est confronté à des défis professionnel.
Exercice
Les propositions ci-dessus sont un point de départ pour élaborer des tests en général et des TJS en particulier.
Exercice
Tests de Jugement Situationnel
• Demo
• Description
• Élaboration
• Qualité
• Conseils aux bricoleurs et à la
concurrence
• Bilan
TJS - DEMO
• Sous la forme de textes : Selor• Multimédias : Gouvernement Flamand
10
Demo : sous la forme de textesSITUATION :
Anita est du genre très bavard. Cela conduit souvent à des situations plus qu’amusantes, mais il lui arrive de blesser les autres. Pendant la pause café, elle lance une blague à propos des “gros”. Caroline, d’une constitution robuste, se sent attaquée et quitte la pièce en déclarant : “Anita, tu peux vraiment être très désagréable! Tu ferais mieux d’y réfléchir à deux fois avant de parler !”
Henri, un collègue, est présent au moment des faits.
Anita lui dit : “Dis, Henri, Carla est quand même sortie rapidement de ses gonds, tu ne trouves pas ?
Henri réagit comme suit :11
Demo : sous la forme de textesDans quelle mesure trouvez-vous que les réactions suivantes
sont adaptées ?
• Oui, en effet, elle ne supporte pas la blague. C’est franchement bête de sa part, je trouve..
• Je ne peux pourtant pas lui donner tort, tu sais. Parfois, tes blagues tombent très mal.
• Ah, pas de quoi en faire un foin. Elle est probablement dans un mauvais jour.
• Tu devrais peut-être aller lui parler pour demander si tout va bien pour elle.
12
DescriptionLes TJS permettent de découvrir comment des candidats se comporteront dans des situations professionnelles auxquelles ils sont confrontés. On propose aux candidats différentes situations professionnelles et on leur demande de donner un avis sur plusieurs réactions possibles.
(Définition personnelle sur base de différentes définitions présentées dans la littérature).
14
Schéma de déroulement d’un TJS
Le candidat prendplace devant le PC Instructions
Le candidatregarde la
séquence filméeou lit l’item
Le candidatdécouvre plusieursréponses possibles
Le candidat évalueles réponses
possibles
Items
Enregistrement des résultats
Traitement des résultats
Resultat : score et feed-back
Élaboration d’un TJS
Étapes classiques de l’élaboration :• Comporte les différents choix à opérer• En collaboration avec le donneur d’ordre
(SELOR)
16
ÉlaborationDécision 1: Que voulons-nous mesurer ?
• Option 1: niveau comportemental (approche classique)
ORGANISATION INDIVIDUCARACTERISTIQUESCARACTERISTIQUESCulture PersonnalitéValeurs ValeursObjectifs ObjectifsNormes Attitudes
appariement
OFFRE OFFRESalaire TempsInfrastructure VolontéMoyens TalentsRéseau social CapacitésPossibilités de développement Loyauté
ATTENTES ATTENTES
complémentarité
Élaboration Décision 1 : Que voulons-nous mesurer ?
• Option 2 : Compétences
Présentation de : • Cas • Bonnes réactions (compétence présente)• Mauvaises réactions (compétence absente)
Élaboration Décision 1 : Que voulons-nous mesurer ?
• Option 3 : Comportement éthique (Nouveau)
Présentation de : • Cas • Bonnes réactions (= si respect de l’éthique)• Mauvaises réactions (= si non-respect de
l’éthique)
= expérimentalPièges : désirabilité sociale, transparence des normes éthiques
Élaboration Choix ayant été faits avec le SELOR :
Mesurer des compétences en plaçant le candidat dans des situations pertinentes pour des agents fédéraux.
Élaboration Décision 2 : Comment générer des incidents
critiques ?
• Via workshops/interviews en interne• Via notre propre expérience et notre inspiration
Procédure adoptée : différentes sources pour les inputs :
• Workshops• Interviews• Propre expérience soumise au SELOR pour
validation
Élaboration
Tri des incidents critiques :• Rassembler des événements similaires• Elimination de situations trop spécifiques à un
département, par exemple.
Élaboration • Création des items ( situations critiques)
Recherche d’un équilibre entre :• Contexte pas trop spécifique à une catégorie d’agents
(problème de prérequis).• Contexte pas trop spécifique à une catégorie de
fonctions.• Assimilable pour des candidats externes, mais aucun
contexte propre au secteur privé.
Élaboration • Création des items Points d’attention si multimédias :• Équipe professionelle• Acteurs professionnels qui
• Ne sont pas (trop) connus• Ne sont pas d’un trop haut niveauIdéal = acteurs de théâtre d’entrepriseGrande attention au non-verbal (scripts et régie)
• Rigueur de la démarche
Élaboration Décision 3 : Quelles instructions utiliser
• Contenu : contenu : mesurer :• Perspicacité ? (Dans quelle mesure trouvez-vous ces réactions adaptées ?)
• Comportement ? (Que feriez-vous ?)
• Comment :• Normatif ? (Candidat évalue chaque réaction)• Ipsatif ? (Candidat choisit la meilleure (et éventuellement la plus mauvaise) réaction)
Élaboration Pour ce projet, nous avons choisi :
• Perspicacité (Dans quelle mesure trouvez-vous ces réactions adaptées ?)
• Questionnement normatif (Le candidat évalue chaque réaction)
Élaboration Décision 4 : Quelle clé utiliser pour donner un score ?
• Option 1 : modèle théorique• Compétences• Vision théorique de ce qu’est un bon collaborateur• Nouveau type de collaborateur (en cas de nouvelle stratégie, par exemple)
• …
Élaboration Décision 4 : Quelle clé utiliser pour donner un score ?• Option 2 :critères empiriques :
Faire référence à un groupe de collaborateurs :• ‘High performers’ (ex. meilleurs scores à l’évaluation)
• Longue expérience• Compétences adaptées• Valeurs en accord…Comparaison des réponses des candidats à celles du groupe
Élaboration
Décision 4 : Quelle clé utiliser pour donner un score ?• Option 3 : panel d’experts
Consultation d’experts pour qu’ils indiquent les bonnes façons de réagir :• Topmanagement• Responsables opérationnels• Panel de spécialistes externes• …Résultats définis en fonction de la moyenne des réponses (variante de la méthode empirique)Travailler en workshops pour déterminer les meilleures réponses
Élaboration
Décision 4 : Quelle clé utiliser pour donner un score ?
Choix pour ce projet :
Option 1: Approche théorique : Modèle de compétences du SELOR
Élaboration Étape 3 : évaluation par un consultant “naïf” :
L’équipe est toujours composée d’un consultant qui n’a pas participé à l’élaboration de la première version des items et aux réactions à ceux-ci.
Son rôle consiste à déterminer si les réactions proposées sont effectivement de bons indicateurs
Étape 4 : le SELOR a porté un avis critique :• Les situations sont assimilables• Les réactions sont réalistes dans le contexte de
l’administration fédérale• Les réactions proposées sont de bons indicateurs
Élaboration Analyse des données recueillies :
• Examen de la répartition des réponses• Calcul des moyennes et des écarts-types• Calcul des coëfficents Alpha (fiabilité) :
• Par indicateur• Par compétence• Par test
Élaboration Les scores ont été normés selon l’échelle propre au SELOR :
Moyenne 10 et écart-type 4
Un feed-back est prévu par indicateur comportemental Celui dont le score est insuffisant reçoit une
recommandation par indicateur
Points forts d’un TJSPoints forts d’un TJS (selon la littérature) :
• Grandes différences de qualité entre différents TJS
• Mais : • Les résultats sont globalement positifs• La validité prédictive de la performance est bonne (.3
- .4)• Les TJS ont un bonne cohérence en comparaison
des techniques de screening classiques
Points forts des TJSDe manière générale :
• La rigueur méthodologique du développeur est cruciale
• L’utilisation des TJS pour l’évaluation des comportements éthiques demande d’être étudiée de façon plus approfondie
• Les résultats sont meilleurs en cas de score normatif
Points forts des TJSDe manière générale :• Les instructions influent sur :
• La désirabilité sociale (Le phénomène est plus marqué quand on demande au candidat ce qu’il ferait que quand on lui demande quelle est la meilleure réponse)
• La mesure dans laquelle on demande une réponse “rationnelle” (Dans quelle mesure trouvez-vous cette réaction adaptée ?) plutôt qu’”émotionnelle” (Que feriez-vous ?
Perception de la difficulté : items sous la forme de textes
38
Perception de la difficulté : items en multimédias
39
Avis sur la pertinence : items sous la forme de textes
40
41
Avis sur la pertinence : items en multimédias
BilanAvantages des TJS pour une organisation :
• Validité faciale• Validité prédictive• Validité incrémentielle• Validité de contenu (fait main)• Pas d’effet test retest comme pour d’autres tests• Positif, agréable, basé sur l’expérience• Utilisable dans une perspective de développement
Désavantages des TJS := Sur mesure => La qualité dépend de la rigueur
méthodologique du développeur
42
Items filmés :
Avantages :• Moins d’impact défavorable (langue)• ‘Sexy’ (employer branding)• Langages verbal et para verbal• Applicable à des candidats peu comme hautement diplômés
Inconvénient :• Coût
Bilan
Items sous la forme de textes
Avantages :• Coût• Contenu pertinent
Inconvénients :Les désavantages des tests classiques :
• Langue (impact défavorable)• Aucune information sur le langage non verbal
44
Bilan
BilanDéfis auxquels nous nous sommes adaptés :
Items généraux pour des groupes diversifiés« Expérience utilisateur » positives pour les groupes
peu scolarisés (tous les tests via un PC)Feed-back de haute qualitéBanc d’essai pour de nouvelles méthodesIT :
SécuritéCapacitéSuivi du développement des individusClassique ou Test Webcam SJT ?
Conseils aux bricoleurs et à la concurrence
Si à la suite de cette présentation, vous voulez développer vous-mêmes des TJS pour les vendre ou si vous voulez faire bénéficier nos concurrents de notre know-how, voici un petit mode d’emploi :
CONSEIL 1: étonnez votre client• Dites-lui que les TJS peuvent mesurer tout ce qu’il veut.
Il sera très heureux d’entendre cela.• Ne lui dites surtout rien sur la façon dont les scores sont
traités. C’est bien trop technique pour lui.
Conseils aux bricoleurs et à la concurrence
CONSEIL 2 : inventez votre propre procédure de création de TJS.
• Laissez-vous aller à votre inspiration du moment (la créativité et l’innovation sont importantes en temps de crise)
• Treavaillez de façon efficiente : sautez le maximum d’étapes de la procédure de développement. Time is money.
Conseils aux bricoleurs et à la concurrence
CONSEIL 3 : rédiger vos items en vous inspirant des courants poétiques actuels
• Évitez de vous encombrer avec la grammaire classique• Faites appel au pouvoir de la suggestion.• Ne permettez pas que votre travail soit critiqué. Il est
l’expression de vos émotions les plus intimes.
Conseils aux bricoleurs et à la concurrence
CONSEIL 4 : tentez de vendre un plus vite un TJS de type multimédias.
• C’est l’occasion rêvée de permettre à une de vos connaissances de démontrer ses talents d’acteur.
Avis et discussion
AvisJe reste un peu perplexe sur l’effet de désirabilité sociale
pour les TJS.
AvisLes TJS sont plus adaptés pour évaluer les compétences
sociales que cognitives.
AvisJe trouve dommage que les réactions possibles soient
proposées. Je pense qu’il serait préférable que les candidats puissent noter eux-mêmes leurs réactions (ou en cas de présentation par film, les enregistrer via webcam).
AvisDans l’ensemble, je trouve que les TJS sont un type
intéressant de tests.
AvisJe pense que je vais créer une société qui élabore des
TJS. Les informations que j’ai reçues sont vraiment très utiles !
Questions ?
