DIME – FRAGILE STATESDUBAI, MAY 31 – JUNE 4
Introduction à l’intégration des méthodes qualitatives et de l’évaluation de l’impact
Ryan SheelyKennedy School of GovernmentUniversité de HarvardAtelier DIME, Dubaï1er juin 2010
Présentation générale Conception de la recherche et
Evaluation de programmes Quelles sont les méthodes
qualitatives ? Pourquoi inclure les méthodes
qualitatives dans l’évaluation de l’impact ?
Exemples d’articulations possibles des méthodes qualitatives avec l’évaluation de l’impact
Obstacles à l’utilisation efficace des méthodes qualitatives dans l’évaluation de l’impact
Conception de la recherche et Evaluation de programmes :Objectifs et Obstacles
Produire des données pour que les projets s’améliorent en temps réel
Aider à repérer plus soigneusement les conditions permettant à des interventions données de “fonctionner”
Poser les questions pertinentes et majeures sur les programmes, puis combiner les méthodes au mieux en réponse aux questions Ne vous posez pas la question, “A quelles questions cette
donnée me permet-elle de répondre?” Ne dites pas, “Je ne dispose pas d’un modèle aléatoire et ne
peux ainsi rien dire de défendable” Chacune des méthodes n’est pas en soi “rigoureuse” ;
elle le devient dans la mesure où elle est adaptée aux problèmes auxquelles elle fait face, aux contraintes qu’elle surmonte
Conception de la recherche et formes de validité
Validité des concepts Avec quel degré de pertinence mon instrument
évalue les concepts sous-jacents (“pauvreté”, “participation”, “conflit”, “autonomisation”)?
Validité interne Dans quelle mesure ai-je su traiter les divers
facteurs de distorsions (surtout les effets de sélection) influençant la relation entre l’EI et l’ED ?▪ c.-à-d., quelle est ma stratégie d’identification ?
Validité externe Dans quelle mesure puis-je extrapoler mes
conclusions ? Si mon projet fonctionne “ici”, fonctionnera-t-il également “là”? Fonctionnera-t-il mieux à plus grande échelle ?
Quelles sont les méthodes qualitatives ?Un cadre d’outils de recherche
scientifique sociale offrant des moyens d’action pour : Décrire et classer les contextes sociaux Interpréter la signification du
comportement social, des agissements et des réalisations
Localiser les processus et mécanismes spécifiques permettant aux programmes de produire des effets
Diversité des méthodes qualitatives Recherche participative et fondée sur l’action
Observation sociale systématique Rôles de théâtre, Jeux, Jeux de rôle Cartes, Modèles et Diagrammes Classement et attribution de notes
Entretien et Discussion Entretiens approfondis, semi-structurés Réunions de groupes homogènes ou hétérogènes Histoires des individus et communautés tirées des
entretiens Analyse du contenu des documents et archives
Archives et dossiers administratifs Journaux et rapports de la société civile Correspondance privée
Pourquoi inclure des méthodes qualitatives dans l’évaluation de l’impact ?
Présenter systématiquement le contexte (ni l’éluder ni le mentionner ponctuellement)
Les hypothèses, programmes, et évaluations peuvent s’appuyer sur la réalité individuelle ou collective des populations pauvres
Vérifier par recoupement et interpréter les conclusions
Comprendre les mécanismes causaux reliant les programmes, le contexte et les résultats
Comprendre la nature et les sources de toute erreur de mesure
Exemple 1 : Intégrer le contexte local dans la conception des programmes
L’étude : Evaluation d’un programme de gestion des déchets dans la région nord et centre du Kenya (Sheely 2010)
Outils qualitatifs spécifiques utilisés : observation de long terme, histoires livrées lors des entretiens, recherche documentaire
Outils quantitatifs spécifiques utilisés : affectation aléatoire des villages à différents ensembles d’institutions chargées de faire appliquer la loi
Implication pour les évaluations de l’impact : une analyse attentive du contexte local peut élargir les possibilités de randomisation et d’idées en matière de conception de programmes
Exemple 2 : utiliser les connaissances locales pour évaluer la validité des mesures L’étude : évaluation de l’effet du cadre culturel
sur le comportement lors des jeux de confiance au sein des populations masai (Cronk 2007)
Outils qualitatifs spécifiques utilisés : entretiens approfondis
Outils quantitatifs spécifiques utilisés : Jeux de comportement économique sur le terrain
Implication pour les évaluations de l’impact : Procéder à une mesure exacte des résultats comme la cohésion sociale peut exiger un examen attentif des pratiques propres aux cultures locales
Méthodes qualitatives :Problèmes potentiels de méthodologiePossibilité de contamination et de
débordementÉchantillons non représentatifs –
Choix des personnes enquêtées qui peut favoriser les élites locales
Point de vue personnel du chercheur /facilitateur
Absence de normes de comparaison des résultats qualitatifs et quantitatifs
Méthodes qualitatives :Problèmes pratiques potentiels Durée et Coût de la Recherche qualitative
Comprendre et exposer le contexte exige du temps et une confiance mutuelle entre les chercheurs et les populations
Accroître les effectifs et la formation en raison d’un éventail plus diversifié de compétences
Problèmes de coordination et de gestion posés par de grandes équipes
L’attention accordée au contexte dans la conception des programmes ne règle pas automatiquement les questions d’efficacité potentielle liées au passage à une échelle plus grande
REFERENCES ET SUGGESTIONS D’AUTRES LECTURES
Bamberger, Michael, Vijayendra Rao et Michael Woolcock (2010) “Using Mixed Methods in Monitoring and Evaluation: Experiences from International Development”, in Abbas Tashakkori et Charles Teddlie (dir. pub.) Handbook of Mixed Methods (2e édition révisée) Thousand Oaks, CA, Sage Publications
Barron, Patrick, Rachael Diprose et Michael Woolcock (2010) Contesting Development: Participatory Projects and Local Conflict Dynamics in Indonesia New Haven, Yale University Press (in press)
Chambers, Robert. 1997. Whose Reality Counts: Putting the First Last, ITDG Publishing.
Cronk, Lee. 2007. “The influence of cultural framing on play in the trust game: a Maasai example” Evolution and Human Behavior.
Kanbur, Ravi, ed . 2001. Q-Squared? Qualitative and Quantitative Methods of Poverty Appraisal
Malan, N. 2000. “On the Relationship between participatory research and participatory development.” Africanus 2, pp. 64-75.
Ravallion, Martin. 2001. “How Can Qualitative Methods Help in Measuring Poverty,” Qual-Quant: Qualitative and Quantitative Poverty Appraisal- Complementarities, Tensions and the Way Forward, Permanent Black Publishers, 2002.
Rodrik, Dani. 2008. “The New Development Economics: We Shall Experiment, but How Shall we Learn?” Document préparé en vue de la Brookings Development Conference, 29-30 mai 2008.
Sheely, Ryan. 2010. “Community Governance, Collective Action, and the Maintenance of Local Public Goods: Qualitative and Experimental Evidence from Rural Kenya.” Better Governance for Better Health Conference, Stanford University. 26-27 avril, 2010.
Van der Riet, Mary. 2008. “Participatory Research ant he Philosophy of Social Science.” Qualitative Inquiry 14 (4), pp. 546-565.
White, Howard. 2002. “Combining Quantitative and Qualitative Approaches in Poverty Analysis,” World Development.
Woolcock, Michael (2009) ‘Toward a Plurality of Methods in Project Evaluation: A Contextualized Approach to Understanding Impact Trajectories and Efficacy’ Journal of Development Effectiveness 1(1), pp. 1-14