Léon NSHIMYUMUKIZA, MD, M.SC (Cand.) ([email protected])Marie GERVAIS, Ph.D ([email protected])
Université Laval, Québec (Qc), Canada
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt1
Comment les facteurs contextuels relevés par l’analyse d’implantation peuvent-ils aider
l’évaluation d’impact subséquente?Exemple de la stratégie de prise en charge intégré des maladies
de l’enfance (PCIME)
Objectif de la communication
21/04/23
Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt2
Partager, à partir de mon expérience récente d’évaluation, les leçons apprises sur l’importance que constitue la connaissance des facteurs contextuels liés à l’implantation pour l’évaluation d’impact subséquente.
Facteurs contextuels: questionnements
21/04/23
Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt3
Pourquoi s’y intéresser? Comment peuvent-ils être relevés lors de
l’analyse de l’implantation? Quelle contribution pour l’évaluation
ultérieure d’impact?
Pourquoi s’y intéresser?
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
4
Les interventions, surtout en santé, sont dépendantes du contexte de mise en œuvre
Une même intervention peut réussir dans un milieu et échouer dans un autre (contexte favorable vs défavorable)
La compréhension des facteurs contextuels permet : d’assurer la validité de l’évaluation :
confondants: création de la confusion entre le programme et son effet potentiel;
modifiants: modification de l’effet de l’intervention et affectation de la généralisation des résultats.
de prédire l’impact que pourrait avoir l’intervention Impact positif si synergiques avec l’intervention Impact négatif si antagonistes avec l’intervention
Comment les objectiver lors de l’analyse de l’implantation: mon expérience
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt5
Mise en contexte (1)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt6
Projet de fin de maîtrise en santé communautaire, concentration en évaluation, Université Laval:
« Évaluation d’Implantation de la stratégie clinique de Prise en Charge Intégrée des Maladies de l’Enfance (PCIME) dans le district de Kirehe dans la province de l’Est du Rwanda »
Direction: Marie GERVAIS, Ph.D
Financement: - ACDI/PCBF (Boursier)
- BASICS/Rwanda, ONG terrain
Mise en contexte (2)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
7
PCIME (IMCI): Stratégie de prise en charge globale de la santé des enfants de 0 à 5 ans dans les pays à ressources limitées élaborée par l’OMS et l’UNICEF dans les années 1990 avec trois principales composantes:
Amélioration des compétences des agents de santé à la prise en charge des principales causes de mortalité dans ce groupe d’âge en intégrant les soins curatifs, préventifs et promotionnels pertinents: dans les formations sanitaires (de 1er niveau)
Renforcement du système de santé : système de
support à la prise en charge (médicaments, vaccins, équipements, système de supervision, information sanitaire, etc.) ;
Amélioration des pratiques familiales clés en matière de santé des enfants.
Mise en contexte (3): Modèle logique de la PCIME
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
8
Amélioration du
système de santé
Amélioration de la
capacité des agents de
santé
Interventions familiales
et communautaires
- Disponibilisation :
Médicaments
Vaccins
Équipements
- Supervision
- Formation des agents
de santé en PCIME;
- Visite de suivi
Amélioration de la qualité des soins des
enfants de moins de 5 ans dans les
établissements de santé de premier niveau
Amélioration de
l’observance soins/
ménages
Amélioration consultation/
Utilisation des services Amélioration des
mesures préventives
Expansion de la couverture des mesures curatives et
préventives
Amélioration de l’état nutritionnel
Amélioration de l’état de santé
Réduction de la mortalité
PCIME
Mise en contexte (4)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
9
PCIME au Rwanda
Introduction en 1999: visite des experts de l’OMS
Début de mise en œuvre effective en 2006 dans 6
districts pilotes (Gisagara, Kirehe, Ngororero, Nyanza,
Ruhango, Rwamagana);
Extension en 2007 (21 districts sur 30 en juillet
2008)
Aucune évaluation : pertinence de notre projet
d’évaluation
Choix: district de Kirehe (pilote, rural, taux de mortalité infantile
élevé)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
10
Démarche d’évaluation (1)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
11
Objectif général: évaluer l’implantation de la stratégie PCIME dans le district de Kirehe décrire et analyser sa dimension opérationnelle.
Objectifs spécifiques: Évaluer la mise en œuvre effective des
composantes de la PCIME (prise en charge des cas, disponibilité du système de support à cette prise en charge des cas);
Souligner les points forts et les points faibles de la réalisation de la PCIME;
Contribuer à la prise de décision concernant le renforcement de la PCIME dans les districts où elle est mise en œuvre et son extension à d’autres districts.
Démarche d’évaluation (2)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
12
Question principale: Dans quelle mesure l’implantation de la stratégie
PCIME a-t-elle contribué à l’amélioration de la qualité des soins des enfants de moins de cinq ans dans le district de Kirehe?
Sous questions: Quel est le degré de mise en ouvre des
composantes de la PCIME dans le district de Kirehe?
Quel est le processus de mise en œuvre des composantes de la PCIME dans le district de Kirehe?
Quels sont les éléments contextuels qui favorisent ou enfreignent-ils l’implantation adéquate de la PCIME dans le district de Kirehe?
Démarche (3)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
13
Cadre de référence: analyse d’implantation selon Denis et Champagne (1990):
L’analyse des déterminants contextuels sur le degré de mise
en œuvre de l’intervention (analyse d’implantation type I) ;
Analyse de l’influence du degré d’implantation de l’intervention
sur les effets observés (analyse d’implantation type II) ;
Analyse de l’interaction entre le programme et le contexte
d’implantation sur les effets observés (analyse d’implantation
type III) Synergie? Antagonisme?
PCIME (intervention) Qualité des soins (effet à court terme)
Contexte (conditions d’implantation)
Démarche (4)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
14
Méthodes: mixtes Quantitative: mesure du degré de mise en œuvre (prise en
charge des cas et système de support)Qualitative: informations complémentaires sur le degré de
mise en œuvre et recueil des éléments contextuels (facilitant ou contraignant) la mise en œuvre.
Méthode quantitative: Devis quasi-expérimental: comparaison avec le district
de Bugesera (non-PCIME).questionnaire standardisé de l’OMS , testé , validé et
adapté au contexte rwandaisPlusieurs techniques: observation de la consultation,
vérification par un gold, entrevue structurée avec les accompagnants d’enfants, observation des médicaments, vaccins, équipements, etc.
Démarche (5)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
15
Méthode qualitative:
Entrevues semi-structurées
Participants :
11 responsables des centres de santé(CS) évalués
Représentant du Ministère de la santé: chargé de la
PCIME
Outil de collecte des données: grille d’entrevue
spécifique à chaque catégorie des participants.
Résultats (1)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
16
Facteurs facilitants:
Responsables formés (gestionnaires des CS):
personnes influentes du terrain.
Disponibilité des médicaments et équipements
essentiels;
Existence d’autres programmes améliorant la santé
en général : décentralisation (autonomie des
CS), Mutuelles de santé, animateurs de santé;
Visite de suivi et supervision
Résultats (2)
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
17
BarrièresInsuffisance et mobilité du personnel formé; Manque de motivation du personnel: PCIME non
encore intégrée dans le PBF(Performance based financing)
Supervisions rares et irrégulières Non-harmonisation de certaines directives: prise en
charge du paludisme/PNLP, classifications PCIME non intégrées dans le SIS (système d’information sanitaire)
Gestion non décentralisée de la PCIME entrainant: implication insuffisante du district
Insuffisance des moyens de transports des cas graves référés à l’hôpital: ambulances insuffisantes.
Influence des facteurs contextuels sur l’impact de la PCIME
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt
18
Illustration à l’aide du modèle logique de la PCIME
21/04/2319
Amélioration du
système de santé
Amélioration de la
capacité des agents de
santé
Amélioration des
pratiques familiales
et communautaires
familiales
et communautaires
- Rendre disponible :
Médicaments
Équipements
Vaccins
- Supervision
- Formation des agents
de santé en PCIME;
- Visite de suivi
Amélioration de la qualité des soins des
enfants de moins de 5 ans
Amélioration de
l’observance soins
dans les ménages
Amélioration consultation/
Utilisation des services Amélioration des
mesures préventives
Amélioration de l’état nutritionnel
Amélioration de l’état de santé
Réduction de la mortalité
- Formation et suivi des
Animateurs de santé
PCIME - Nombre de personnel formé et leur Motivation; - Supervision et suivi; - Moyens de références des cas graves; - Directives de prise en charge claires; - Disponibilité des médicaments et Équipements;
- Financement direct
de la PCIME
Facteurs directement liés à
la PCIME
Fa
cte
urs
ind
irec
tem
en
t liés
à la
PC
IME
Décentralisation
Mutuelles de santé
Programmes
des animateurs de santé
PEV
Connaissance des facteurs contextuels: avantages
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt20
Action sur les barrières: réduire ou éliminer leurs antagonismes avec la mise en œuvre du programme Impact positif
Prise en compte lors de l’analyse de l’impact: validité de l’évaluation
Prédiction de l’impact: en fonction le degré de synergie ou d’antagonisme qu’ils exercent sur la mise en œuvre.
Conclusions
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt21
Il est intéressant de mesurer les effets et l’impact des interventions mais il est plus intéressant encore de spécifier les conditions de leur production si l’on veut assurer la validité de la mesure. L’analyse du contexte est alors incontournable dans la mesure où la majorité des interventions sont contexte-dépendantes.
L’analyse d’implantation apparaît ainsi comme un moment idéal de relever les facteurs contextuels auxquels fait face la mise en œuvre l’intervention.
Merci de votre écoute!!
Questions? Commentaires?
21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt22