Léon NSHIMYUMUKIZA, MD, M.SC ( Cand .) ( [email protected] )

Léon NSHIMYUMUKIZA, MD, M.SC (Cand.) ([email protected])Marie GERVAIS, Ph.D ([email protected])

Université Laval, Québec (Qc), Canada

21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt1

Comment les facteurs contextuels relevés par l’analyse d’implantation peuvent-ils aider

l’évaluation d’impact subséquente?Exemple de la stratégie de prise en charge intégré des maladies

de l’enfance (PCIME)

Objectif de la communication

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt2

Partager, à partir de mon expérience récente d’évaluation, les leçons apprises sur l’importance que constitue la connaissance des facteurs contextuels liés à l’implantation pour l’évaluation d’impact subséquente.

Facteurs contextuels: questionnements

21/04/23

Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt3

Pourquoi s’y intéresser? Comment peuvent-ils être relevés lors de

l’analyse de l’implantation? Quelle contribution pour l’évaluation

ultérieure d’impact?

Pourquoi s’y intéresser?

21/04/23Perspectives on Impact Evaluation: Approaches to Assessing Development Effectiveness, Cairo, Egypt

4

Les interventions, surtout en santé, sont dépendantes du contexte de mise en œuvre

Une même intervention peut réussir dans un milieu et échouer dans un autre (contexte favorable vs défavorable)

La compréhension des facteurs contextuels permet : d’assurer la validité de l’évaluation :

confondants: création de la confusion entre le programme et son effet potentiel;

modifiants: modification de l’effet de l’intervention et affectation de la généralisation des résultats.

de prédire l’impact que pourrait avoir l’intervention Impact positif si synergiques avec l’intervention Impact négatif si antagonistes avec l’intervention

Comment les objectiver lors de l’analyse de l’implantation: mon expérience


Mise en contexte (1)


Projet de fin de maîtrise en santé communautaire, concentration en évaluation, Université Laval:

« Évaluation d’Implantation de la stratégie clinique de Prise en Charge Intégrée des Maladies de l’Enfance (PCIME) dans le district de Kirehe dans la province de l’Est du Rwanda »

Direction: Marie GERVAIS, Ph.D

Financement: - ACDI/PCBF (Boursier)

- BASICS/Rwanda, ONG terrain



7

PCIME (IMCI): Stratégie de prise en charge globale de la santé des enfants de 0 à 5 ans dans les pays à ressources limitées élaborée par l’OMS et l’UNICEF dans les années 1990 avec trois principales composantes:

Amélioration des compétences des agents de santé à la prise en charge des principales causes de mortalité dans ce groupe d’âge en intégrant les soins curatifs, préventifs et promotionnels pertinents: dans les formations sanitaires (de 1er niveau)

Renforcement du système de santé : système de

support à la prise en charge (médicaments, vaccins, équipements, système de supervision, information sanitaire, etc.) ;

Amélioration des pratiques familiales clés en matière de santé des enfants.

Mise en contexte (3): Modèle logique de la PCIME


8

Amélioration du

système de santé

Amélioration de la

capacité des agents de

santé

Interventions familiales

et communautaires

- Disponibilisation :

Médicaments

Vaccins

Équipements

- Supervision

- Formation des agents

de santé en PCIME;

- Visite de suivi

Amélioration de la qualité des soins des

enfants de moins de 5 ans dans les

établissements de santé de premier niveau

Amélioration de

l’observance soins/

ménages

Amélioration consultation/

Utilisation des services Amélioration des

mesures préventives

Expansion de la couverture des mesures curatives et

préventives

Amélioration de l’état nutritionnel

Amélioration de l’état de santé

Réduction de la mortalité

PCIME



9

PCIME au Rwanda

Introduction en 1999: visite des experts de l’OMS

Début de mise en œuvre effective en 2006 dans 6

districts pilotes (Gisagara, Kirehe, Ngororero, Nyanza,

Ruhango, Rwamagana);

Extension en 2007 (21 districts sur 30 en juillet

2008)

Aucune évaluation : pertinence de notre projet

d’évaluation

Choix: district de Kirehe (pilote, rural, taux de mortalité infantile

élevé)


10

Démarche d’évaluation (1)


11

Objectif général: évaluer l’implantation de la stratégie PCIME dans le district de Kirehe décrire et analyser sa dimension opérationnelle.

Objectifs spécifiques: Évaluer la mise en œuvre effective des

composantes de la PCIME (prise en charge des cas, disponibilité du système de support à cette prise en charge des cas);

Souligner les points forts et les points faibles de la réalisation de la PCIME;

Contribuer à la prise de décision concernant le renforcement de la PCIME dans les districts où elle est mise en œuvre et son extension à d’autres districts.

Démarche d’évaluation (2)


12

Question principale: Dans quelle mesure l’implantation de la stratégie

PCIME a-t-elle contribué à l’amélioration de la qualité des soins des enfants de moins de cinq ans dans le district de Kirehe?

Sous questions: Quel est le degré de mise en ouvre des

composantes de la PCIME dans le district de Kirehe?

Quel est le processus de mise en œuvre des composantes de la PCIME dans le district de Kirehe?

Quels sont les éléments contextuels qui favorisent ou enfreignent-ils l’implantation adéquate de la PCIME dans le district de Kirehe?

Démarche (3)


13

Cadre de référence: analyse d’implantation selon Denis et Champagne (1990):

L’analyse des déterminants contextuels sur le degré de mise

en œuvre de l’intervention (analyse d’implantation type I) ;

Analyse de l’influence du degré d’implantation de l’intervention

sur les effets observés (analyse d’implantation type II) ;

Analyse de l’interaction entre le programme et le contexte

d’implantation sur les effets observés (analyse d’implantation

type III) Synergie? Antagonisme?

PCIME (intervention) Qualité des soins (effet à court terme)

Contexte (conditions d’implantation)

Démarche (4)


14

Méthodes: mixtes Quantitative: mesure du degré de mise en œuvre (prise en

charge des cas et système de support)Qualitative: informations complémentaires sur le degré de

mise en œuvre et recueil des éléments contextuels (facilitant ou contraignant) la mise en œuvre.

Méthode quantitative: Devis quasi-expérimental: comparaison avec le district

de Bugesera (non-PCIME).questionnaire standardisé de l’OMS , testé , validé et

adapté au contexte rwandaisPlusieurs techniques: observation de la consultation,

vérification par un gold, entrevue structurée avec les accompagnants d’enfants, observation des médicaments, vaccins, équipements, etc.

Démarche (5)


15

Méthode qualitative:

Entrevues semi-structurées

Participants :

11 responsables des centres de santé(CS) évalués

Représentant du Ministère de la santé: chargé de la

PCIME

Outil de collecte des données: grille d’entrevue

spécifique à chaque catégorie des participants.

Résultats (1)


16

Facteurs facilitants:

Responsables formés (gestionnaires des CS):

personnes influentes du terrain.

Disponibilité des médicaments et équipements

essentiels;

Existence d’autres programmes améliorant la santé

en général : décentralisation (autonomie des

CS), Mutuelles de santé, animateurs de santé;

Visite de suivi et supervision

Résultats (2)


17

BarrièresInsuffisance et mobilité du personnel formé; Manque de motivation du personnel: PCIME non

encore intégrée dans le PBF(Performance based financing)

Supervisions rares et irrégulières Non-harmonisation de certaines directives: prise en

charge du paludisme/PNLP, classifications PCIME non intégrées dans le SIS (système d’information sanitaire)

Gestion non décentralisée de la PCIME entrainant: implication insuffisante du district

Insuffisance des moyens de transports des cas graves référés à l’hôpital: ambulances insuffisantes.

Influence des facteurs contextuels sur l’impact de la PCIME


18

Illustration à l’aide du modèle logique de la PCIME

21/04/2319

Amélioration du

système de santé

Amélioration de la

capacité des agents de

santé

Amélioration des

pratiques familiales

et communautaires

familiales

et communautaires

- Rendre disponible :

Médicaments

Équipements

Vaccins

- Supervision

- Formation des agents

de santé en PCIME;

- Visite de suivi

Amélioration de la qualité des soins des

enfants de moins de 5 ans

Amélioration de

l’observance soins

dans les ménages

Amélioration consultation/

Utilisation des services Amélioration des

mesures préventives

Amélioration de l’état nutritionnel

Amélioration de l’état de santé

Réduction de la mortalité

- Formation et suivi des

Animateurs de santé

PCIME - Nombre de personnel formé et leur Motivation; - Supervision et suivi; - Moyens de références des cas graves; - Directives de prise en charge claires; - Disponibilité des médicaments et Équipements;

- Financement direct

de la PCIME

Facteurs directement liés à

la PCIME

Fa

cte

urs

ind

irec

tem

en

t liés

à la

PC

IME

Décentralisation

Mutuelles de santé

Programmes

des animateurs de santé

PEV

Connaissance des facteurs contextuels: avantages


Action sur les barrières: réduire ou éliminer leurs antagonismes avec la mise en œuvre du programme Impact positif

Prise en compte lors de l’analyse de l’impact: validité de l’évaluation

Prédiction de l’impact: en fonction le degré de synergie ou d’antagonisme qu’ils exercent sur la mise en œuvre.

Conclusions


Il est intéressant de mesurer les effets et l’impact des interventions mais il est plus intéressant encore de spécifier les conditions de leur production si l’on veut assurer la validité de la mesure. L’analyse du contexte est alors incontournable dans la mesure où la majorité des interventions sont contexte-dépendantes.

L’analyse d’implantation apparaît ainsi comme un moment idéal de relever les facteurs contextuels auxquels fait face la mise en œuvre l’intervention.

Merci de votre écoute!!

Questions? Commentaires?


Documents

Léon NSHIMYUMUKIZA, MD, M.SC ( Cand .) ( [email protected] )