View
60
Download
0
Category
Tags:
Preview:
Citation preview
LA SCIENCE DE
LA PRESTATION:
Apprendre de la mise en œuvre
Résultats des évaluations
d’impact et leçons du FBR
Dinesh Nair, Benjamin Loevinsohn et Ifelayo Ojo
Le pourquoi et le comment
des 10 Plus Grandes Leçons
• L’examen des opérations de FBR en cours a
suggéré des défis récurrents et des leçons utiles
• Se focaliser sur les leçons les plus importantes
facilitera l’apprentissage des autres équipes
• La sélection des 10 plus grandes leçons a été
faite par les TTLs et les experts du FBR
impliqués dans un portefeuille de 8
programmes de FBR en cours
2
Leçon #1
“Montre-moi l’argent!”
- Procédez au paiement à temps
• Plus de 70% des projets ont eu des difficultés
pour procéder aux paiements à temps
3
Les visites en consultation externe au
Nigeria ont diminué quand les paiements
ont été interrompus
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Dec
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sep
Oct
Nov
Dec
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sep
Adamawa
Nasarawa
Ondo
Paiements
interrompus
4
Leçon 1: “Montre-moi l’argent!”
Procédez au paiement à temps
Recommandations
Suivre le temps nécessaire pour que le paiement
parvienne aux formations
Etablir des normes explicites pour le délai
maximum autorisé (2 ou 3 mois)
Fournir des ressources d’avance aux formations
sanitaires: (i) gagne leur confiance; (ii) indique que
le FBP a commencé; (iii) fournit des fonds
d’investissement
5
Leçon #2
“Continuez à faire bouger le pilier de but!”
L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de
Qualité
• Beaucoup de formations font rapidement des améliorations dans la qualité et ensuite plafonnent
6
0
20
40
60
80
100
Mwaro
Muramvya
Kirundo
Cibitoke
Buja-Rural
Kayanza
Ngozi
Makamba
Rutana
Bubanza
Bururi
Gitega
Karuzi
Muyinga
Ruyigi
Cankuzo
Buja-Mairie
Scores de qualité par province
Le score de qualité moyen a plafonné après
trois trimestres au Burundi
7
Leçon 2: “Continuez à faire bouger le pilier de but!”
L’Amélioration Continue de la Qualité (ACQ)
implique de Changer les Indicateurs de Qualité
Recommandations
Les checklists de qualité quantifiées devraient mettre l’accent sur les indicateurs de processus plutôt que de structure
Revisez la checklist tous les 1-2 ans pour mettre l’accent sur l’amélioration continue
Incluez: 1) observation de l’interaction prestataire-patient; 2) examen des entrées de données (besoin d’entrées de données standards); 3) vignettes; 4) entretiens de sortie, etc.
Investissez dans la formation des superviseurs
8
Leçon #3
“Pour être clairvoyant, nous continuons en apprenant”
• Le FBR en tant qu’outil permet
l’expérimentation, l’apprentissage et la correction en cours de route
9
Qu’a fait le Zimbabwe?
Analyse quantitative
Analyse qualitative
Concevoir le FBR du côté de la demande et de
l’offre (pilote urbain)
Bon maternel urbain ciblé (côté demande)
FBR de paiement à la qualité
A revu la tarification
A amélioré les checklists de qualité
10
Les études de recherche opérationnelle devraient
être budgétisées
Menez des évaluations de processus et utilisez les
résultats pour le dialogue et la prise de décision
sur l’implémentation.
Participez aux examens du portefeuille de FBR–
cherchez de nouvelles idées
Leçon 3: “Pour être clairvoyant,
continuez en apprenant”
11
Leçon #4
“L’Argent n’est pas la source de tout le mal, Le Manque d’Argent
l’est” – Préoccupez-vous de la
durabilité financière
• Le FBP ne devrait pas être conçu pour se
substituer aux déficiences du financement national de la santé
12
La durabilité du FBP nécessite des
réformes du système de santé plus larges
Le FBP du Burundi est combiné avec les soins de santé gratuits
Le gouvernement paie presque
la moitié – 1,4% du budget
alloué
Pool commun pour les
partenaires de développement
– deux contributions réduites
Déficit cumulatif de près de US$ 8M
Les réformes de la
santé du FBP au
Rwanda faisaient
partie de réformes
plus larges réforme de l’assurance
santé communautaire
réforme des ressources
humaines
13
Où va l’argent du FBP?
14
PAIEMENTS DU FBP AU BURUNDI AU TRIMESTRE 3, 2013 million de francs
Nouvelle
consultation
en externe
32%
Accouchements en
institution 23%
Autres
services du
FBR 32%
Consultation postnatale
6%
Utilisateurs de méthodes
de PF modernes 6%
Enfants complètement
immunisés - 1%
35%
37%
39%
40%
45%
11%
10%
10%
9%
5%
16%
16%
12%
13%
10%
29%
31%
31%
33%
37%
8%
7%
7%
5%
3%
Q2 2012
Q3 2012
Q4 2012
Q1 2013
Q2 2013
Intervention HFs Intervention DMO Hospital
Control 1 HFs Control 1 DMO
Hôpital
Zambie: Consommation agrégée des fonds de FBP de Q2, 2012 – Q2, 2013
Où va l’argent du FBP?
15
FS intervention
FS contrôle 1
OMD intervention
OMD contrôle 1
Recommandations
Suivez les dépenses générales du FBP et comprenez
où vont la plupart des fonds du FBP
Il est plus facile d’augmenter les tarifs que de les
réduire. Ceci suggère de commencer avec des tarifs
relativement plus bas et de les augmenter
Maintenez que le(s) gouvernement(s) vi(ven)t dans les
limites d’une enveloppe budgétaire.
Faites attention à l’augmentation des dépenses non
liée à une meilleure performance.
Leçon 4: “L’Argent n’est pas la source de tout
le mal, Le Manque d’Argent l’est”
– Préoccupez-vous de la durabilité financière
16
Leçon #5
“Les Mathophobes du monde tous unis!”
– Utilisez vos données
• Les données sont vitales mais sous-exploitées,
malgré beaucoup d’efforts dévoués à la collecte, la vérification et à la mise en ligne des données de paiement
17
Applications internet avec interface
publique montrant les informations sur la
performance et les finances
18
Burundi
Benin
Nigeria
Comment la Zambie utilise ses données
• Analyse trimestrielle
• Analyse complète par expert
o Analyse en différences-de-différences des tendances en
utilisant les données SIGS pour comparer entre les 3 bras
19
1ére visite anténatale avant 20 semaines
3eme dose TPI à femme
enceinte
Soins postnataux dans les 6
jours
Présence Planning Familial -
Total (Calc)
Accouchement par
personnel qualifié
Présence patient externe
total (calc)
Complétement
immunisé < 1 an
nouveau
FBR contre Financement additionnel
Coef 0.904 0.815 0.696 12.944 2.220 -9.316 -2.783
p-value 0.045 0.231 0.229 0.002 0.019 0.735 0.024
FBR contre Contrôle
Coef 1.174 1.954 1.586 7.850 2.243 -39.929 -2.761
p-value 0.005 0.002 0.011 0.055 0.031 0.158 0.011
Leçon 5: Les Mathophobes du monde
tous unis!” – Utilisez vos données
Recommandations
Créez des systèmes fiables pour la collecte et la compilation
des données
Assurez-vous d’un flux constant de données du FBP avec une
charge de reporting minimale pour les agents de santé
Faites de l’analyse des données le travail de quelqu’un
Déployez des logiciels pour faciliter l’analyse des données
Déléguez l’analyse à la foule! (crowd-sourcing)
Essayez de trianguler toutes les sources de données
disponibles afin de déterminer les tendances dans l’utilisation
et les résultats
20
Leçon #6
“Comprenez vos clients”
- Les problèmes du côté de la demande sont peut-être moins
compris
• Il faut comprendre les causes à la racine du
problème que le FBR essaie de résoudre.
21
Même avec de larges améliorations dans l’utilisation
depuis que le FBP a été introduit, les niveaux de
couverture absolue restent bas au Nigeria
Barrières à l’utilisation de service dans deux LGA nigérians:
Problèmes de transport
Tarifs variables et imprévisibles pour les services et les médicaments
Barrières sociales et culturelles
Solution proposée: Un programme de Bons pour améliorer la consommation de services
Cycle continu d’apprentissage et de réponse pour aider les ménages à surmonter les barrières d’utilisation et améliorer les résultats de santé.
22
Leçon 6: “Comprenez vos clients”
- Les problèmes du côté de la demande
sont peut-être moins compris
Recommandations
Considérez les problèmes de demande si la couverture reste
faible malgré le FBP (même si le FBP a fait une grosse
différence).
Comprenez les barrières à l’accès – barrières culturelles,
sociales et financières avec des enquêtes ménages; groupes
de discussions dirigés, entretiens avec informateur clé, etc.
Les options pour répondre aux problèmes de demande
incluent: (i) travail de plus près avec les structures
communautaires; (ii) Transferts monétaires conditionnels; (iii)
bons; (iv) Campagne de Changement des Comportements avec
le personnel de la formation ou les ONG
23
Leçon #7
“Ca suffit les tracés plats”
- Identifiez les formations et les régions à faible performance.
Faites quelque chose pour elles!
• Une compréhension détaillée des prédicteurs de succès et d’échec est nécessaire
24
Il y a clairement des formations qui ne
progressent pas – càd. celles aux “tracés plats”
Non-déterminants
• Nombre de personnel
• Eloignement
• Qualification du responsable
• Planification des activités
-
20
40
60
80
100
120
140 Déviants positifs
• Engagement communautaire
• Capacité de gestion du responsable
Accouchement institutionnel dans les formations
de l’Adamawa, normalisé par 100 000 pop.
25
Leçon 7: Ca suffit les “tracés plats”
Recommandations
Utilisez vos données pour identifier les formations
qui ne se sont pas améliorées ou qui n’ont pas une
bonne performance
Menez des études quantitatives et qualitatives (ex.:
Nigeria et Zimbabwe)
Considérez le type d’assistance technique
nécessaire aux formations à faible performance et
ré-examinez ce qui est actuellement disponible.
26
Leçon #8
“Tu peux courir, mais tu ne peux pas te cacher”
– Préoccupez-vous des menaces politiques envers le FBP
• Même les programmes de FBR à succès font face à
des pressions politiques qui menacent leur durabilité
27
Pilote de FBR en Zambie
Unité d’Implémentation du Programme (UIP) du
FBR pas généralisée au sein de la structure du
Ministère
Changements institutionnels au Ministère de la
Santé
Champions clé déplacés
28
Attention aux gagnants et aux perdants
Recommandations
L’expertise en économie politique devrait être
engagée pour étudier les facteurs importants dans
le passage à l’échelle et la durabilité du FBR, afin
de trouver ce qui peut être fait différemment.
Institutionnaliser les rôles tels que l’achat et la
mise en œuvre du projet au sein des structures
gouvernementales pourrait aider à améliorer
l’adhésion
29
Leçon 8: Préoccupez-vous des menaces
politiques envers le FBP
Leçon #9
“Même les plans les mieux prévus peuvent aller de travers”
– Analysez le design de votre projet pour vous assurez que les
hypothèses demeurent valides
• Comprenez les déterminants clé du programme de FBP et leurs liens pour produire des résultats
30
Bénin
La bureaucratie complique les dépenses des incitations du FBP par les formations
Peut réduire la motivation des agents de santé d’être performant
Tickets modérateurs plus faciles à dépenser
Des frais élevés peuvent réduire l’utilisation des soins
31
Des défis liés à l’autonomie des formations
sanitaires au Bénin et un FBP emboîté en
Afghanistan ont rendu la mise en œuvre différente
Afghanistan
Environnement unique
d’accord sur la
performance avec ONG
Préoccupations sur la
sécurité constantes
FBP superposé sur PPA
Recommandations
Examinez périodiquement la progression des éléments dans votre théorie du changement, pas seulement ce que vous essayez d’accomplir, mais comment vous y arrivez
Des analyses utiles pour tout projet incluent:
Quel est le pourcentage additionnel du FBP à la paie des agents de santé? Sont-ils motivés par ce montant?
Equilibre entre supervision et autonomie au niveau de la formation sanitaire
Ressources disponibles en première ligne pour les formations sanitaires
32
Leçon 9: “Même les plans les mieux prévus
peuvent aller de travers” – Analysez le design de
votre projet pour vous assurez que les
hypothèses demeurent valides
Leçon #10
“Gardez vos études d’impact droit au but”
- Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles
• Il est très difficile d’évaluer les impacts différentiels quand il n’existe qu’une variation minimale entre groupes expérimentaux
33
0
600
1200
1800
2400
1* 2 3 4 1 2
2012 2013
Enfants immunisés
ControlTreatment
Les groupes de l’intervention de FBR et
de financement additionnel se
ressemblent au Bénin
Aucune claire
différence n’émerge
Un autre groupe de
contrôle avec aucun
financement
additionnel a été inclus
comme contrefactuel
34
0
2000
4000
6000
8000
1* 2 3 4 1 2
2012 2013
Accouchement assisté
Control
Treatment
Groupes expérimental & de contrôle au
Nigéria – essayez dur d’être explicite sur
les différences !!!!
35
Eléments clé FBP DFF
Financement 2$ max par tête pour
performance
1$ max par tête pour
opérations
Bonus au personnel Oui Non
Comité FS Oui Non
Autonomie FS Oui Oui
Plan d’activités et autres outils FBP Oui Non
Usage du SIGS Oui Oui
Facture trimestrielle Oui Non
Vérification mensuelle Oui Non
Vérification trimestrielle Oui Oui
Vérification par tiers Oui Non
Assistance technique FBR Oui Non
Recommandations
Evaluez à l’avance si les variations expérimentales
vont probablement faire une différence dans les
résultats
Travaillez avec l’équipe d’EI dès le début
Assurez-vous que les homologues comprennent
parfaitement les questions de recherche, et sont
convaincus de leur utilité.
36
Leçon 10: “Gardez vos études d’impact droit au but”
Evitez les questions d’Evaluation d’Impact qui sont
TROP subtiles
Recommended