LA SCIENCE DE

LA PRESTATION:

Apprendre de la mise en œuvre

Résultats des évaluations

d’impact et leçons du FBR

Dinesh Nair, Benjamin Loevinsohn et Ifelayo Ojo

Le pourquoi et le comment

des 10 Plus Grandes Leçons

• L’examen des opérations de FBR en cours a

suggéré des défis récurrents et des leçons utiles

• Se focaliser sur les leçons les plus importantes

facilitera l’apprentissage des autres équipes

• La sélection des 10 plus grandes leçons a été

faite par les TTLs et les experts du FBR

impliqués dans un portefeuille de 8

programmes de FBR en cours

2

Leçon #1

“Montre-moi l’argent!”

- Procédez au paiement à temps

• Plus de 70% des projets ont eu des difficultés

pour procéder aux paiements à temps

3

Les visites en consultation externe au

Nigeria ont diminué quand les paiements

ont été interrompus

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

Dec

Jan

Feb

Mar

Apr

May

Jun

Jul

Aug

Sep

Oct

Nov

Dec

Jan

Feb

Mar

Apr

May

Jun

Jul

Aug

Sep

Adamawa

Nasarawa

Ondo

Paiements

interrompus

4

Leçon 1: “Montre-moi l’argent!”

Procédez au paiement à temps

Recommandations

Suivre le temps nécessaire pour que le paiement

parvienne aux formations

Etablir des normes explicites pour le délai

maximum autorisé (2 ou 3 mois)

Fournir des ressources d’avance aux formations

sanitaires: (i) gagne leur confiance; (ii) indique que

le FBP a commencé; (iii) fournit des fonds

d’investissement

5

Leçon #2

“Continuez à faire bouger le pilier de but!”

L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de

Qualité

• Beaucoup de formations font rapidement des améliorations dans la qualité et ensuite plafonnent

6

0

20

40

60

80

100

Mwaro

Muramvya

Kirundo

Cibitoke

Buja-Rural

Kayanza

Ngozi

Makamba

Rutana

Bubanza

Bururi

Gitega

Karuzi

Muyinga

Ruyigi

Cankuzo

Buja-Mairie

Scores de qualité par province

Le score de qualité moyen a plafonné après

trois trimestres au Burundi

7

Leçon 2: “Continuez à faire bouger le pilier de but!”

L’Amélioration Continue de la Qualité (ACQ)

implique de Changer les Indicateurs de Qualité

Recommandations

Les checklists de qualité quantifiées devraient mettre l’accent sur les indicateurs de processus plutôt que de structure

Revisez la checklist tous les 1-2 ans pour mettre l’accent sur l’amélioration continue

Incluez: 1) observation de l’interaction prestataire-patient; 2) examen des entrées de données (besoin d’entrées de données standards); 3) vignettes; 4) entretiens de sortie, etc.

Investissez dans la formation des superviseurs

8

Leçon #3

“Pour être clairvoyant, nous continuons en apprenant”

• Le FBR en tant qu’outil permet

l’expérimentation, l’apprentissage et la correction en cours de route

9

Qu’a fait le Zimbabwe?

Analyse quantitative

Analyse qualitative

Concevoir le FBR du côté de la demande et de

l’offre (pilote urbain)

Bon maternel urbain ciblé (côté demande)

FBR de paiement à la qualité

A revu la tarification

A amélioré les checklists de qualité

10

Les études de recherche opérationnelle devraient

être budgétisées

Menez des évaluations de processus et utilisez les

résultats pour le dialogue et la prise de décision

sur l’implémentation.

Participez aux examens du portefeuille de FBR–

cherchez de nouvelles idées

Leçon 3: “Pour être clairvoyant,

continuez en apprenant”

11

Leçon #4

“L’Argent n’est pas la source de tout le mal, Le Manque d’Argent

l’est” – Préoccupez-vous de la

durabilité financière

• Le FBP ne devrait pas être conçu pour se

substituer aux déficiences du financement national de la santé

12

La durabilité du FBP nécessite des

réformes du système de santé plus larges

Le FBP du Burundi est combiné avec les soins de santé gratuits

Le gouvernement paie presque

la moitié – 1,4% du budget

alloué

Pool commun pour les

partenaires de développement

– deux contributions réduites

Déficit cumulatif de près de US$ 8M

Les réformes de la

santé du FBP au

Rwanda faisaient

partie de réformes

plus larges réforme de l’assurance

santé communautaire

réforme des ressources

humaines

13

Où va l’argent du FBP?

14

PAIEMENTS DU FBP AU BURUNDI AU TRIMESTRE 3, 2013 million de francs

Nouvelle

consultation

en externe

32%

Accouchements en

institution 23%

Autres

services du

FBR 32%

Consultation postnatale

6%

Utilisateurs de méthodes

de PF modernes 6%

Enfants complètement

immunisés - 1%

35%

37%

39%

40%

45%

11%

10%

10%

9%

5%

16%

16%

12%

13%

10%

29%

31%

31%

33%

37%

8%

7%

7%

5%

3%

Q2 2012

Q3 2012

Q4 2012

Q1 2013

Q2 2013

Intervention HFs Intervention DMO Hospital

Control 1 HFs Control 1 DMO

Hôpital

Zambie: Consommation agrégée des fonds de FBP de Q2, 2012 – Q2, 2013

Où va l’argent du FBP?

15

FS intervention

FS contrôle 1

OMD intervention

OMD contrôle 1

Recommandations

Suivez les dépenses générales du FBP et comprenez

où vont la plupart des fonds du FBP

Il est plus facile d’augmenter les tarifs que de les

réduire. Ceci suggère de commencer avec des tarifs

relativement plus bas et de les augmenter

Maintenez que le(s) gouvernement(s) vi(ven)t dans les

limites d’une enveloppe budgétaire.

Faites attention à l’augmentation des dépenses non

liée à une meilleure performance.

Leçon 4: “L’Argent n’est pas la source de tout

le mal, Le Manque d’Argent l’est”

– Préoccupez-vous de la durabilité financière

16

Leçon #5

“Les Mathophobes du monde tous unis!”

– Utilisez vos données

• Les données sont vitales mais sous-exploitées,

malgré beaucoup d’efforts dévoués à la collecte, la vérification et à la mise en ligne des données de paiement

17

Applications internet avec interface

publique montrant les informations sur la

performance et les finances

18

Burundi

Benin

Nigeria

Comment la Zambie utilise ses données

• Analyse trimestrielle

• Analyse complète par expert

o Analyse en différences-de-différences des tendances en

utilisant les données SIGS pour comparer entre les 3 bras

19

1ére visite anténatale avant 20 semaines

3eme dose TPI à femme

enceinte

Soins postnataux dans les 6

jours

Présence Planning Familial -

Total (Calc)

Accouchement par

personnel qualifié

Présence patient externe

total (calc)

Complétement

immunisé < 1 an

nouveau

FBR contre Financement additionnel

Coef 0.904 0.815 0.696 12.944 2.220 -9.316 -2.783

p-value 0.045 0.231 0.229 0.002 0.019 0.735 0.024

FBR contre Contrôle

Coef 1.174 1.954 1.586 7.850 2.243 -39.929 -2.761

p-value 0.005 0.002 0.011 0.055 0.031 0.158 0.011

Leçon 5: Les Mathophobes du monde

tous unis!” – Utilisez vos données

Recommandations

Créez des systèmes fiables pour la collecte et la compilation

des données

Assurez-vous d’un flux constant de données du FBP avec une

charge de reporting minimale pour les agents de santé

Faites de l’analyse des données le travail de quelqu’un

Déployez des logiciels pour faciliter l’analyse des données

Déléguez l’analyse à la foule! (crowd-sourcing)

Essayez de trianguler toutes les sources de données

disponibles afin de déterminer les tendances dans l’utilisation

et les résultats

20

Leçon #6

“Comprenez vos clients”

- Les problèmes du côté de la demande sont peut-être moins

compris

• Il faut comprendre les causes à la racine du

problème que le FBR essaie de résoudre.

21

Même avec de larges améliorations dans l’utilisation

depuis que le FBP a été introduit, les niveaux de

couverture absolue restent bas au Nigeria

Barrières à l’utilisation de service dans deux LGA nigérians:

Problèmes de transport

Tarifs variables et imprévisibles pour les services et les médicaments

Barrières sociales et culturelles

Solution proposée: Un programme de Bons pour améliorer la consommation de services

Cycle continu d’apprentissage et de réponse pour aider les ménages à surmonter les barrières d’utilisation et améliorer les résultats de santé.

22

Leçon 6: “Comprenez vos clients”

- Les problèmes du côté de la demande

sont peut-être moins compris

Recommandations

Considérez les problèmes de demande si la couverture reste

faible malgré le FBP (même si le FBP a fait une grosse

différence).

Comprenez les barrières à l’accès – barrières culturelles,

sociales et financières avec des enquêtes ménages; groupes

de discussions dirigés, entretiens avec informateur clé, etc.

Les options pour répondre aux problèmes de demande

incluent: (i) travail de plus près avec les structures

communautaires; (ii) Transferts monétaires conditionnels; (iii)

bons; (iv) Campagne de Changement des Comportements avec

le personnel de la formation ou les ONG

23

Leçon #7

“Ca suffit les tracés plats”

- Identifiez les formations et les régions à faible performance.

Faites quelque chose pour elles!

• Une compréhension détaillée des prédicteurs de succès et d’échec est nécessaire

24

Il y a clairement des formations qui ne

progressent pas – càd. celles aux “tracés plats”

Non-déterminants

• Nombre de personnel

• Eloignement

• Qualification du responsable

• Planification des activités

-

20

40

60

80

100

120

140 Déviants positifs

• Engagement communautaire

• Capacité de gestion du responsable

Accouchement institutionnel dans les formations

de l’Adamawa, normalisé par 100 000 pop.

25

Leçon 7: Ca suffit les “tracés plats”

Recommandations

Utilisez vos données pour identifier les formations

qui ne se sont pas améliorées ou qui n’ont pas une

bonne performance

Menez des études quantitatives et qualitatives (ex.:

Nigeria et Zimbabwe)

Considérez le type d’assistance technique

nécessaire aux formations à faible performance et

ré-examinez ce qui est actuellement disponible.

26

Leçon #8

“Tu peux courir, mais tu ne peux pas te cacher”

– Préoccupez-vous des menaces politiques envers le FBP

• Même les programmes de FBR à succès font face à

des pressions politiques qui menacent leur durabilité

27

Pilote de FBR en Zambie

Unité d’Implémentation du Programme (UIP) du

FBR pas généralisée au sein de la structure du

Ministère

Changements institutionnels au Ministère de la

Santé

Champions clé déplacés

28

Attention aux gagnants et aux perdants

Recommandations

L’expertise en économie politique devrait être

engagée pour étudier les facteurs importants dans

le passage à l’échelle et la durabilité du FBR, afin

de trouver ce qui peut être fait différemment.

Institutionnaliser les rôles tels que l’achat et la

mise en œuvre du projet au sein des structures

gouvernementales pourrait aider à améliorer

l’adhésion

29

Leçon 8: Préoccupez-vous des menaces

politiques envers le FBP

Leçon #9

“Même les plans les mieux prévus peuvent aller de travers”

– Analysez le design de votre projet pour vous assurez que les

hypothèses demeurent valides

• Comprenez les déterminants clé du programme de FBP et leurs liens pour produire des résultats

30

Bénin

La bureaucratie complique les dépenses des incitations du FBP par les formations

Peut réduire la motivation des agents de santé d’être performant

Tickets modérateurs plus faciles à dépenser

Des frais élevés peuvent réduire l’utilisation des soins

31

Des défis liés à l’autonomie des formations

sanitaires au Bénin et un FBP emboîté en

Afghanistan ont rendu la mise en œuvre différente

Afghanistan

Environnement unique

d’accord sur la

performance avec ONG

Préoccupations sur la

sécurité constantes

FBP superposé sur PPA

Recommandations

Examinez périodiquement la progression des éléments dans votre théorie du changement, pas seulement ce que vous essayez d’accomplir, mais comment vous y arrivez

Des analyses utiles pour tout projet incluent:

Quel est le pourcentage additionnel du FBP à la paie des agents de santé? Sont-ils motivés par ce montant?

Equilibre entre supervision et autonomie au niveau de la formation sanitaire

Ressources disponibles en première ligne pour les formations sanitaires

32

Leçon 9: “Même les plans les mieux prévus

peuvent aller de travers” – Analysez le design de

votre projet pour vous assurez que les

hypothèses demeurent valides

Leçon #10

“Gardez vos études d’impact droit au but”

- Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles

• Il est très difficile d’évaluer les impacts différentiels quand il n’existe qu’une variation minimale entre groupes expérimentaux

33

0

600

1200

1800

2400

1* 2 3 4 1 2

2012 2013

Enfants immunisés

ControlTreatment

Les groupes de l’intervention de FBR et

de financement additionnel se

ressemblent au Bénin

Aucune claire

différence n’émerge

Un autre groupe de

contrôle avec aucun

financement

additionnel a été inclus

comme contrefactuel

34

0

2000

4000

6000

8000

1* 2 3 4 1 2

2012 2013

Accouchement assisté

Control

Treatment

Groupes expérimental & de contrôle au

Nigéria – essayez dur d’être explicite sur

les différences !!!!

35

Eléments clé FBP DFF

Financement 2$ max par tête pour

performance

1$ max par tête pour

opérations

Bonus au personnel Oui Non

Comité FS Oui Non

Autonomie FS Oui Oui

Plan d’activités et autres outils FBP Oui Non

Usage du SIGS Oui Oui

Facture trimestrielle Oui Non

Vérification mensuelle Oui Non

Vérification trimestrielle Oui Oui

Vérification par tiers Oui Non

Assistance technique FBR Oui Non

Recommandations

Evaluez à l’avance si les variations expérimentales

vont probablement faire une différence dans les

résultats

Travaillez avec l’équipe d’EI dès le début

Assurez-vous que les homologues comprennent

parfaitement les questions de recherche, et sont

convaincus de leur utilité.

36

Leçon 10: “Gardez vos études d’impact droit au but”

Evitez les questions d’Evaluation d’Impact qui sont

TROP subtiles

Un bateau au port est en sécurité– mais ça n’est pas pour ça qu’on construit des

bateaux. -John A Shedd (1928)

Mettez en oeuvre, apprenez et

partagez vos leçons!