1
Evaluation interne
Evaluation interne du projet de financement base sur la performance dans la région de l’Est-Cameroun
3 decembre 2014
3 décembre 2014
2
CONTENU
Introduction ................................................................................................................................. 4
Contexte .................................................................................................................................. 4
Objectifs de cette évaluation .................................................................................................... 4
Méthodologie ............................................................................................................................... 5
Introduction .............................................................................................................................. 5
Revue des documents ............................................................................................................. 5
Interviews ................................................................................................................................ 5
Analyse des données ............................................................................................................... 5
Contre Vérification (par échantillonnage) ................................................................................. 5
Cadre d’analyse des six éléments dans le PBF ....................................................................... 6
L’atteinte des objectifs ................................................................................................................. 8
Introduction .............................................................................................................................. 8
Renforcer le PMA d’une façon efficiente .................................................................................. 8
Accroitre l’utilisation des services ............................................................................................. 9
Améliorer la qualité ................................................................................................................ 13
Equité d’accès ....................................................................................................................... 16
Contribuer à la formation du Fonds Régional ......................................................................... 16
Autres Résultats .................................................................................................................... 17
Le processus de la mise en œuvre ............................................................................................ 17
Introduction ............................................................................................................................ 18
Ce qui a aidé la mise en œuvre ............................................................................................. 18
Ce qui a entravé la mise en œuvre ........................................................................................ 18
Forces et faiblesses de l’AAP ................................................................................................ 19
Les six éléments du PBF ........................................................................................................... 21
Introduction ............................................................................................................................ 21
Lier le paiement à la performance (indicateurs) ..................................................................... 21
Approche contractuelle .......................................................................................................... 21
Autonomie pour les prestataires des soins de santé .............................................................. 22
Répartition des fonctions ....................................................................................................... 22
3
Egalité d’accès aux services .................................................................................................. 23
Implication communautaire .................................................................................................... 24
La verification ............................................................................................................................ 26
Introduction ............................................................................................................................ 26
Quantité ................................................................................................................................. 26
Qualité ................................................................................................................................... 27
Résumé ..................................................................................................................................... 30
Recommandations .................................................................................................................... 32
Annexe 1 Grille d’évaluation (interviews) ................................................................................... 33
Annexe 2 Programme d’activités ............................................................................................... 38
Annexe 3 Termes de référence ................................................................................................. 40
Annexe 4 Verification de la Quantite .......................................................................................... 44
Annexe 5 Verification de qualite ................................................................................................ 45
Annexe 6 Plan d’activités transfert AAP dans le FRPS .............................................................. 46
4
INTRODUCTION
CONTEXTE
Le 28 juin 2012 Cordaid a signé un contrat de services avec le Ministère de la Santé Publique
(MINSANTE) du Cameroun dans le cadre du Projet d’Appui aux Investissements dans le Secteur de la
Santé (PAISS) pour la mise sur pied d’une Agence d’Achat de Performance à l’Est-Cameroun qui va
mettre en œuvre un mécanisme de financement sur la base de performance (PBF) avec le but d’améliorer
la qualité et d’augmenter la quantité des services de santé dans la région. Ce contrat, qui contient une
phase ferme et une phase conditionnelle, s’achèvera 31 décembre 2014. Pour l’exécution du contrat de
service Cordaid a comme partenaire le Cabinet MacDevis.
Les six objectifs qui sont mentionnés dans le contrat sont les suivantes :
(i) Renforcer la délivrance du paquet minimum d’activités (PMA) à un coût qui est soutenable et
peut être répliqué à grande échelle;
(ii) Accroître à la fois la quantité de services cliniques de haut impact qui sont fournis et la proportion
de population couverte par des soins préventifs et promotionnels de coût-efficacité acceptable;
(iii) Améliorer la qualité des soins de santé offerts dans les services de santé de premier recours;
(iv) Toucher les membres les plus pauvres des communautés avec des soins de santé effectifs et
accroître l’équité dans l’accès et l’utilisation des services tant curatifs que préventifs.
(v) Contribuer à la formation du Fonds Spécial de la région concernée.
OBJECTIFS DE CETTE EVALUATION
Les objectifs visés par cette évaluation sont les suivantes :
1. Analyser jusqu’à quel niveau les objectifs dans le contrat ont été atteint ;
2. Analyser le processus de la mise en œuvre et la gestion du programme ;
3. Vérifier jusqu’à quel niveau le projet applique les six principes du PBF ;
4. Vérifier les résultats dans les FOSA à travers un échantillon.
Au début de l’évaluation, un nombre des répondants clés a souligné qu’il est nécessaire de prêter
attention à la durabilité du projet. Pour être précis, cela implique l'intégration de l'AAP dans le fond
régional. Parce que cela constitue un des objectifs du projet (objectif cinq mentionné ci-dessus),
l’évaluation discute ce point en tant que partie du premier objectif. Cependant, lors de l’évaluation on a
créé un plan de transfert avec des activités et un budget détaillé. Ce plan est présenté dans l’annexe 5.
5
METHODOLOGIE
INTRODUCTION
Les informations pour cette évaluation proviennent de (1) la revue des documents du projet, (2) les
interviews avec les principaux acteurs, (3) une analyse des données et (4) la vérification des données sur
le terrain. L’évaluateur a basé ses analyses et synthèses sur le « cadre d’analyse des six éléments dans
le PBF ».
REVUE DES DOCUMENTS
Les documents suivants ont été utilisés lors de l’évaluation :
- Tous les rapports trimestriels de L’AAP Bertoua ;
- Les rapports des missions de coordination trimestrielles de Macdevis ;
- Le plan de Transfert Cordaid du projet PBF de l’Est Cameroun - Projet d’Appui aux
Investissements dans le Secteur de la Santé (PAISS) Interviews avec les principaux acteurs (30
Juin 2014) ;
- Le contrat de services entre MINSANTE et Cordaid (28 juin 2012) ;
- Le rapport de la mission d’appui au cadre institutionnel de l’AAP Bertoua MINSANTE-PAISS (17
mai 2013) ;
- Le rapport de l’évaluation interne de la mise en œuvre de l’AAP Bertoua MINSANTE-PAISS (18
janvier 2013) ;
- Le rapport de la rencontre trimestrielle des managers des AAP, de L’UGP et de la Banque
Mondiale (18 septembre 2014) ;
- Le rapport de l’enquête de base 2014 dans les FOSA sous contrat PBF dans la région de l’Est,
Novembre 2014.
Les documents mentionnés ci-dessus déjà contiennent des éléments d’évaluation et suivi qui font partie
du suivi continu et qui sont directement intégrés dans cette évaluation. Il s’agit par exemple des analyses
SWOT dans l’évaluation de janvier 2013 et du plan de transfert.
INTERVIEWS
L'évaluateur a fait un total de 20 interviews semi-structurées auprès des répondants-clés. Il s’agit, entre
autres, du PAISS, la délégation régionale, le « Task Team Leader » de la Banque Mondiale, l'équipe de
gestion de l’AAP, le représentant de MacDevis, le gouverneur régional, le personnel des FOSA’s,
membres de la communauté, membres des ASLO’s, le préfet du district et le Chef des Services de la
Santé de District (CSSD). Toutes les interviews ont été basées sur une grille d’évaluation (Annexe 1).
ANALYSE DES DONNÉES
La base de données de l’AAP, qui contient des données dérivés directement des fiches de validation, a
été utilisée pour l’analyse de l’évolution de l’utilisation des services de santé dans la région. Pour tous les
indicateurs dans le programme une analyse longitudinale depuis le début du programme a été faite. Pour
être capable de faire une meilleure analyse de l’effet du PBF une séparation a été faite entre les
différents groupes de FOSA’s et les districts qui ont été touchés par la présence des réfugiés.
CONTRE VERIFICATION (PAR ECHANTILLONNAGE)
L’évaluateur a fait une contre-vérification des fiches des indicateurs PMA (quantité; nombre de patients) et
la fiche d’évaluation de la qualité utilisée par le chef de district de sante lors de leur visite de supervision.
6
Les vérifications ont été réalisées dans 5 formations sanitaires (FOSA) qui ont été sélectionnées par
hasard, selon la procédure suivante :
Tableau 1 Procédure pour la sélection par hasard des formations de santé (FOSA) dans l'échantillon
Phase 1 : Sélection d’un district de santé
Afin de réduire la durée de la vérification, une zone géographiquement limitée devrait être choisi. D’abord, on a sélectionné cinq districts de santé sur la base des critères suivants :
- Accessibilité lors de la saison de pluie ; - Evolution de la fréquentation des FOSA non-contaminées par la
présence des refugiées ; - Existence des différents groupes de FOSA (T1, C1 et C2) qui ont
été défini dans le cadre de l’étude impact.
Apres, un district de sante a été sélectionné par hasard (le district de sante de Doumé)
Phase 2 : Former 3 grappes Les groupes suivant ont été formée :
Groupe C1 (3 FOSA)
Groupe C2 (2 FOSA)
Groupe T1 (7 FOSA)
Phase 3 : sélection des FOSA par hasard
1 FOSA de la Groupe C1
1 FOSA de la Groupe C2
3 FOSA de la Groupe T1
Phase 4 : sélection d’un mois
Par hasard, un mois par FOSA a été sélectionné pour la vérification de la quantité.
Dans les centres de sante l’évaluateur a comparé les fiches de déclaration et validation, qui ont été
remplies par les vérificateurs de l’AAP, avec les données dans les registres de la FOSA. Finalement on a
comparé ses données avec la « database » qui existe au niveau de L’AAP.
La qualité des services dans les FOSA varie dans le temps. Apres chaque supervision trimestrielle
(pendant laquelle on remplit la fiche d’évaluation de la qualité) les FOSA mettent en place des
améliorations ou des autres changements qui ont eu lieu (ruptures du stock etc.). Afin d’éviter des
grandes différents entre l’évaluation et la vérification, la dernière évaluation de la qualité est utilisé comme
la base pour la vérification de la qualité.
CADRE D’ANALYSE DES SIX ELEMENTS DANS LE PBF
Cordaid a développé un cadre d’analyse pour des projets PBF qui comporte six éléments clés. Chaque
élément à ses questions détaillées et la grille d’évaluation (Annexe 1) pour les interviews est basée sur
ces questions. Les six éléments sont les suivantes :
7
Figure 1 Les six éléments du PBF
8
L’ATTEINTE DES OBJECTIFS
INTRODUCTION
Ce chapitre décrit dans quelle mesure les cinq objectifs, qui sont mentionnés dans le contrat entre le
MINISANTE et Cordaid, ont été atteints.
RENFORCER LE PMA D’UNE FAÇON EFFICIENTE
L'efficience du programme peut être évaluée de deux façons : le coût par habitant de la population et de
la relation entre les frais généraux et les subventions PBF.
On présume généralement que les subventions PBF accordent au moins 2 USD par habitant et par an
pour avoir un effet motivant sur le personnel de la FOSA et créer un impact sur la sante de la population.
Ce montant peut être plus élevé dans les régions sous-développées. Par exemple, en République
Centrafricaine les investissements s’élèvent à 5 USD par tête. Le tableau 2 présente les dépenses réelles
des subventions par habitant par district pour l’année 2013.
Tableau 2 Subventions par habitant par district par an pour l'année 2013
DISTRICT SUBVENTIONS
DÉPENSÉS USD 2013
POPULATION SUBVENTIONS
PAR HABITANT
ABONG MBANG 144,621 69,520 2.08
BATOURI 280,007 92,450 3.03
BERTOUA 367,042 179,196 2.05
BETARE OYA 140,692 85,936 1.64
DOUME 55,181 43,474 1.27
GAROUA BOULAI 117,685 59,996 1.96
KETTE 28,317 99,250 0.29
LOMIE 52,504 37,450 1.40
MBANG 111,380 29,146 3.82
MESSAMENA 26,008 36,112 0.72
MOULOUNDOU 234,133 40,786 5.74
NDELELE 112,122 52,326 2.14
NGUELEMENDOUKA 28,978 33,620 0.86
YOKADOUMA 164,535 89,719 1.83
TOTAL 1,863,205 948,981 1.96
Les subventions mentionnées dans le tableau ci-dessus incluent les payements pour la qualité, les
contrats des ASLO’s et les contrats du régulateur. Cependant, il faut souligner que les districts de santé
qui sont dans l’étude d’impact, dans lesquelles la moitié des FOSA ne reçoit pas des subventions, ont été
inclus dans le calcul. Cela explique les subventions par habitant très bas dans les districts de Doumé,
Kette, Lomié, Messamena and Nguelemendouka.
9
Le tableau ci-dessus indique que, avec un moyenne de 1,96 USD, les subventions par habitant sont très
faible en particulier si le faible plateau technique et le faible nombre des ressources humaines dans les
FOSA sont pris en compte. En plus, on peut constater qu’il existe des grandes différences entre les
districts. En regardant les districts non-randomisées, il existe un district avec un moyenne de 5.74 USD,
mais aussi des districts avec moins que 2 USD par habitant. Car les prix pour les indicateurs sont
harmonisés au niveau national et les primes d'équité ne sont pas appliqués actuellement, le AAP n’est
pas en mesure de changer cette répartition inégale.
Le ratio entre les subventions et les frais généraux est de 68% / 32%. Ceci est basé sur la période entre
juillet 2012 et mars 2014. Compte tenu du faible niveau des subventions, cela peut être considéré comme
normale.
ACCROITRE L’UTILISATION DES SERVICES
Il est généralement accepté qu’il y a un délai entre le début d’une intervention PBF et l’augmentation
d’utilisation des services de santé. Avant d’être capable d’augmenter l’utilisation on a besoin d’un
changement de comportement, la mise en place du system PBF en entier ou la mise à niveau de
l’infrastructure dans la FOSA. Tous les répondants ont confirmé que dans les 6 premiers mois c’était le
cas, ce qui est également visible dans l’évaluation de quelques indicateurs clés dans le paquet minimal
d’activités (PMA ; figure 2).
Figure 2 Évolution de l'utilisation des services du PMA de juillet 2012 à septembre 2014
02000400060008000
1000012000
JU
ILL
ET
…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
013
JU
ILL
ET
…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
014
JU
ILL
ET
…
SE
PT
E…
Nle Consultations curative infirmier/médecin-épidémie, gratuité
0
200
400
600
800
1000
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
13
MA
I 2
013
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
14
MA
I 2
014
JU
ILL
ET
…
SE
PT
EM
…
Accouchement eutocique
0
5000
10000
15000
JU
ILL
E…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
013
JU
ILL
E…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
014
JU
ILL
E…
SE
PT
E…
Dépistage volontaire du VIH/SIDA y compris femmes enceintes
0
500
1000
1500
2000
2500
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
…
MA
I 2
013
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
…
MA
I 2
014
JU
ILL
ET
…
SE
PT
EM
…
Enfants complètement vaccinés
10
Apres la phase de la mise en place, la majorité des indicateurs a augmenté. La chute dans l’utilisation
pendant le 3e trimestre 2014 et due à la suspension de quelques contrats sur le base d’absence du
personnel selon les normes. Deux indicateurs n’ont pas montrée une augmentation: Prise en charge de
cas de paludisme avec les kits et enfant complètement vaccinée. Ceci est causé par les ruptures du stock
des kits et autres provisions au niveau de CAPR.
Pour les indicateurs au niveau du paquet complémentaire d’activités (PCA) on peut identifier une
évolution comparable (figure 3). Au niveau du PCA, il existe encore un problème avec les contre-
références qui arrivent dans les FOSA’s. Les répondants ont aussi remarquée que ceci reste un
problème.
05000
10000150002000025000
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
13
MA
I 2
013
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
14
MA
I 2
014
JU
ILL
ET
…
SE
PT
EM
…
Inspection des ménages :
0200400600800
1000
JU
ILL
ET
…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
013
JU
ILL
ET
…
SE
PT
E…
NO
VE
M…
JA
NV
IE…
MA
RS
…
MA
I 2
014
JU
ILL
ET
…
SE
PT
E…
PF : Nouvelles ou Anciennes acceptantes pilules ou injectables
05000
10000150002000025000300003500040000
JU
ILL
ET
…
SE
PT
EM
B…
NO
VE
MB
R…
JA
NV
IER
…
MA
RS
20
13
MA
I 2
013
JU
ILL
ET
…
SE
PT
EM
B…
NO
VE
MB
R…
JA
NV
IER
…
MA
RS
20
14
MA
I 2
014
JU
ILL
ET
…
SE
PT
EM
B…
Suivi de la croissance de l'enfant
0500
10001500200025003000
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
13
MA
I 2
013
JU
ILL
ET
…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
…
MA
RS
20
14
MA
I 2
014
JU
ILL
ET
…
SE
PT
EM
…
Prise en charge de cas de paludisme avec les kits
11
Figure 3 Évolution de l'utilisation des services du PCA de juillet 2012 à septembre 2014
L’utilisation des services de santé est influencée par plusieurs développements, y compris une
augmentation autonome liée à la croissance de la population résultant par exemple de l'arrivée des
réfugiés en provenance de la République Centrafricaine. La question est de savoir si l'augmentation du
nombre de patients peut être attribuée statistiquement à l'intervention PBF. À cet effet, une comparaison a
été faite entre les différents groupes des FOSA’s qui font partie de l'étude d'impact (figures 4 et 5).
0
20
40
60
80
100
Sum
of…
SE
PT
EM
B…
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
B…
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
B…
Césariennes
02000400060008000
10000120001400016000
Sum
of…
SE
PT
EM
BR
E
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
BR
E
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
BR
E
Journées d'hospitalisation
050
100150200250300350
Sum
of…
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
…
NO
VE
MB
…
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
…
Nouveaux cas de VIH mis sous
ARV
050
100150200250300
Sum
of…
SE
PT
EM
BR
E
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
BR
E
NO
VE
MB
RE
JA
NV
IER
MA
RS
MA
I
JU
ILL
ET
SE
PT
EM
BR
E
Contre référence arrive au CS
12
Figure 4 Évolution du nombre des consultations curatives de juillet 2012 à septembre 2014 dans les différents groups de l'étude d'impact
Figure 5 Évolution du nombre des dépistages volontaires du VIH/SIDA de juillet 2012 à septembre 2014 dans les différents groups de l'étude d'impact
Basé sur les graphiques ci-dessus on peut conclure que l’impact de l'intervention PBF n’est pas évident.
L’évolution des nouvelles consultations par habitant est similaire dans les trois groupes de FOSA’s (C1
sans assistance technique mais avec subvention, C2 sans assistance technique et payement et T1 avec
le paquet total du PBF). En regardant le nombre des dépistages volontaires du VIH/SIDA dans les trois
groupes, on peut identifier une évolution plus positive dans le groupe T1. Cela montre un impact positif de
l'intervention PBF.
13
AMELIORER LA QUALITE
Les figures 6 et 7 montrent que la qualité dans les FOSA est clairement améliorée depuis la démarrage
du projet. Il est aussi visible que l’amélioration se stabilise lors de l’année 2014.
Figure 6 Évolution du score de la qualité technique (par les SSD's) de juillet 2012 à septembre 2014
Figure 7 Évolution du score de la qualité technique (par les SSD's) de juillet 2012 à septembre 2014 pour les différents groups de l'étude d'impact
Une comparaison des trois groupes qui font partie des districts randomisés montre une augmentation
dans toutes FOSA, donc aussi les FOSA qui n’ont pas reçu d'argent. L’évolution de la qualité perçue par
la communauté montre également une augmentation (figure 8). Cependant, au cours des derniers deux
trimestres, ce score baisse.
0
10
20
30
40
50
60
70
80
Averageof 2012
Rég
Averageof 2013Q1 Rég
Averageof 2013Q2 Rég
Averageof 2013Q3 Rég
Averageof 2013Q4 Rég
Averageof 2014Q1 Rég
Averageof 2014Q2 Rég
Averageof 2014Q3 Rég
0
10
20
30
40
50
60
70
80
90
2012 2013 Q12013 Q22013 Q32013 Q42014 Q12014 Q22014 Q3
C1
C2
T1
14
Figure 8 Évolution du score de la qualité perçu par la communauté (enquêtes ASLO) de juillet 2012 à septembre 2014
L'amélioration de la qualité est assurée par deux voies : en recrutant du personnel et en achetant des
équipements. Le tableau ci-dessous (tableau 3) montre une amélioration signifiant entre 2013 et 2014
concernant la présence du personnel. Cela a également assuré que des 14 FOSA qui ont été fermées au
début du projet, il y a 10 qui ont ouvert de nouveau. Au début de l’année 2014 la délégation a décidé que
toutes les FOSA doivent avoir au minimum 3 personnels diplômés. Par conséquent, les contrats avec 63
FOSA étaient suspendus dans le 3e trimestre.
Tableau 3 La présence du personnel dans les années 2013 et 2014 par categorie
CATEGORIE DE PERSONNEL DANS LES FOSA PERSO. EN 2013
TYPE FOSA EN 2014 TOTAL EN 2014
CMA CSI HOPITAUX
PE
RS
ON
NE
L D
E S
AN
TE
MEDECIN 42 8 13 27 48 DENTISTE 1 1 OPHTAMOLOGUE 1 1 TECHNICIEN SUPERIEUR EN SOIN INFIRMIER (TSSI) 14 15 7 22 INFIRMIER DIPLÔME D'ETAT SPECIALISES 13 2 8 10 INFIRMIER DIPLÔME D'ETAT (IDE) 143 15 90 42 147 TECHNIQUE MEDICO SANITAIRE (TMS) 26 8 14 22 INGENIEUR MEDICO SANITAIRE (IMS) 5 2 1 3 AGENT TECHNIQUE MEDICO SANITAIRE (ATMS) 82 11 71 24 106 AIDE SOIGNAT (AS), INFIRMIER BREVETE (IB) 347 39 261 129 429 PHARMACIEN 1 1 1 SAGE FEMME 1 1 TOTAL 673 73 463 255 791
0
10
20
30
40
50
60
70
80
90
2012 2013 Q1 2013 Q2 2013 Q3 2013 Q4 2014 Q1 2014 Q2 2014 Q3
15
En dehors de recrutement du personnel on a réalisée plusieurs investissements dans l’équipement, par
exemple : construction des latrines, la peinture, achat des instruments pour la petite chirurgie, le
mégaphone pour la stratégie avancée, les lits, les matelas, les lampes solaires etc. L’enquête de base a
inventorié tous les achats et le tableau ci-dessous donne l’exemple pour l’équipement concernant la
maternité.
Tableau 4 Présence d’équipement de la maternité dans les années 2013 et 2014
IMMOBILISATION NOMBRE EN 2013
NOMBRE EN 2014
SALLE D'ACCOUCHEMENT / NOMBRE DE PIECES 184 224
TABLE D'ACCOUCHEMENT 189 218
BOITE D'ACCOUCHEMENT 171 271
OCYTOCINE 3 579 5 485
COLLYRES 1 309 2 681
PARTOGRAMME 7 233 8 548
PESE-PERSONNE 114 360
PESE-BEBE 161 169
REGISTRE D'ACCOUCHEMENT 117 159
REGISTRE DE CPN 130 162
TABLE CPN 90 122
METRE RUBAN 176 263
TOISE 72 109
ASPIRATEUR POUR NOUVEAU NE 240 435
TENSIOMETTRE 76 156
POTENCE 145 321
SOURCE DE CHALEUR POUR NOUVEAU-NE 9 17
LAVABO POUR LAVAGE DES MAINS 86 110
GANTS STERILLES 8 196 15 659
GANTS DES SOINS / DOIGTIERS 18 740 48 722
EAU DISPONIBLE POUR LAVAGE DES MAINS (litre) 1 163 12 010
L’évaluation des indicateurs de qualité et les résultats de l’enquête de base confirment que le niveau du
plateau technique dans les FOSA était très faible au début du projet. Cette situation est améliorée, mais
plusieurs FOSA manquent encore des infrastructures de base, comme les latrines, l’eau potable ou les
réfrigérateurs. Une augmentation du personnel est également nécessaire. Tous les FOSA visitée dans le
cadre de la vérification n’ont pas des personnels suffisants.
16
EQUITE D’ACCES
Le projet tient compte des plus pauvres (indigents) par l’indicateur « nouvelle consultation d’indigent ».
Pour chaque indigent qui se présenté à la FOSA, la FOSA reçoit un paiement de 1000 CFA. Le COSA est
responsable pour l’identification des indigents sur la base d’une liste crée par le comité de santé sur une
base annuelle. Chaque FOSA dans l’échantillon a montré une liste d’indigents, sauf la FOSA qui était
dans le groupe C2 et qui ne reçoit pas des fonds additionnels.
Le nombre des indigents pris en charge dans toute la région est passée de 245 en juillet 2012 à 10.601
en septembre 2014 (figure 9). Cependant, ceci inclus les réfugiés dans les districts à la frontière avec la
RCA. Le nombre dans les districts qui ne sont pas affectée par la présence des refugies également
augmente, mais plus graduellement et il reste à un niveau plus bas (figure 10). Le taux de couverture des
indigents est de 38,14% (ci on assume que 5% de la population peut être considéré comme indigent).
Figure 9 Indigents pris en charge dans toute la région de juillet 2012 à septembre 2014
Figure 10 Indigents pris en charge dans les districts sans réfugies de juillet 2012 à septembre 2014
CONTRIBUER A LA FORMATION DU FONDS REGIONAL
Le Fond Régional pour la Promotion de la Santé (FRPS) n’est pas déjà établi dans la région de l’Est. La
signature de la convention est prévue le 18 Novembre 2014. Les membres communautaires sont déjà
élus et formés.
0
2000
4000
6000
8000
10000
12000
0
200
400
600
800
1000
17
Car le FRPS n’était pas existant, le projet n’a pas exécuté des activités liées au transfert de L’AAP au
fond. La première activité est prévue pour décembre 2014. Il s’agit d’une formation des membres de
COSA, COSADI, ASLO, gestionnaires des FOSA et responsables administratif du district qui se focalise
sur le PBF et le rôle des structures de dialogue dans le PBF.
Il est clair que le FRPS ne sera pas fonctionnel le 1e janvier 2015. Cordaid a rédigé un plan de transfert,
avec toutes les activités et un budget pour réaliser le transfert avant le 1e avril 2014. Ce plan est inclus
dans l’annexe 8. Dans le plan, il est prévu que Cordaid fera partie du conseil administratif du fond et
exécutera une évaluation de l’évolution du system PBF à l’Est. Cordaid demande au ministère de la santé
de prolonger le projet pendant trois mois.
AUTRES RESULTATS
L’introduction du PBF a contribué à l’amélioration du SNIS. Les répondants au niveau de la régulation
(SSD et Délégation) confirment que les FOSA soumettent leurs rapport plus vite et avec moins d’erreurs.
L’évolution des différences entre la production déclarée et validée est présentée dans les graphiques ci-
dessous (figure 11 et 12) et confirme les résultats des interviews.
Figure 11 Différence entre déclaration et validation du nombre des accouchements de juillet 2012 à septembre 2014
Figure 12 Différence entre déclaration et validation du nombre des consultations internes de juillet 2012 à septembre 2014
0
20
40
60
80
100
120
140
2012 2013 2104
0
500
1000
1500
2000
2500
3000
3500
2013 2104
18
LE PROCESSUS DE LA MISE EN ŒUVRE
INTRODUCTION
En 2011, Cordaid a soumis une proposition pour un projet PBF dans 4 districts de sante dans la région de
l’Est. Lors des négociations en 2012 dix districts ont été ajoutés. En juillet 2012, les premières
subventions de la quantité ont été payées. Le paiement des subventions de la qualité a commencé en
février 2013, après la première supervision de la qualité par le SSD.
Les missions de suivi et coordination, ensemble avec les analyses SWOT qui sont réalisé en janvier 2013
et juin 2014, donnent un bon aperçu du processus de la mise en œuvre. Les prochains paragraphes
résument les constats les plus importants.
CE QUI A AIDE LA MISE EN ŒUVRE
- Les séances d’introduction et orientation avec tous les acteurs clés au début du projet par le manager
et le manager adjoint. Cela a créé une masse critique importante en faveur du PBF, y compris les
responsables administratifs des districts, sont engagés. Le gouverneur de la région est un grand
partisan qui est convaincu qu’on peut introduire cette approche dans les autres secteurs (éducation,
administration etc).
- Formation d’une semaine de tous les acteurs dans chaque district (FOSA, COSA, SSD) et a cote une
formation pour chaque ASLO pendant 3 jours.
- Le coaching par l’AAP auprès des FOSA. Ensemble avec l'expertise technique de l'équipe cela a aidé
le personnel dans les FOSA à trouver des solutions pour leurs problèmes et améliorer leurs services.
- On a mis en place un modèle PBF bien développé, ce qui se reflète dans l'analyse des six éléments
principaux du PBF. En particulier, les indicateurs communautaires sont appréciés par plusieurs
répondants. Les indicateurs au niveau communautaire ne sont pas chers et ont causé un grand
impact. Il existe une volonté au niveau national de les introduire dans les autres régions.
- L’inclusion de l’indicateur pour les visites à domicile est appréciée par plusieurs répondants. Cela
permet aux personnels des FOSA de sensibiliser la population et de les convaincre de venir à la
FOSA.
- Le fait que le personnel de l’AAP a eu d’expérience avec le projet REDSSEC dans les formations
sanitaires Catholiques. Cela les a donné une vision de PBF qui s’inscrit dans le système de santé
dans la région.
CE QUI A ENTRAVE LA MISE EN ŒUVRE
- Malgré les efforts de l’AAP et ses vérificateurs, qui sont appréciées par presque tous les répondants,
le niveau des capacités concernant le PBF et la gestion administrative en général dans les FOSA
reste faible. Ceci est le même pour les ASLO, les COSA et les autres acteurs de system de santé.
Certains aspects du PBF (par exemple que les FOSA peuvent décider elles même d’embaucher du
personnel) ne sont pas encore claire. Les vérificateurs vont un jour par mois par centre de santé pour
assister le personnel. Ceci semble insuffisant pour réaliser des changements du comportement et
pour créer un esprit d’entrepreneuriat.
- Le projet a grandi de 4 à 14 districts sans faire un changement dans la taille de l'équipe de gestion.
Cela a mis une tension sur l’équipe au début du projet et par conséquent la mise en place a pris plus
de temps que prévu. Par conséquent, les investissements, l’installation de l’AAP et le recrutement du
personnel ont pris beaucoup de temps. Aussi, on n’a pas ajusté le planning opérationnel du projet. En
autre, l’accompagnement des vérificateurs restait faible. Le fait qu’on a ajouté deux superviseurs de
zone est considéré comme une intervention positive : on était capable de tirer des leçons.
19
- Au début de projet, la division des tâches entre Cordaid, MacDevis et l’AAP n’était pas claire.
Quelques répondants ont indiqué que cela a également causé un retard.
- La taille du projet : Par conséquent l’installation du bureau, le recrutement et la formation ont pris
beaucoup de temps. Par conséquent on peut signaler les premières augmentations dans l’utilisation
seulement au début de 2013. En outre, le grand nombre de données qui doivent être traitées chaque
mois cause des erreurs et mets la tension sur l’archivage et la documentation. Par exemple, lors de
échantillonnage l’AAP n’était pas capable de trouver une fiche bien que la FOSA avait reçu sont
virement.
- En général, on peut observer une augmentation du délai entre la vérification et le paiement reçu par le
PAISS. En outre, le paiement des subventions de la qualité s'est arrêté en février 2014 et les
subventions de la quantité en avril 2014 (mars et avril 45 % payé). Ceci a démotive le personnel de
l’APP ainsi que le personnel des FOSA.
- La réception tardive des paiements pour les couts de fonctionnement a retardé un certain nombre
d'activités dans le projet. Il s’agit par exemple de la formation du personnel dans les FOSA’s, du
remplacement des motos et des missions d’évaluation et suivi de Cordaid siège.
FORCES ET FAIBLESSES DE L’AAP
FORCES FAIBLESSES
Gestion : En général la coopération entre l’équipe managériale et le personnel est vue de manière positive. Spécifiquement la connaissance technique dans le domaine du PBF de l’équipe est appréciée. Son engagement est très fort, la raison pour laquelle les émotions dominent parfois.
Gestion : Bien que la gestion de l’AAP a des caractéristiques très fortes, des améliorations sont encore possibles. Il semble qu’une professionnalisation de la gestion des ressources humaines sera plus importante. Il s’agit de recrutement transparent et des améliorations dans le planning et développement du personnel. Au début du projet, les capacités financières et juridiques étaient également faibles.
Personnel et capacités : L’AAP a un personnel motivé et qualifié, qui travaille bien ensemble. Leurs capacités dans le domaine de PBF et contractualisation sont fortes.
Capacités : Afin d'améliorer encore les capacités on a besoin de plus de superviseurs de zone qui donnent un cadre de plaidoyer pour le PBF au niveau régional/district et dans les FOSA. En outre plus de connaissance sur la gestion financière de la FOSA est nécessaire.
Connaissance de la région : Bonne connaissance géographique et social. Conscient des problèmes de santé spécifiques de la région et bonne relation avec les FOSA.
Communication : Parfois les procédures et la hiérarchie ne sont pas respectés. La communication a clairement deux côtés : un qui concerne les aspects physique, tels que la disponibilité de réseau, le fonctionnement des clés internet et la distribution des copies (par exemple le manuel de procédures) et un qui est lié à l’ouverture au dialogue, l’encadrement du personnel et la prévention des rumeurs.
Collaboration avec autres acteurs : L’AAP a un réseau bien développé dans la communauté, les décideurs politiques et les bailleurs de fonds. Ils ont une bonne connaissance de la région.
Visibilité : L’AAP peut améliorer sa visibilité auprès la communauté en utilisant des moyennes comme annonces à la radio. Au niveau régional ou national il est possible d’organiser des ateliers ou distribuer des bulletins. En plus, il est conseillé de mentionner des succès et des points forts du projet plus clair dans les rapports.
20
FORCES FAIBLESSES
Réseau technique : Il y a des liens avec les experts PBF internationaux. L’implication de Cordaid au niveau technique est appréciée.
Transport/équipement : Il est clair que les motos sont en mauvais état et il faut résoudre ce problème à court terme. Les problèmes sont aussi causés par la gestion des moyens (entretien). Il faut aussi professionnaliser la procédure pour l’approvisionnement du matériel.
Attitude d'apprentissage : La gestion de L’AAP a montré qu’ils peuvent tirer des leçons des erreurs dans l’organisation.
Rapportage : L’AAP n’a pas toujours soumis les rapports au PAISS à temps. En outre, les rapports ne contenaient pas les informations qu’on attendait. Apres le feedback de PAISS, on a corrigé les erreurs et on pouvait signaler une amélioration dans les rapports suivants
Partager les leçons: Les vérificateurs échangent leurs expériences pendant les réunions mensuelles, mais il manque un accompagnement pendant la vérification. Cela pourrait plus accroître leurs capacités.
Planification opérationnelle : Les activités à mener sont très clair dans le contrat avec MSP. Chaque mois on doit faire une cartographie de progrès. Et planifier les prochaines actions. Maintenant, ce n'est pas le cas.
Documentation: Toutes les activités PBF sont menées d'une manière appropriée. Toutefois, cela est fortement dépendant de l'expertise d'un certain nombre du personnel. Leçons et les meilleures pratiques sont peu documentées. L’audit interne doit aussi montrer si les procédures financières sont fixer et suivies ?
21
LES SIX ELEMENTS DU PBF
INTRODUCTION
Le présent chapitre examine si le projet a été développé selon les six principes et les meilleures pratiques
du PBF : Lier le paiement à la performance (indicateurs), l’approche contractuelle, autonomie pour les
prestataires des soins de santé, répartition des fonctions, égalité d’accès aux services et l’implication
communautaire.
LIER LE PAIEMENT A LA PERFORMANCE (INDICATEURS)
Le projet utilise des indicateurs quantitatifs (23 dans le PMA et 28 dans le PCA) et un indicateur composé
pour la qualité. 50% de l’indicateur de la qualité est déterminée par les enquêtes communautaires et 50%
parla grille d’évaluation de qualité qui est appliqué par le personnel de Service de Sante District (SSD)
pendant leurs visites de supervision. En plus, il existe 7 indicateurs au niveau communautaire.
Au début du projet la définition de quelques indicateurs n’était pas claire pour tous les FOSA. Par
conséquent, les vérificateurs ont refusé le score sur ces indicateurs. Il s’agit des critères spécifiques
comme l’utilisation du partogramme lors de l’accouchement et le fait que la dernière vaccination doit avoir
lieu avant la fin de la première année. Il existait des problèmes similaires avec les moustiquaires, visite à
domicile et transfusion sanguine. Au course du projet les vérificateurs on assistée des chefs de FOSA à
résoudre ces problèmes.
Lors de la vérification de la grille d’évaluation de qualité l’évaluateur a constaté que quelques questions
dans la grille ne sont pas formule d’une façon « SMART ». Cela permet un certain niveau de subjectivité
dans le score de qualité.
Le Ministère de la sante a récemment décidé d’harmoniser les indicateurs de quantité et de qualité. Cela
signifie que les mêmes prix pour les indicateurs sont utilisés dans tout le pays et que le calcul de la prime
de qualité est basée sur 30% de la quantité au lieu de 100%.Cela est compréhensible du point de vue de
la gestion de projet, mais il est important de présenter à nouveau le bonus d’équité, qui est suspendu en
2013. Cela donne une certain marge de manœuvre aux AAP de résoudre des problèmes concernant
l’iniquité dans leurs régions.
On a signalé quelques exemples de « gaming ». Par exemple, parce que on paie 650 pour une
consultation par un médecin et 200 pur une consultation par un infirmier, deux FOSA ont déclaré plus de
consultations médecins. Les vérificateurs ont signalé ce problème dans les registres et tous le paiement
pour tous les indicateurs étaient suspendus.
Finalement, les répondants (y compris la délégation) ont indiqué que les indicateurs correspondent avec
la politique national de la santé et il n’existe pas un besoin d’ajouter des indicateurs supplémentaires. Le
seul indicateur qui pourrait être ajouté c’est « la création d’un point d’eau », dans le cadre des indicateurs
communautaires.
APPROCHE CONTRACTUELLE
Le cycle de la contractualisation est bien appliqué dans le programme. La création d’une nouveau
« business plan » est précédée par une analyse des résultats. Les FOSA sont accompagné par les
vérificateurs dans ce processus. Tous les FOSA visitées pouvaient montrer des classeurs avec tous les
documents concernant le PBF (fiche de validation, grille d’évaluation de qualité, business plan, outil
d’indice). Les « business plans » sont signés par le gestionnaire de la FOSA, le président de la COSA et
le médecin chef de SSD.
En général, le personnel des FOSA indique qu’ils comprennent comment ils doivent élaborer« un
business plan ». Néanmoins, pendant les interviews l’évaluateur a constaté qu’il reste un besoin de plus
22
d’orientation sur la détermination des priorités dans le « business plan » et les analyses sur la base des
données du SNIS. Ceci est aussi lié aux changements fréquents du personnel. Dans les 5 centres, 3
gestionnaires étaient nommer après le début du projet).
Les COSA (ou les COGES ; les comités de gestion des COAS) sont impliqués dans la création des
business plans. Aussi, les constats des enquêtes communautaires et les recommandations de
l’évaluation de qualité par le SSD est tenu en compte. Les exemples sont les stratégies dans le business
plan pour l’amélioration des horaires d’ouverture, la présence du personnel ou un plan d’acheter des
boites obstétricales.
Les vérificateurs médicaux visitent les FOSA une fois par mois pour la validation de la quantité. Bien
qu’on fasse une analyse des causes pour la sous-performance de quelques FOSA, on n’a pas suspendue
un seul contrat sur la base de la performance. En plus, une différence entre la déclaration et la validation,
n’a pas des répercussions, sauf une correction du nombre des patients. D’autre part, on a suspende des
contrats sur la base des « critères minimaux » (nombre minimal du personnel et gestion financière).
A ce moment, l’AAP a employés 24 vérificateurs (12 vérificateurs médicaux et 12 vérificateurs
communautaires). Ainsi, chaque vérificateur médical doit visiter en moyen 15 FOSA par mois. Si on
suppose un jour par FOSA et on ajoute la vérification du SSD et la réunion de coordination au niveau de
l’AAP chaque vérificateur est déjà occupé pendant 18 jours. Par conséquent, il ne reste pas beaucoup te
temps pour les échanges, la formation des vérificateurs ou le soutien supplémentaires pour les FOSA ou
la régulation (SSD et délégation).
AUTONOMIE POUR LES PRESTATAIRES DES SOINS DE SANTE
Le projet donne une grande autonomie aux gestionnaires de FOSA. Dans leurs « business plans » ils
peuvent, en coopération avec les COSA, déterminer leurs priorités concernent les investissements, l’achat
des médicaments ou petits équipements et le recrutement du personnel. Malgré cette autonomie,
quelques gestionnaires de FOSA hésitent de prendre des décisions. Ceci est par exemple le cas en ce
qui concerne le recrutement du personnel. Ils ont besoin de plus d’assistance dans ce processus.
Le retard des paiements des subsides PBF a un grand impact sur l’autonomie de gestion dans les FOSA.
Les derniers paiements pour la qualité ont été effectués en février 2014 et les derniers paiements pour la
quantité en avril 2014. En outre, les paiements en mars et avril étaient 45% du montant facturé. Plusieurs
FOSA voient cela comme une restriction de leur pouvoir de décision. Ils n’étaient pas capables d’exécutée
leurs business plan du 2e trimestre 2014 juste à ce moment (novembre 2014).
Le grand degré d'autonomie ne veut pas dire qu'on ne doit pas rendre compte sur les dépenses
engagées. Ceci est, cependant, un gros point de friction. Plusieurs chefs de FOSA manquent les
capacités à justifier leurs financières. Ces problèmes concernent par exemple la tenue des registres, la
demande des citations et l’utilisation des bonnes factures (avec TVA). A cause de ses problèmes, un chef
de SSD en consultation avec la préfecture, a décidé de retenir les paiements PBF de quelques centres de
santés.
Pour remédier à ces problèmes l'outil d'indice est introduit. L’outil d’indices est vérifié par les vérificateurs
et le chef de SSD lors de leurs visites à la FOSA. Les chefs de la FOSA doivent, toutefois, obtenir une
formation concernant l’application de l'outil d'indice. Quelques répondent ont aussi marquée que l’outil
d’indice contient d'information qui est également dans le rapport financier que doit soumettre à la SSD. En
plus, les FOSA doivent soumettre un procès-verbal d’une réunion avec le COSA, signé par le président de
COSA, s’ils veulent retirer l’argent. Le procès-verbal contient tous les achats qu’on a planifiés avec le
montant à retirer.
REPARTITION DES FONCTIONS
Tous les acteurs clés ont un contrat avec l’AAP (y compris la délégation et les SSD) et leur rôle est décrit
dans le contrat. Néanmoins, les taches ne sont pas claires pour tous les acteurs. Par exemple il existe
23
une confusion concernant la responsabilité pour la comptabilité financière des FOSA. Finalement, c'est
une responsabilité du district, mais l’AAP apporte le soutien et analyse les dépenses lorsque la
composition d’un nouveau « business plan ».
Grace à la contractualisation par l’AAP, les SSD sont maintenant capable d’exécuter leurs supervisions.
Le chef de SSD et les chefs de FOSA confirment qu’avant le projet le nombre des visites de supervision
était plus faible. L’évaluation a trouvé les grilles de supervision trimestrielle dans chaque FOSA. Lors du
projet on a suspendue le contrat d’une SSD à cause d’une absence de preuve de supervision trimestrielle.
Quelques répondants ont indiqué que le fait que l’AAP achète les indicateurs (signature des contrats et la
vérification) et en même temps il paie les FOSA pour leur performance est en conflit avec le principe de la
séparation de fonctions. Cette situation donne beaucoup de pouvoir à l’AAP. En plus, la contractualisation
demande des autres capacités que le payement des subsides. En réalité, l’AAP n’est qu’un organe de
canalisation de fonds de PAISS. Cependant, cela n’est pas toujours la perception des autres acteurs.
Le projet est surveillé par un comité de suivi régional, composé du gouverneur de la région, la délégation
de la sante, des représentants des prestataires, des représentants des régulateurs et des représentants
des ASLO. Le comité est chargé de la résolution des conflits, la sécurité des vérificateurs et le suivi
général du projet. Son rôle est limité par l’harmonisation nationale. Par conséquent le comité ne peut pas
changer la pondération des indicateurs sur la base du contexte local, un rôle qu’on peut trouver dans les
autres projets PBF. Cependant, le comité a un rôle important concernant la détermination des critères
minimaux pour les FOSA (nombre du personnel et gestion financière).
EGALITE D’ACCES AUX SERVICES
Le PBF a l'intention d'améliorer l'accès monétaire aux services de santé par une diminution des frais de
patients. Les subsides remplacent les revenues qu’on a perdues à cause de la diminution des frais de
services. Aussi dans ce projet, plusieurs FOSA ont diminué leurs frais de services. Le tableau ci-dessous
donne une indication de l’évolution des frais dans les FOSA qui ont été visitées dans le cadre de cette
évaluation interne.
Tableau 5 Évolution des frais pour un accouchement et une consultation dans les FOSA
Les membres des COSA et les membres des ASLO ont confirmé que grâce à la diminution des prix le
nombre des patients a augmenté. Malheureusement, l’accès au service est limite par les frais des
médicaments, qui sont fixés par le CAPR. Ainsi, les patients doivent encore payer pour les médicaments.
Dans tous les FOSA, les prix sont déterminés en consultation avec la communauté. Au CSI de Nkoum,
les tarifs n’ont pas changé. Cela est causé par l’absence de paiement PBF. Ngomdouma a diminuée les
frais d’accouchement initialement, car la FOSA est sélectionnée par le UNFPA pour une exprimentation
des kits d’accouchement. Ils doivent maintenant acheter le KIT pour 6000 CFA. Cela est plus cher que les
FOSA ACCOUCHEMENTS EUTOCIQUE
CONSULTATION INFIRMIER
Ancien prix Nouveau prix Ancien prix Nouveau prix
CSI Mbala 6.000 3.000 600 200
CSI Petit Pol 6.000 0 300 100
CSI Nkoum 3.000 3.000 200 200
CSI Seguelendom 3.000 1.000 100 100
CSI Ngomdouma 6.000 1.500 / 6.000 500 300
24
entrants qu’on utilisait avant. Par conséquent le FOSA a augmenté les frais d’accouchement en janvier
2014.
La réduction des prix est aussi confirmée par les répondants au niveau régional. Par conséquent on peut
assumer que les réductions ne sont pas unique pour les cinq FOSA dans le tableau, mais sont effectués
dans toute la région.
Le projet tient aussi compte des plus pauvres qui ne peuvent pas payer surtout (indigents) par l’indicateur
« nouvelle consultation infirmier/médecin – gratuité ». Pour chaque indigent qui se présenté à la FOSA, la
FOSA reçoit un paiement de 1000 CFA. L’identification des indigents est fait par les relais
communautaires. Le COSA crée une liste, le président la signe et la liste reste à la FOSA. Dans la
majorité des cas l’identification est basée sur les caractéristiques physiques ou faciles à vérifier, par
exemple les veuves et les handicapés. Il semble plus difficile de tenir compte des aspects économiques.
Chaque FOSA dans l’échantillon pouvait montrer une liste d’indigent, sauf la FOSA qui était dans le
groupe C2 et qui ne reçoit pas des fonds additionnels.
IMPLICATION COMMUNAUTAIRE
Le projet se caractérise par une forte implication de la communauté. Cela est grâce à deux éléments
importants.
Premièrement, le projet a introduit 7 indicateurs quantitatifs au niveau communautaire. Le tableau ci-
dessous présente ces indicateurs.
Tableau 6 Les indicateurs communautaires utilisés dans le projet
INDICATEUR PRIX
Prise en charge de cas de paludisme avec les kits 100
Nombre des latrines construites dans l’aire d’attraction du CS 3.000
Référence communautaire 100
Nouvelle utilisation moustiquaireimprégnée 1.000
PV réunion COSA 400
Liste annuelle des indigents 100.000
L’existence des indicateurs communautaire a revitalisée le fonctionnement des comités de santé, y
compris les relais communautaire.
En plus, l’implication communautaire est également renforcée par les enquêtes communautaires. Les
résultats des enquêtes comptent pour 50% du score de qualité et par conséquent, les FOSA pouvaient
gagner plus de fonds avec les bons résultats au niveau communautaire. Cela motivé les FOSA d’écouter
les préoccupations de la communauté. Un chef de FOSA a dit que cela donne « une pression ».
Les enquêtes sont menées par une ASLO (groupes des jeunes, groupes des femmes, groupes pour la
promotion de l’agriculture etc.) qui est basée dans l’aire de santé d’une FOSA. Ils sont sélectionnés par
un appel d’offre ouvert et ont reçu une formation au début du projet. La formation a aussi prêté attention
aux techniques de conversation et comment faire face à la résistance des répondants. L’AAP n’a jamais
refusée des enquêtes, mais les ASLO sont priées de faire les enquêtes a nouveau si les fiches sont d’une
qualité inferieur.
25
Les ASLO ne sont pas en contact avec les FOSA et ils envoient les enquêtes à l’AAP. L’AAP fait la
consolidation qui est confirmé par l’ASLO. Apres, l’AAP fait la restitution à la FOSA et au SSD. Chaque
ASLO fait 40 à 60 enquêtes.
Les ASLO, les membres de COSA et le personnel dans les FOSA confirment que le personnel des FOSA
tiens compte des préoccupations qui sont mentionnées dans les enquêtes. Il s’agit par exemple du
changement des horaires d’ouverture, l’accueil ou des petits changements dans l’infrastructure comme la
séparation des hommes et femmes dans les salles d’hospitalisation.
Un effet secondaire de l’implication des ASLO dans l’approche PBF est le fait qu’ils reçoivent des fonds
pour leurs services. Avec ces fonds ils ont achète des graines et autres moyennes pour augmenter leurs
revenues et financer leurs activités.
26
VERIFICATION DES RESULTATS
INTRODUCTION
Selon la procédure décrit dans le cadre de la méthodologie on a vérifié les résultats des FOSA en termes
de quantité et qualité. Ce chapitre se focalise sur les résultats de la vérification.
QUANTITE
En général l’évaluation a trouvé qu’il n’existe pas des grandes différences entre la validation par les
vérificateurs de l’AAP et le nombre de patients dans les registres des FOSA. La figure 13 résume le
nombre des patients déclaré (par la FOSA dans leurs rapports), validée (par les vérificateurs), vérifiée
(par l’évaluation) et enregistrée dans la base de données de L’AAP et au niveau national.
Figure 13 Différences entre la déclaration, la validation, l'évaluation et les bases de données
Les chefs des FOSA ainsi que les vérificateurs de l’AAP ont remarqué qu’au début du projet on a trouvé
plus de différences entre la déclaration et la validation. Ainsi on peut conclure que le SNIS s'est
également améliorée.
Parfois les ASLO ne peuvent pas trouver un client car les noms ne sont pas clairement écrits dans les
FOSA. Cela explique la différence entre la validation et l’évaluation. Néanmoins, cette différence est
minimale. En outre, il existe deux autres déviations. La première est causée par l’absence d’un cahier
pour le suivi de croissance d’enfant lors de l’évaluation. Par conséquent, le nombre des enfants est plus
faible. L’autre est causé par une entrée incorrecte des données d’une FOSA. Par conséquent les nombres
de patients est plus haut dans la base de données au niveau national.
En dehors des nombres du patient pour chaque indicateur, les vérificateurs également remplissent les
montants que les FOSA ont gagnés avec ce nombre. Pendant l’évaluation le montant totale de quatre
fiches d’évaluation de janvier et février 2014 était comparé avec le montant dans les ordres de virement.
Dans ces quatre cas on n’a trouvé aucune différence.
27
QUALITE
En utilisant la même grille d’évaluation qui est utilisé par le personnel des SSD lors de leurs supervisions,
l’évaluateur a vérifié le score de qualité du mois de Septembre (fin de 3e trimestre). La figure ci-dessous
résume les constats.
Figure 14 Différence entre le score de la qualité technique par les SSD et le score obtenu pendant l'évaluation
Comme la figure montre, en général le score de l’évaluation est plus faible que le score de de la
supervision de SSD. Cela a des causes suivantes :
1) Quelques indicateurs ne sont pas formulés d’une façon précise. Par exemple le deuxième indicateur
sous les indicateurs généraux mentionne « autres documents importants ». Cette phrase peut être
interprétée de différentes façons. Autres exemples sont les indicateurs « Données SNIS utilisées
localement ? » ou « Bonnes conditions d’Hygiène ». Par conséquent, le score lié à ces indicateurs est
subjectif et dépends de la vision des SSD.
Un autre exemple est l’indicateur « personnel selon les normes du MINSANTE. Est-ce qu’il s’agit de
la quantité ou de la qualification du personnel qui est présent ?
2) Un changement réel dans le FOSA, par exemple une rupture de stock de vaccins ou de médicaments
qui n’y étaient pas lors de l’évaluation par le SSD. Dans une formation on a aussi mis en place un
plan d’action pour le planning familiale après la visite des SSD. Les autres FOSA ont acheté des
équipements après la supervision de SSD.
3) Des erreurs lors de la sommation des scores. L’évaluateur a trouvée des erreurs dans toutes les 5
grilles qui sont vérifiées.
Une analyse par groupe d’indicateurs donne des différences entre la supervision de SSD et l’évaluation
produit l’image suivante (figure 15). Il est clair que les plus grandes différences existent dans les groupes
maternité, indicateurs généraux et salle d’hospitalisation. Ces groupes sont caractérisés par les
indicateurs reflétant la présence des équipements et des documents.
0
50
100
150
200
250
FOSA 1 FOSA 2 FOSA 3 FOSA 4 FOSA 5
Supervision SSD
Evaluation
28
Figure 15 Différences entre la supervision de SSD et l’évaluation dans des groupes de la grille de supervision
Autres observations concernant la grille d’évaluation de qualité:
1) La grille se réfère parfois à des procédures et normes qui ont changée ou qui sont exécuté d’une
autre manière en pratique. Il s’agit par exemple des fiches pour la CPN qui doivent rester dans le
FOSA selon la grille d’évaluation de qualité. En réalité, on utilise seulement le carnet qui reste avec la
femme enceinte. Par conséquent on ne peut pas vérifier si l’administration de la CPN est correcte.
2) La grille contienne des questions qui sont seulement applicable dans les centres de sante C1 et T1. Il
s’agit par exemple des questions concernant les primes PBF pour le personnel.
2,4
0,2
0,4
1,4
1,2
1,6
0,6
1,8
0,2
0
2,4
0
1,6
1,2
0,8
0
0,2
0 0,5 1 1,5 2 2,5 3
Indicateursgénéraux
Plan debusiness
Gestionfinancière
Hygiène etstérilisation
Consultationexterne / Urg.
Planificationfamiliale
Laboratoire
Salle d’hospitalisa…
Gestion demédicaments
Médicamentstraceurs
Maternité
Tuberculose
Vaccination(PEV)
Consultationprénatale
Personnel
Comité degestion
Malnutrition
29
Il n’existe pas une contre-vérification de l’évaluation de qualité par le SSD. Le manuel de procédures
mentionne que les vérificateurs de l’AAP doivent accompagner le SSD pendant chaque supervision. En
raison des limitations logistiques et budgétaires cela n’était souvent pas possible.
30
RESUME L’évaluation a utilisé une méthodologie mixte pour évaluer le projet de financement basé sur la
performance dans la région de l’Est-Cameroun, en utilisant des éléments qualitatifs bien que des
éléments quantitatifs.
En ce qui concerne les objectifs du projet, les observations suivantes sont faites :
1. Le niveau des subventions par habitant est faible et le moyenne par habitant varie par district.
Dans la configuration actuelle du projet l’AAP n'est pas en mesure d'influencer la distribution des
subventions.
2. Le ratio entre les subventions et les frais généraux est normal pour un programme PBF
3. Après une phase de mise en œuvre de 6 à 8 mois on peut identifier une augmentation de la
fréquentation pour plusieurs indicateurs dans le PMA et le PCA. Cependant il est difficile de
conclure qu’une telle augmentation est causée uniquement par le projet. Néanmoins, malgré le
fait que les différences entre les trois groupes dans l’étude d’impact ne sont pas évidentes, on a
trouvé des indications d’un impact positif de l’intervention PBF.
4. Il est clair que la qualité technique comme perçue par la population a augmenté. Cela est dû aux
investissements dans l’infrastructure et/ou équipements des FOSA’s et du recrutement du
personnel supplémentaire.
5. Le projet a pris en charge plus d’indigents. Le taux de couverture des indigents est de 38,14% (ci
on assume que 5% de la population peut être considéré comme indigent). Tous les FOSA’s
pouvaient montrer des listes des indigents et globalement les frais sont diminués. L’accès au
service est encore limité par les frais des médicaments.
6. La fiabilité des données concernant l’utilisation des services de santé s’est améliorée. Les
différences entre la production déclarée et validée ont fortement diminué lors du projet.
7. Tous les répondants ont confirmé que l’AAP dispose d’un personnel avec beaucoup d’expérience
dans le PBF. On a mis en place un modèle PBF selon la théorie du PBF et les efforts de l’AAP
concernant le «coaching » des FOSA et la régulation sont très appréciés.
8. L’ensemble de la taille du projet, le plateau technique faible dans les FOSA’s, et le nombre du
personnel faible, ont entravé le succès du projet. La réception tardive des paiements pour les
subventions et couts de fonctionnement à démotivé le personnel des FOSA’s et a causé un retard
de l’exécution de quelques activités (par exemple les missions de suivi ou évaluation et les
formations du personnel des FOSA’s).
9. Il existe un besoin de plus d’accompagnement des vérificateurs.
10. Il existe des risques concernant la planification opérationnelle. Malgré le fait que tous les activités
nécessaires sont exécutées, ce processus n’est pas formalisé. Compte tenu du grand nombre de
données le risque d’erreurs est évident.
11. Quelques définitions des indicateurs dans le grille d’évaluation de la qualité ne sont pas SMART.
Par conséquent le score est subjectif.
31
12. Le cycle d'analyse - la planification – le business plan – le contrat - la vérification est maintenue
de façon efficace. Cependant il existe un besoin de plus d’assistance et réorientation dans le
PBF, les business plans et l’esprit entrepreneurial.
13. Plusieurs contrats ont été suspendus sur la base des critères généraux (minimum personnel ou
rapport financier transparent)
14. Bien que généralement, la répartition des tâches et rôles entre les différents acteurs (régulateur,
agence d’achat et les prestataires) soient clairs, il existe un besoin de plus d’orientations sur les
responsabilités du régulateur en ce qui concerne la supervision en général et le suivi financier.
15. Les capacités financières dans les FOSA’s sont encore très faibles. L’introduction de l’outil
d’indice a aidé à résoudre ce problème, mais il est nécessaire d’offrir plus de formations sur la
justification des dépenses. Les FOSA’s doivent aussi soumettre des rapports différents qui
contiennent les mêmes données.
16. Les indicateurs communautaires et le paiement lié à ces indicateurs ont revitalisé le rôle du COSA
et les relais communautaires. En plus, les enquêtes communautaires par les ASLO, dont les
résultats sont restitués par l’AAP au niveau des FOSA’s et au niveau de district, ont mis une
certain pression sur les FOSA’s de tenir compte des préoccupations communautaires.
17. En général l’évaluation a trouvé qu’il n’existe pas des grandes différences entre la validation par
les vérificateurs de l’AAP et le nombre de patients dans les registres des FOSA’s. Cependant,
l’évaluation a trouvé un score de qualité plus faible que le régulateur (SSD).
32
RECOMMANDATIONS
1. Cordaid doit rédiger une proposition pour le transfert de l’AAP au fond régional, y compris :
a) Les subsides pendant la période du transfert
b) Fonds de fonctionnement pour la période du transfert (et deux superviseurs additionnels)
c) Assistance technique après la période du transfert
2. Le PAISS est conseillé d’étudier la possibilité de la réintroduction de la prime de l'équité. Cela
donne le pouvoir à l’AAP d’augmenter les subventions dans les districts les plus appauvri et aussi
augmenter le paiement moyen par habitant.
3. L’AAP est conseillé d’étudier la possibilité d’ajouter deux superviseurs de zone. Les superviseurs
additionnels peuvent contribuer à :
a) L’accompagnement FOSA/SSD (“coaching”)
b) La supervision et formation vérificateurs
c) La contre-vérification de la qualité (ou “conjointe”)
Une telle étude doit être accompagnée d'une réorientation des activités de l’équipe de gestion de
l’AAP, parce que quelques activités sont maintenant exécutées par le manager ou le manager
adjoint.
4. Introduction d’une vérification “intelligente” par l’AAP. Une telle vérification applique des différentes fréquences de vérification basé sur la fiabilité des rapports soumis par les FOSA’s. En outre, l'APP peut envisager de devenir progressivement plus rigoureux dans l'attribution des contrats.
5. Réviser la grille de qualité par la régulation (SSD et délégation) et l’AAP. Au même temps l’AAP peut considérer de vérifier le calcul des grilles d’évaluation.
6. L’AAP est conseillé de formaliser les procédures pour la planification opérationnelle (y compris une Cartographie des activités prévues et réalisés et la documentation des leçons).
7. Formation financière additionnelle pour les FOSA’s. Le budget pour l’extension du projet doit inclure une ligne spécifique pour cette activité
8. Réviser les procédures pour la validation de la base de données et l’administration financière (pour éviter des erreurs et assurer la justification des virements aux FOSA’s).
9. Assurer la cohérence entre la base de données nationale et locale (aussi SNIS)
10. Inclure les données des FOSA avec un contrat suspendu. Autrement on ne peut pas suivre la vraie évolution de la fréquence des patients.
11. Éviter des doublures entre l’outil d’indices et le rapport financier à la SSD
33
ANNEXE 1 GRILLE D’EVALUATION (INTERVIEWS)
Niveau national (PAISS, BM)
AAP Niveau région/districts Formations de Sante Niveau Communautaire
Gestion de programme
Le programme est aligné avec la politique de la MSP (que sont les conflits)
Tous les acteurs acceptent l’approche ?
L’AAP a envoyé tous les rapports trimestriels ?
Le programme est aligné avec la politique de la MSP (que sont les conflits)
Programmes verticaux qui obstruent ?
Sont tous les FOSA inclues ?
Tous les acteurs inclus ? Ils acceptent l’approche ?
A-t-on organisé une étude de base ?
Formations et capacités suffisantes ?
Quantité des employées de l’AAP suffisantes ?
Activités mises en œuvre comme prévu ?
Les FOSA envoient des rapports ?
Capacités financier des FOSA suffisantes ?
Il existe des déviations budgétaires de plus que 20% par ligne ?
L’AAP a des outils pour
Le programme est aligné avec la politique de la MSP (que sont les conflits)
Programmes verticaux qui obstruent ?
Sont tous les FOSA inclues ?
Tous les acteurs inclus ?
Ils acceptent l’approche ?
Formations et capacités suffisantes ?
Quantité des employées de l’AAP suffisantes ?
Les FOSA envoient des rapports ?
Capacités financier des FOSA suffisantes ?
Formations et capacités suffisantes ?
Les FOSA envoient des rapports ?
34
Capacités financier de l’AAP suffisantes ?
Documentation et échange des leçons ?
suivre des résultats et fait des estimations financières ?
Documentation et échange des leçons ?
Documentation et échange des leçons ?
Documentation et échange des leçons ?
Efficacité Amélioration des indicateurs quantitatifs
Amélioration de la qualité
Visite de supervision augmentes ?
Information amélioré
Les résultats sont relevant ?
Les résultats sont durables ? Fond Régional ?
Amélioration des indicateurs quantitatifs
Amélioration de la qualité
Visite de supervision augmentes ?
A-t-on réduit les couts des services ? Preuves ?
Les résultats sont durables ? Fond Régional ?
Amélioration des indicateurs quantitatifs
Amélioration de la qualité
Visite de supervision augmentes ?
Information amélioré
Les résultats sont relevant ?
Sont les indicateur clés améliorés (relevance) ?
Les résultats sont durables ? Fond Régional ?
Amélioration des indicateurs quantitatifs (exemples)
Amélioration de la qualité
Visite de supervision augmentes ?
Les résultats sont durables ? Fond Régional ?
Les prises sont diminues ?
Amélioration de la qualité
Efficience Pourcentage pour subsides acceptable ?
Le pourcentage pour les subsides est quoi ?
Pourcentage pour subsides acceptable ?
35
Les investissements par habitant ?
Financement reçu a temps ?
Subsides reçu à temps ?
Indicateurs Les indicateurs couvrent tous le PMA ?
Les indicateurs couvrent tous le PMA ?
Il existe des indicateurs communautaires ?
Subsides pour les indicateurs quantitatifs et qualitatifs sont suffisants pour améliorer les services ?
Les indicateurs quantitatifs et qualitatifs sont SMART ? Erreurs ?
Indications des effets pervers ?
Les indicateurs couvrent tous le PMA ?
Subsides pour les indicateurs quantitatifs et qualitatifs sont suffisants pour améliorer les services ?
Les indicateurs quantitatifs et qualitatifs sont SMART ? Erreurs ou complications ?
Indications des effets pervers ?
Les indicateurs couvrent tous le PMA ?
Subsides pour les indicateurs quantitatifs et qualitatifs sont suffisants pour améliorer les services ?
Les FOSA comprennent les indicateurs (SMART) quantitatifs et qualitatifs (grille) ?
Indicateurs communautaires sont relevant ?
Contractualisation Tous les acteurs ont des contrats avec l’AAP ?
Tous les acteurs ont des contrats avec l’AAP ? Contrat avec FOSA renouvelé et basé sur une analyse des résultats ?
Tous les acteurs ont des contrats avec l’AAP ?
Contrat avec FOSA renouvelé et basé sur une analyse des résultats ?
Le régulateur est contracte par l’AAP ?
Contrat avec FOSA renouvelé et basé sur une analyse des résultats ?
Pouvez-vous montrer un contrat ?
Séparation des fonctions
Les fonctions du régulateur, acheteur et
Les fonctions du régulateur, acheteur et
Les fonctions du régulateur, acheteur et
36
prestataires sont séparés suffisants ?
Les fonctions du paiement et achat sont séparées ? Cela cause des problèmes ?
prestataires sont séparés suffisant ?
Les fonctions du paiement et achat sont séparées ? Cela cause des problèmes ?
Le régulateur est capable de superviser ?
prestataires sont séparés suffisants ?
Le régulateur est capable de superviser ?
Les préoccupations communautaires sont transmises aux FOSA ?
On utilise une enquête communautaire ?
Les préoccupations communautaires sont transmises aux FOSA ?
On utilise une enquête communautaire ?
Les préoccupations communautaires sont transmises aux FOSA ?
On utilise une enquête communautaire ?
Autonomie Il existe des paiements monétaires ?
Les gestionnaires des FOSA peuvent décider comment d’utiliser les subsides ?
Autonomie de gestion suffisante au niveau de l’ AAP ?
Il existe des paiements monétaires ?
Les gestionnaires des FOSA peuvent décider comment d’utiliser les subsides ?
Il existe des paiements monétaires ?
Les gestionnaires des FOSA peuvent décider comment d’utiliser les subsides (recrutement, approvisionnement) ? Exemples des investissements ?
Capacités ? On peut baisser les frais des services ?
Renforcement communautaire
L’AAP a contracté des ASLO pour la contre-vérification ?
Les subsides sont basés
Les FOSA impliquent leurs clients dans le plan des affaires ?
Les FOSA impliquent leurs clients dans le plan des affaires ?
37
sur la satisfaction des clients ?
Équité A-t-on réduit les couts des services ? Preuves ?
Les FOSA reçoivent un bonus d’équité ?
Il-y-a des indicateurs pour les indigents ?
Il existe des initiatives au niveau d’assurance ou des bons ?
A-t-on réduit les couts des services ? Preuves ?
Les FOSA on des fonds d’équité ?
A-t-on réduit les couts des services ? Preuves ?
Il est plus facile d’accéder le FOSA ?
Autres Différences entre PAISS et UGP ?
La division des taches entre AAP, Mcdavies et Cordaid était claire ?
38
ANNEXE 2 PROGRAMME D’ACTIVITES
Lundi 3/11 Arrivé à Yaoundé
Mardi 4/11 8 :30 Réunion avec le PAISS
11 :00 Réunion avec le TTL de la banque mondial (Paul Jake Robin)
12 :00 Voyage à Bertoua
18 :00 Réunion de planification avec l’AAP (échantillon par hasard)
Mercredi 5/11 Visite de courtoisie gouverneur
Séance de travail avec le délègue et le point focal PBF
Séance de travail avec le personnel clé.
Séance de travail avec le personnel clé.
Séance de travail avec le statisticien pour déterminer les analyses qui sont
possible.
Séance de travail avec le comptable.
Jeudi 6/11 Visite centre de santé MballaT1 vérification du mois de Juillet
Vérification quantité et qualité
Discussion avec le personnel
Discussion avec les membres de la communauté (clients)
Discussion avec l’ASLO concernant la vérification communautaire
Vendredi 7/11 Visite centre de santé Petit Pol C1 vérification du mois d’Avril
Vérification quantité et qualité
Discussion avec le personnel
Discussion avec les membres de la communauté (clients)
Discussion avec l’ASLO concernant la vérification communautaire
Samedi 8/11 Visite centre de santé Nikom C2 vérification du mois de Mars
Vérification quantité et qualité
Discussion avec le personnel
Discussion avec les membres de la communauté (clients)
Discussion avec l’ASLO concernant la vérification communautaire
Dimanche 9/11 Synthèse d’information
Lundi 10/11 Visite centre de santé Segugledom T1 vérification du mois de Janvier
Vérification quantité et qualité
Discussion avec le personnel
Discussion avec les membres de la communauté (clients)
Discussion avec l’ASLO concernant la vérification communautaire
39
Mardi 11/11 Visite centre de santé Gondouma T1 vérification du mois de Juin
Vérification quantité et qualité
Discussion avec le personnel
Discussion avec les membres de la communauté (clients)
Discussion avec l’ASLO concernant la vérification communautaire
Mercredi 12/11 Réunion de réflexion avec la gestion de l’AAP
Analyse des statistiques
Déterminer le plan de transfert
Jeudi 13/11 Retour à Yaoundé
Vendredi 14/11 Réunion avec UGP et présentation des résultats
Vol à Douala. Interview avec M. Toukam
Retour à Amsterdam
40
ANNEXE 3 TERMES DE REFERENCE
TDR de l’évaluation interne du projet PBF l’Est Cameroun dans le cadre du contrat de service
N°0017 / CS/ MINSANTE/PAISS/12 passé entre le Ministère de la Santé Publique (Projet d’Appui
aux Investissements dans le Secteur de la Santé (PAISS) et la Fondation Cordaid
Contexte
28 juin 2012 Cordaid a signé un contrat de services avec le Ministère de la Santé Publique du Cameroun
dans le cadre du Projet d’Appui aux investissements dans le Secteur de la Santé (PAISS) pour la mise sur
pied d’un Agence d’Achat de Performance à l’Est Cameroun qui va mettre en œuvre un mécanisme de
financement sur la base de performance (PBF) avec le but d’améliorer la qualité et d’augmenter la
quantité des services de santé dans la région. Ce contrat, qui contient une phase ferme et une phase
conditionnelle, s’achèvera 31 décembre 2014. Pour l’exécution du contrat de service Cordaid a comme
partenaire le Cabinet MacDevis. Les tâches spécifiques de Cordaid, Macdevis et l’AAP dans l’exécution
du contrat de service sont explicitées dans la Convention de la Mise en Œuvre du projet PBF Est
Cameroun, qui a été renouvelé en octobre 2013.
A ce jour l’Agence d’Achat des Performances de Bertoua a signé 301 contrats signés qui sont répartis
comme suit :
- 175 contrats avec les FOSA ;
- 2 contrats avec les Coordinations diocésaines de la Santé (CDS) ;
- 13 contrats avec les Service de Santé de District (SSD) avec le SSD de Ketté suspendu ;
- 2 contrats, l’un avec la DRSP-Est et l’autre avec l’Hôpital Régional de Bertoua ;
- 7 contrats avec les Mutuelles de Santé ;
- 102 contrats avec les Associations Locales (ASLO).
Dans le contrat entre Cordaid et le ministère de la Santé il a été décrit que :
« Afin de soutenir la prestation des services de soins de santé primaires et de renforcer la capacité de
tous les prestataires de services, le Ministère de la Santé établira quelques contrats séparés avec des
Agences d’Achat de Performance (AAP). Le Fonds Régional de Promotion de la Santé (FRPS) du Littoral
est d’office retenu comme AAP pour la zone du Littoral et est inclue dans la présente consultation. Trois
AAP sont à identifier pour les zones 1 à 3 qui sont respectivement celles du Sud-Ouest (zone 1) du Nord-
Ouest (zone 2) et de l’Est (zone 3). L'approche générale de ces contrats est:
(i) l’AAP agira comme intermédiaire technique et financier dans la mise en œuvre d’un
mécanisme de financement basé sur les résultats dans certains des districts sanitaires de la
zone pour laquelle l’AAP est sélectionnée ;
(ii) l'AAP s'efforcera et sera comptable, avec d'autres acteurs, de veiller à ce que la performance
des prestataires de services s'améliore et que des résultats tangibles (décrit ci-dessous)
soient atteints;
(iii) pour que l'AAP puisse aider à l’atteinte des résultats escomptés, le ministère de la Santé lui
fournira et à temps, les ressources financières adéquates;
(iv) (iv) le Ministère de la Santé assurera un suivi-évaluation minutieux et indépendant afin que :
(a) le Ministère obtienne la contrepartie en résultats pour la valeur du financement qu’il
consent, (b) l'apprentissage est maximisé et que l'application future de FBR dans le contexte
41
du Cameroun, notamment par les Fonds Spéciaux de Promotion de la Santé se fonde sur
des évidentes claires.
(v) l'AAP aura l'occasion de mettre en œuvre divers mécanismes de FBR et jouira d’une
autonomie de gestion suffisante afin que : (a) elle puisse répondre avec flexibilité aux
conditions locales, (b) elle puisse introduire des innovations visant à atteindre les objectifs
énoncés, et (c) elle soit tenue responsable des résultats. En pratique, cela signifie que le
gouvernement précisera quels sont les résultats qui devraient être atteints et les services à
offrir mais que l'AAP aura la latitude sur les détails de la manière d'appliquer le mécanisme de
FBR.
OBJECTIFS ET DEFINITION DES SERVICES
L’AAP sélectionnée devra mettre en œuvre dans la zone un mécanisme de FBR afin de:
(i) Renforcer la délivrance du paquet minimum d’activités (PMA) à un coût qui est soutenable et
peut être répliqué à grande échelle;
(ii) Accroître à la fois la quantité de services cliniques de haut impact qui sont fournis et la
proportion de population couverte par des soins préventifs et promotionnels de coût-efficacité
acceptable;
(iii) Améliorer la qualité des soins de santé offerts dans les services de santé de premier recours;
(iv) Toucher les membres les plus pauvres des communautés avec des soins de santé effectifs et
accroître l’équité dans l’accès et l’utilisation des services tant curatifs que préventifs.
(v) Contribuer à la formation du Fonds Spécial de la région concernée. »
Objectifs de l’évaluation interne :
Les objectifs visés par cette évaluation sont les suivants :
5. Analyser jusqu’à quel niveau les objectifs dans le contrat ont été atteint
6. Analyser le processus de la mise en œuvre et la gestion de la programme, y compris :
a. Une identification des facteurs qui ont aidé et entravé la mise en œuvre
b. Une identification des leçons pour les projets suivants
c. Une réflexion sur la continuation du projet à la fin du contrat entre Cordaid et le Ministère
de la Santé
7. Vérifier jusqu’à quel niveau le projet appliquent les six principes du PBF :
a. Lier le paiement à la performance
b. Approche contractuelle
c. Autonomie pour les prestataires des soins de santé
d. Répartition des fonctions
e. Egalité d’accès aux primes
f. Autonomisation de l’utilisateur final
42
8. Vérifier les résultats dans les FOSA en utilisant un échantillon
Méthodologie :
Pour l’atteinte des résultats sus cités, la méthodologie suivante sera utilisée :
1. Revue des documents du projet – contrat ; rapports trimestriel, réalisations du projet statistiques;
business plans,
2. Interview avec les principaux acteurs de mise en œuvre (associations locales, vérificateurs,
régulateurs, prestataires, équipe de l’AAP, COSA, Président du Comité Régional du Suivi de la
mise en œuvre du PBF dans la région de l’Est) ;
3. Visite de terrain ;
4. Rédaction du rapport et adoption des résolutions ;
5. Présentation du rapport de l’évaluation à l’Unité de Gestion du Projet (UGP) à Yaoundé.
Seront concerné par cette évaluation interne :
1. L’équipe clé de l’AAP : le Manager, le Manager Adjoint, le RAF
2. L’équipe de l’AAP : comptables, statisticien, vérificateurs, etc
3. Le Directeur du projet ;
4. Le Directeur Adjoint du projet ;
5. Le responsable financier du projet au siège
6. Les formations sanitaires ;
7. Les Associations Locales ;
8. Les membres du Comité Régionale de Suivi ;
9. Le Délégué Régional de la Santé Publique pour l’Est Cameroun ;
10. Le Point Focal PBF à l’Est Cameroun ;
11. Le coordonnateur de PAISS.
Résultats attendus :
Les résultats attendus sont les suivants :
1. Un rapport de maximum 25 pages (sans annexes) avec une analyse des possibles obstacles à
l’atteinte des objectifs du projet et des recommandations qui dépassent la fin du contrat entre le
Ministère de la Santé et Cordaid. Les recommandations peuvent inclure à la fois des
recommandations pour le AAP et les autres structures qui sont impliqués dans le projet actuel et
les recommandations pour les projets suivants qui seront mise en œuvre par Cordaid ou des
autres organisations.
2. Présentation des conclusions les plus importantes cette évaluation à l’UGP.
43
Agenda de l’évaluation
Le tableau ci-dessous donne la planification provisoire de l’évaluation
Lundi 3/11 Arrivé à Yaoundé
Mardi 4/11 Voyage à Bertoua et réunion de planification avec l’AAP
Réunion avec le statisticien pour déterminer les analyses qui sont possible
Mercredi 5/11 Visite centre de santé 1 (vérification et interview équipe)
Discussion avec les membres de la communauté (clients)
Discussion avec le ASLO concernant le vérification communautaire
Jeudi 6/11 Visite centre de santé 1 (vérification et interview équipe)
Discussion avec les membres de la communauté (clients)
Discussion avec le ASLO concernant le vérification communautaire
Vendredi 7/11 Visite centre de santé 1 (vérification et interview équipe)
Discussion avec les membres de la communauté (clients)
Discussion avec le ASLO concernant le vérification communautaire
Samedi 8/11 Réunion de réflexion avec la gestion de l’AAP
Dimanche 9/11 Temps libres et analyses
Lundi 10/11 Réunion avec le statisticien concernant les réalisations
Réunions avec les membres du Comité Régionale de Suivi
Mardi 11/11 Réunions avec : 1. Le Délégué Régional de la Santé Publique pour l’Est Cameroun ;
2. Le Point Focal PBF à l’Est Cameroun ;
Mercredi 12/11 Retour à Yaoundé
Jeudi 13/11 Réunion avec UGP et présentation des résultats
Vendredi 14/11 Vol à Douala. Interview avec M. Toukam
Retour a Amsterdam
Les interviews avec le coordonnateur de PAISS et Sorgho de la Banque mondiale auront lieu par
téléphone. Ils seront planifiées parallèles aux activités ci-dessus.
Equipe d’évaluateurs
Cette évaluation sera conduite par les personnes ci-dessous;
M Frank van de Looij (expert PBF Cordaid) et Mme Jennie van de Weerd (expert PBF Cordaid)
Fenneke Hulshoff Pol
Programme Manager Unité Santé Cordaid
29 octobre 2014
44
ANNEXE 4 VERIFICATION DE LA QUANTITE
Mbala Petit Pol Nkoum
Decl. Val. Eval. BD AAP BD Nat Decl. Val. Eval.
BD AAP
BD Nat Decl. Val. Eval.
BD AAP
BD Nat
Novelles consultations - infirmier 38 38 38 38 38 73 73 73 73 37 57 57 57 57 57
Enfentscompletement vaccine 7 7 7 7 7 0 0 0 0 10 0 0 0 0 0
Inspection des menages 49 49 49 49 49 0 0 0 0 0 0 0 0 0 0
Accouchements eutocique 0 0 0 0 0 0 0 0 0 2 0 0 0 0 0
Depistage volontaire du VIH/SIDA y compris les femmes enceintes 22 22 22 22 22 10 9 9 9 4 4 4 4 4 4
Suivi de la croissance de l'enfant 182 182 183 182 182 0 0 0 0 0 22 22 22 22 22
Mois
Montant Fiche
Aout 2014
169.000
Juin 2014
N/A
Mars
N/A
Seguelendom Ngomdouma
Decl. Val. Eval. BD AAP BD Nat Decl. Val. Eval.
BD AAP
BD Nat
Novelles consultations - infirmier 105 105 105 105 105 214 214 214 214 214
Enfentscompletement vaccine 17 17 17 17 17 8 8 7 8 8
Inspection des menages 134 134 134 134 134 6 6 5 6 6
Accouchements eutocique 4 4 4 4 4 5 5 5 5 5
Depistage volontaire du VIH/SIDA y compris les femmes enceintes 14 14 14 14 14 11 11 11 11 11
Suivi de la croissance de l'enfant 314 314 215 314 314 166 166 151 166 166
Mois Janvier 2014
505.160
Juin 2014
240.900 Montant Fiche
45
ANNEXE 5 VERIFICATION DE QUALITE
CSI Mbala
(T1)
CSI Petit Pol (C1)
CSI Nkoum (C2)
CSI Seguelendom
(T1)
CSI
Ngomdouma (T1)
SSD Ver SSD Ver SSD Ver SSD Ver SSD Ver
Indicateurs généraux 15 14 12 10 15 7 14 14 16 15
Plan de business 10 10 10 10 10 10 9 9 9 10
Gestion financière 14 14 5 5 10 10 14 14 11 9
Hygiène et stérilisation 7 6 11 8 8 8 12 10 14 13
Consultation externe / Urg. 23 21 22 20 21 20 24 24 24 23
Planification familiale 4 4 6 6 9 5 12 10 16 14
Laboratoire 1 0 3 1 10 10 11 11 3 3
Salle d’hospitalisation 8 4 5 4 6 2 8 9 9 8
Gestion de médicaments 8 9 7 6 7 7 8 8 8 7
Médicaments traceurs 15 15 11 11 13 13 14 14 13 13
Maternité 15 9 14 12 16 14 18 17 21 20
Tuberculose 0 0 0 0 0 0 0 0 0 0
Vaccination (PEV) 32 27 18 19 21 20 20 17 21 21
Consultation prénatale 10 7 9 6 4 4 11 11 10 10
Personnel 5 5 8 7 5 5 8 5 9 9
Comité de gestion 6 6 6 6 6 6 6 6 6 6
Malnutrition 5 5 6 7 3,5 3,5 6 7 6 5
Total 178 156 153 138 169 149 195 186 196 186
Pourcentage 69,3%
60,7%
59,5%
53,6%
65,8%
58,0%
75,9%
72,4%
76,3%
72,4%
46
ANNEXE 6 PLAN D’ACTIVITES TRANSFERT
AAP DANS LE FRPS
Table 1 Plan d'activités pour le premier trimestre 2015
Activité Responsible nov-14 dec-14 jan-15 feb-15 mrt-15 apr-15
Objectif 1: Continuation des activités de l’AAP à l’Est Cameroun
Prologation des contracts du personnel de l'AAP AAP (Cordaid) 1
Signature des contrats de performance (FOSA et ASLO) et regalution AAP (Cordaid) 1
Renforcement continu des capacités des acteurs de mise en œuvre du PBFAAP (Cordaid) 1 1 1 1
Organisation de l’enquête de qualité communautaire AAP (Cordaid) 1 1 1 1
Formation structure de dialogue dans le PBF AAP (Cordaid) 1
Validation des activites ASLO, FOSA, SSD et delegation AAP (Cordaid) 1 1 1 1
Facturation des subsides des FOSA, des SSD, de la DRSP, des CDS et des mutuelles de santéAAP (Cordaid) 1 1 1 1
Paiement ASLO, FOSA, SSD et delegation AAP (Cordaid) 1 1 1 1
Tenue des réunions de coordination mensuelle de l’AAP et brainstorming staffAAP (Cordaid) 1 1 1 1 1
Participations à la supervision technique dans les FOSA AAP (Cordaid) 1 1 1 1
Participation à la réunion de coordination du PAISS AAP (Cordaid) 1
Organisation d’une réunion de Comité Régional de suivi (CRS) AAP (Cordaid) 1
Participation active dans le transfert de l’AAP au FRPS AAP (Cordaid) 1 1 1 1
Paiement depenses fonctionnement (salaires, assurances, soutien) AAP (Cordaid) 1 1 1 1
Objectif 2: Transfert de l’AAP dans le
Signature covention FRPS 1
1e Réunion de l’assemblée générale constitutive pour affirmer la convention (avec membres statutaires) – membres déjà elu 12 representants de la communaute - elir president - - Approuver le manuel de procédures par le conseil d’administrationFRPS 1
Approuver le manuel de procédures par le conseil d’administration en utilisant le manuel des autres régionsFRPS 1
Creer un comité de recrutement pour le personnel FRPS 1
Rédiger les profils du personnel administratif FRPS 1
Appel d’offre ouvert au personnel administratif FRPS 1
Selection d'un administrateur et comptable FRPS 1
Creer une format pour les contrats d'emploi FRPS 1
Signature des contrat d'emploi administrateur et comptable FRPS 1
Création d'un comité de recrutement pour le manager du départementAdministrateur FRPS 1
Rédiger le profil du manager du département Administrateur FRPS 1
Appel d'offre ouvert Administrateur FRPS 1
Recrutement / interviews Administrateur FRPS 1
Signature du contrat entre le manager du département AAP et l'administrateurAdministrateur FRPS 1
Création d'un comité de recrutement (y compris le manager du département) pour les autres employées AAP (FRPS) 1
Rédiger les profils AAP (FRPS) 1
Appel d'offre ouvert AAP (FRPS) 1
Recrutement / interviews AAP (FRPS) 1
Signature des contrats (manager et employées) AAP (FRPS) 1
Formation PBF Administrateur du Fond, comptable, Personnel CAPR et AAPAAP (Cordaid) 1
Formation du personnel administratif du FRPS (administrateur, comptables etc.) pour les préparer pour le paiement des subventions PBFAAP (Cordaid) 1
Negocier le contrat entre le FRPS et le Ministere concernant le PBF (budget, activites, personnel) pour Avril - Decembre 2015Administrateur FRPS 1
Signature du contrat entre le FRPS et le Ministère Administrateur FRPS 1
Définir et mettre en place le processus de transfert de propriété des actifs au FondAAP (Cordaid) 1
Créer un inventaire de tous les actifs AAP (Cordaid) 1
Le fonds affirme le recu d'inventaires aupres le ministère Manager AAP (FRPS) 1
Transfert des dossiers capitalisé sur les activités AAP (Cordaid) 1
Transfert du portefeuille des FOSA sous contrat AAP (Cordaid) 1
Transfert de la comptabilité des subsides AAP (Cordaid) 1
Appui à l’ouverture d’une comptabilité générale AAP (Cordaid) 1
Formation à la gestion des fonds publiques (FOSA, SSD et structures de dialogue)AAP (Cordaid) 1
Mission de suivi Cordaid (Siege) 1
Atelier pour l'integration de L'AAP dans le FRPS - contrat de preformance interne etcCordaid (Siege) 1
Déposer tous les formulaires nécessaires pour ouvrir un compte bancaire ;Manager AAP (FRPS) 1
Fermer les comptes bancaires actuels de L'AAP Macdevis 1
Evaluation Externe (fin de l'annee 2015) Cordaid (Siege)
Signature des contrats de performance et regulation AAP (FRPS) 1
Validation des activites ASLO, FOSA, SSD et delegation AAP (FRPS) 1
Facturation des subsides des FOSA, des SSD, de la DRSP, des CDS et des mutuelles de santéAAP (FRPS) 1
Paiement ASLO, FOSA, SSD et delegation AAP (FRPS) 1
Paiement depenses fonctionnement (salaires, assurances, soutien) AAP (FRPS) 1
Entretien majeur du bureau AAP (Cordaid) 1
Remplacement des motos AAP (Cordaid) 1
47
Table 2 Plan d'activités pour le premier semestre 2015
Activité Responsible nov-14 dec-14 jan-15 feb-15 mrt-15 apr-15 mei-15 jun-15 jul-15
Objectif 1: Continuation des activités de l’AAP à l’Est Cameroun
Prologation des contracts du personnel de l'AAP AAP (Cordaid) 1
Signature des contrats de performance (FOSA et ASLO) et regalution AAP (Cordaid) 1
Renforcement continu des capacités des acteurs de mise en œuvre du PBFAAP (Cordaid) 1 1 1 1 1 1 1
Organisation de l’enquête de qualité communautaire AAP (Cordaid) 1 1 1 1 1 1 1
Formation structure de dialogue dans le PBF AAP (Cordaid) 1
Validation des activites ASLO, FOSA, SSD et delegation AAP (Cordaid) 1 1 1 1 1 1 1
Facturation des subsides des FOSA, des SSD, de la DRSP, des CDS et des mutuelles de santéAAP (Cordaid) 1 1 1 1 1 1 1
Paiement ASLO, FOSA, SSD et delegation AAP (Cordaid) 1 1 1 1 1 1 1
Tenue des réunions de coordination mensuelle de l’AAP et brainstorming staffAAP (Cordaid) 1 1 1 1 1 1 1 1
Participations à la supervision technique dans les FOSA AAP (Cordaid) 1 1 1 1 1 1 1
Participation à la réunion de coordination du PAISS AAP (Cordaid) 1 1
Organisation d’une réunion de Comité Régional de suivi (CRS) AAP (Cordaid) 1 1
Participation active dans le transfert de l’AAP au FRPS AAP (Cordaid) 1 1 1 1 1 1 1
Paiement depenses fonctionnement (salaires, assurances, soutien) AAP (Cordaid) 1 1 1 1 1 1 1
Objectif 2: Transfert de l’AAP dans le
Signature covention FRPS 1
1e Réunion de l’assemblée générale constitutive pour affirmer la convention (avec membres statutaires) – membres déjà elu 12 representants de la communaute - elir president - - Approuver le manuel de procédures par le conseil d’administrationFRPS 1
Approuver le manuel de procédures par le conseil d’administration en utilisant le manuel des autres régionsFRPS 1
Creer un comité de recrutement pour le personnel FRPS 1
Rédiger les profils du personnel administratif FRPS 1
Appel d’offre ouvert au personnel administratif FRPS 1
Selection d'un administrateur et comptable FRPS 1
Creer une format pour les contrats d'emploi FRPS 1
Signature des contrat d'emploi administrateur et comptable FRPS 1
Création d'un comité de recrutement pour le manager du départementAdministrateur FRPS 1
Rédiger le profil du manager du département Administrateur FRPS 1
Appel d'offre ouvert Administrateur FRPS 1
Recrutement / interviews Administrateur FRPS 1
Signature du contrat entre le manager du département AAP et l'administrateurAdministrateur FRPS 1
Création d'un comité de recrutement (y compris le manager du département) pour les autres employées AAP (FRPS) 1
Rédiger les profils AAP (FRPS) 1
Appel d'offre ouvert AAP (FRPS) 1
Recrutement / interviews AAP (FRPS) 1 1
Signature des contrats (manager et employées) AAP (FRPS) 1
Formation PBF Administrateur du Fond, comptable, Personnel CAPR et AAPAAP (Cordaid) 1
Formation du personnel administratif du FRPS (administrateur, comptables etc.) pour les préparer pour le paiement des subventions PBFAAP (Cordaid) 1
Negocier le contrat entre le FRPS et le Ministere concernant le PBF (budget, activites, personnel) pour Avril - Decembre 2015Administrateur FRPS 1 1 1
Signature du contrat entre le FRPS et le Ministère Administrateur FRPS 1
Définir et mettre en place le processus de transfert de propriété des actifs au FondAAP (Cordaid) 1 1
Créer un inventaire de tous les actifs AAP (Cordaid) 1
Le fonds affirme le recu d'inventaires aupres le ministère Manager AAP (FRPS) 1
Transfert des dossiers capitalisé sur les activités AAP (Cordaid) 1
Transfert du portefeuille des FOSA sous contrat AAP (Cordaid) 1
Transfert de la comptabilité des subsides AAP (Cordaid) 1
Appui à l’ouverture d’une comptabilité générale AAP (Cordaid) 1
Formation à la gestion des fonds publiques (FOSA, SSD et structures de dialogue)AAP (Cordaid) 1
Mission de suivi Cordaid (Siege) 1
Atelier pour l'integration de L'AAP dans le FRPS - contrat de preformance interne etcCordaid (Siege) 1
Déposer tous les formulaires nécessaires pour ouvrir un compte bancaire ;Manager AAP (FRPS) 1
Fermer les comptes bancaires actuels de L'AAP Macdevis 1
Evaluation Externe (fin de l'annee 2015) Cordaid (Siege)
Signature des contrats de performance et regulation AAP (FRPS) 1
Validation des activites ASLO, FOSA, SSD et delegation AAP (FRPS) 1
Facturation des subsides des FOSA, des SSD, de la DRSP, des CDS et des mutuelles de santéAAP (FRPS) 1
Paiement ASLO, FOSA, SSD et delegation AAP (FRPS) 1
Paiement depenses fonctionnement (salaires, assurances, soutien) AAP (FRPS) 1
Entretien majeur du bureau AAP (Cordaid) 1
Remplacement des motos AAP (Cordaid) 1