Utiliser les données opérationnelles

et SIGS pour le suivi de programme

et l’évaluation d’impact – Zambie

Atelier sur les Résultats et l’Evaluation d’Impact 2014

Délégation zambienne

25 Mars 2014

Modèle de FBR en Zambie

L’un des rares exemples de “contrat interne” à travers le secteur public de la santé

Quasi séparation Acheteur-Prestataire par différents niveaux du système de prestation de soins de santé zambien

Vérification des données sur la quantité et la qualité Comités de pilotage (CPs) en tant que vérificateurs indépendants Vérification externe périodique

Paiements basés sur la performance

“Paiement à l’acte” sur un ensemble d’indicateurs de santé maternelle, néonatale et infantile (SMNI) dans les centres de santé

Cadre d’Evaluation de la Performance pour les Bureaux Médicaux de District

Autonomie de gestion et financière des formations sanitaires

2

Données opérationnelles

3

Tendances des indicateurs de performance: T2 2012-T4 2013

4 0

2,000

4,000

6,000

8,000

10,000

12,000

14,000

16,000

T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013

No

mb

re

Accouchementsqualifiés

Visites anténataleset de suivi pendantla grossesse

Visite postnatale

Enfantcomplétement

immunisé

3ème dose de TPIFansidar

Femmes enceintesayant reçuNiverapine et AZT

Tendances des indicateurs de performance: T2 2012-T4 2013…

5

0

100,000

200,000

300,000

400,000

500,000

600,000

700,000

800,000

900,000

T2 2012 T3 2012 T4 2012 T1 2013 T2 2013 T3 2013 T4 2013

No

mb

re

Consultationcurative

Utilisateurs deméthodesmodernes dePF

Femmesenceintesconseillées ettestées au VIH

Augmentation en pourcentage – Indicateurs de Quantité

6

14%

-1%

23%

-49%

69%

44%

94%

70%

203%

14% 19% 21% 22% 22% 25%

63% 67%

88%

-100%

-50%

0%

50%

100%

150%

200%

250%

Consultationcurative

Femmesenceintes HIV+

ayant reçuNiverapine et

AZT

Femmesenceintes

conseillées ettestées au VIH

Visitesanténatales et

de suivi pendantla grossesse

Accouchementsqualifiés

3ème dose deTPI Fansidar

Visite postnatale Enfantcomplétement

immunisé

Utilisateurs deméthodes

modernes de PF

Po

urc

enta

ge d

e ch

ange

men

t

T2 2012 contre T4 2013 (depuis début projet) T4 2012 contre T4 2013

Utilisation des données du Système d’Information et de Gestion Sanitaire

(SIGS)

7

Similarités et différences: Données opérationnelles (OP) contre données SIGS

• Les données OP et SIGS sont collectées des mêmes formations sanitaires, et des mêmes entrées de données

• Cependant, les données OP sont compilées bien plus vite que les données SIGS étant donnés les conditions nécessaires à la vérification, et les liens avec les paiements

• Les données opérationnelles sont seulement compilées à partir des patients inscrits, tandis que les données HMIS sont compilées à partir des registres et des feuilles de comptage

• La consolidation des données OP et SIGS est faite par un personnel distinct au niveau du district

• 100% des données OP sont vérifiées sur une base mensuelle, tandis que les données SIGS reposent principalement sur des données auto-rapportées qui sont vérifiées occasionnellement

• Les données OP et SIGS DOIVENT indiquer les mêmes tendances dans les indicateurs, malgré des différences de magnitude 8

Utiliser les données SIGS pour comparer les 3 bras de l’étude de l’évaluation d’impact

Que peut-on dire avant l’enquête finale?

Analyse en différences-de-différences des tendances avant et après le FBR

Période d’analyse – jan 2011 à déc 2012: FBR introduit en avril 2012

Pas une analyse définitive puisque les données SIGS sont auto-rapportées mais:

Vérification importante sur le FBR: Les résultats des données opérationnelles concordent-ils avec les données SIGS?

Quel est l’impact du FBR sur les indicateurs non incités? 9

Evaluation d’Impact

Explore s’il existe un lien causal entre le projet de FBR et les résultats

Enquête de base – quantitative et qualitative

Evaluation de processus (entretiens, observations, revue des données opérationnelles et SIGS)

Enquête finale – quantitative et qualitative

Trois (3) bras d’étude:

10 districts d’intervention FBR (FBR)

10 districts financés sur la base des intrants (C1)

10 districts de pur contrôle (C2)

10

Impact sur les indicateurs incités

Toutes les mesures: par service par formation par mois

Gains dans plusieurs services ciblés, pas de changement dans l’utilisation totale, et déclins dans l’immunisation

Pas de gains du financement additionnel aux districts 11

Tendance dans l’accouchement qualifié (Jan 2011-Déc 2012)

0

200

400

600

800

1000

1200

1400

1600

1800

2000

Basé sur les intrants

Pur contrôle

Source données: SIGS, Ministère de la Santé

FBR implémenté

12

FBR

Impact sur indicateurs non incités

Peu de répercussion sur les non incités

Financement additionnel a embauché plus de personnel (mais pas de changement sur les mesures des services) 13

Utilisation des données OP et SIGS a rendu possible de: Trianguler les données OP et SIGS càd. vérifier la

concordance des données OP avec les données SIGS

Vérifier indépendemment les données OP

Suivre les tendances des indicateurs incités et non-incités dans les trois (3) bras de recherche

Suivre l’utilisation des fonds par indicateur, et le montant total alloué au projet de FBR

Faire des ajustements au design du FBR, ainsi que fournir plus de renforcement des capacités et de soutien technique 14

Exemples de comment l’information émergente a été utilisée Changement de l’application de l’outil qualité pour récompenser les

améliorations de qualité plutôt que de pénaliser les déficits de qualité

Etablissement de la composante investissement à un minimum de 40% et des incitations à la performance pour le personnel à un maximum de 60%

Augmentation des frais d’évaluation pour les hôpitaux faisant les audits de la qualité

Révision du pack assistance technique pour s’appuyer sur les capacités locales

Soutien technique accru aux formations sanitaires en sous-performance

Introduction de frais de supervision pour les comités de pilotage du FBR de la province

15

Défis

• Transmission tardive des données SIGS

• Faible qualité des données SIGS du fait de la migration à un système en ligne DHIS-2

• Agents de saisie des données inadéquats dans les formations sanitaires en particulier dans les districts de contrôle

• Coûteux de faire une évaluation de processus impliquant des observations en formation sanitaire et des entretiens avec prestataires de service, patients et membres de la communauté

16

Merci

17