Examen sur dossier de la qualité des données...Examen sur dossier L’examen sur dossier de la qualité des données ne nécessite pas de collecte supplémentaire de données. Il

Module 2Examen sur dossier de la qualité des données

ISBN 978 92 4 251273 1

DATA QUALITY REVIEW (EXAMEN DE LA QUALITÉ DES DONNÉES)




Data quality review (examen de la qualité des données) : une boîte à outils pour l'évaluation de la qualité des données des établissements de santé. Module 2. Examen sur dossier de la qualité des données [Data quality review: a toolkit for facility data quality assessment. Module 2. Desk review of data quality]

ISBN 978-92-4-251273-1

© Organisation mondiale de la Santé 2019

Certains droits réservés. La présente publication est disponible sous la licence Creative Commons Attribution – Pas d’utilisation commerciale – Partage dans les mêmes conditions 3.0 IGO (CC BY NC-SA 3.0 IGO ; https://creativecommons.org/licenses/by-nc-sa/3.0/igo).

Aux termes de cette licence, vous pouvez copier, distribuer et adapter l’oeuvre à des fins non commerciales, pour autant que l’oeuvre soit citée de manière appropriée, comme il est indiqué ci dessous. Dans l’utilisation qui sera faite de l’oeuvre, quelle qu’elle soit, il ne devra pas être suggéré que l’OMS approuve une organisation, des produits ou des services particuliers. L’utilisation de l’emblème de l’OMS est interdite. Si vous adaptez cette oeuvre, vous êtes tenu de diffuser toute nouvelle oeuvre sous la même licence Creative Commons ou sous une licence équivalente. Si vous traduisez cette oeuvre, il vous est demandé d’ajouter la clause de non responsabilité suivante à la citation suggérée : « La présente traduction n’a pas été établie par l’Organisation mondiale de la Santé (OMS). L’OMS ne saurait être tenue pour responsable du contenu ou de l’exactitude de la présente traduction. L’édition originale anglaise est l’édition authentique qui fait foi ».

Toute médiation relative à un différend survenu dans le cadre de la licence sera menée conformément au Règlement de médiation de l’Organisation mondiale de la propriété intellectuelle.

Citation suggérée. Data quality review (examen de la qualité des données) : une boîte à outils pour l'évaluation de la qualité des données des établissements de santé. Module 2. Examen sur dossier de la qualité des données [Data quality review: a toolkit for facility data quality assessment. Module 2. Desk review of data quality]. Genève : Organisation mondiale de la Santé ; 2019. Licence : CC BY-NC-SA 3.0 IGO.

Catalogage à la source. Disponible à l’adresse http://apps.who.int/iris.

Ventes, droits et licences. Pour acheter les publications de l’OMS, voir http://apps.who.int/bookorders. Pour soumettre une demande en vue d’un usage commercial ou une demande concernant les droits et licences, voir http://www.who.int/about/licensing.

Matériel attribué à des tiers. Si vous souhaitez réutiliser du matériel figurant dans la présente œuvre qui est attribué à un tiers, tel que des tableaux, figures ou images, il vous appartient de déterminer si une permission doit être obtenue pour un tel usage et d’obtenir cette permission du titulaire du droit d’auteur. L’utilisateur s’expose seul au risque de plaintes résultant d’une infraction au droit d’auteur dont est titulaire un tiers sur un élément de la présente œuvre.

Clause générale de non responsabilité. Les appellations employées dans la présente publication et la présentation des données qui y figurent n’impliquent de la part de l’OMS aucune prise de position quant au statut juridique des pays, territoires, villes ou zones, ou de leurs autorités, ni quant au tracé de leurs frontières ou limites. Les traits discontinus formés d’une succession de points ou de tirets sur les cartes représentent des frontières approximatives dont le tracé peut ne pas avoir fait l'objet d'un accord définitif.

La mention de firmes et de produits commerciaux ne signifie pas que ces firmes et ces produits commerciaux sont agréés ou recommandés par l’OMS, de préférence à d’autres de nature analogue. Sauf erreur ou omission, une majuscule initiale indique qu’il s’agit d’un nom déposé.

L’Organisation mondiale de la Santé a pris toutes les précautions raisonnables pour vérifier les informations contenues dans la présente publication. Toutefois, le matériel publié est diffusé sans aucune garantie, expresse ou implicite. La responsabilité de l'interprétation et de l'utilisation dudit matériel incombe au lecteur. En aucun cas, l’OMS ne saurait être tenue responsable des préjudices subis du fait de son utilisation.

Conception et mise en page graphique : L’IV Com Sàrl, Villars-sous-Yens, Suisse.

Imprimé par le Service de production des documents de l’OMS, Genève, Suisse.

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Table des matières

Remerciements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

Abréviations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4

2.1 Vue d’ensemble . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Examen sur dossier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

Indicateurs clés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5

2.2 Mise en œuvre de la procédure d'examen de la qualité des données sur dossier . . . . . . . . . 7

Préparation et mise en œuvre de l’examen sur dossier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

2.3 Analyse et interprétation des données de l’examen sur dossier . . . . . . . . . . . . . . . . . . . . . . . . . 9

Résultats analytiques de l’examen sur dossier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

Annexe 1 : Indicateurs recommandés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Indicateurs clés . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Indicateurs supplémentaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Annexe 2 : Définitions et exigences pour le calcul des paramètres aux fins de l’examen sur dossier de la qualité des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Dimension 1. Exhaustivité et ponctualité des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Dimension 2. Cohérence interne des données notifiées . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29

Dimension 3. Cohérence externe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36

Dimension 4. Cohérence externe des données sur la population . . . . . . . . . . . . . . . . . . . . . . 39

Annexe 3 : Données requises et exigences de formatage pour l’examen sur dossier de la qualité des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Formatage des données . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44

Annexe 4 : Outil Microsoft Excel d’analyse automatique de la qualité des données . . . . . . . . . . 50

1

Remerciements

Cette boîte à outils, qui est le fruit d’une collaboration entre l’Organisation mondiale de la Santé, le Fonds mondial, l’Alliance GAVI et l’USAID/MEASURE Evaluation, propose une approche unifiée de la qualité des données. Elle intègre et complète des outils et méthodes passés et actuels d’évaluation de la qualité des données dans les établissements, en s’appuyant sur les meilleures pratiques et les leçons tirées de l’expérience de nombreux pays.

Kavitha Viswanathan a supervisé les aspects techniques liés à la mise au point de ce manuel, sous la direction générale de Kathryn O’Neill. Ties Boerma, David Boone, Robert Pond, Olav Poppe, Claire Preaud, Ashley Sheffel, Amani Siyam et Marina Takane ont apporté des contributions techniques.

Tous les modules de cette boîte à outils s’appuient sur les contributions techniques de différents départements et programmes de l’OMS et d’autres organismes. Nous tenons en particulier à citer les personnes suivantes : Thomas Cherian, Marta Gacic-Dobo, Jan Van Grevendonk ; Richard Cibulski, Michael Lynch ; Katherine Floyd, Philippe Glaziou, Hazim Timimi ; Isabelle Bergeri, Txema Callejas, Chika Hayashi, Serge Xueref ; Ryuichi Komatsu, John Puvimanasinghe, Annie Schwartz, Alka Singh, Nathalie Zorzi ; Peter Hansen, Chung-won Lee.

Nous tenons à remercier tout particulièrement les pays partenaires qui ont testé différents éléments de cette approche et nous ont fait part de leurs précieux commentaires (Bénin, Burkina Faso, Cambodge, Kenya, Mauritanie, Ouganda, République démocratique du Congo, Sierra Leone, Togo, Zambie et Zanzibar, en République-Unie de Tanzanie).

Cette boîte à outils a été mise au point grâce à des subventions de l’initiative Data for Health de Bloomberg Philanthropies ; de l’Alliance GAVI ; du Fonds mondial de lutte contre le sida, la tuberculose et le paludisme ; et de l’Agence norvégienne de coopération pour le développement (Norad).

2

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Contenu de la boîte à outilsLa boîte à outils pour l’examen de la qualité des données contient des lignes directrices et d’autres ressources. Les lignes directrices sont présentées dans les trois modules suivants. Des ressources supplémentaires relatives à la collecte et à l’analyse des données seront publiées en ligne à des fins de téléchargement. Des informations plus détaillées sur ces ressources supplémentaires sont fournies dans le Module 1, Cadre et paramètres.

document actuel

Module 1Cadre et paramètres



ISBN 978 92 4 251272 4

Module 1 Cadre et

paramètres


ISBN 978 92 4 251273 1



Module 2 Examen sur dossier

de la qualité des données

Module 3Vérification des données et évaluation des systèmes



ISBN 978 92 4 251274 8

Module 3 Vérification des

données et évaluation des systèmes

3

Abréviations

ANC soins prénatalsANC1 première consultation prénataleAT vaccin à base d'anatoxine tétaniqueDHIS 2 logiciel open source en ligne que les pays utilisent principalement comme

système d’information sanitaire pour la gestion des données et le suivi des programmes de santé

DTC vaccin antidiphtérique-antitétanique-anticoquelucheuxDTC3 trois doses de vaccin antidiphtérique-antitétanique anticoquelucheuxFonds mondial Fonds mondial de lutte contre le sida, la tuberculose et le paludismeHMIS système d’information pour la gestion sanitaire

(health management information system) MCV vaccin à valence rougeoleOMS Organisation mondiale de la SantéONG organisation non gouvernementalePenta vaccin pentavalentPTME prévention de la transmission mère-enfantTAR traitement antirétroviralTDR test de diagnostic rapideTPI traitement préventif intermittentTPIp3 trois doses de traitement préventif intermittent pendant la grossesseTPI1 première dose de traitement préventif intermittentUSAID United States Agency for International Development VIH virus de l'immunodéficience humaineVPC vaccin antipneumococcique conjugué

4

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

2.1 Vue d’ensemble

Examen sur dossierL’examen sur dossier de la qualité des données ne nécessite pas de collecte supplémentaire de données. Il porte sur les données existantes, issues des systèmes d’information ordinaires. L’examen sur dossier vise à évaluer les dimensions suivantes de la qualité des données : exhaustivité, cohérence interne, comparaisons externes et cohérence externe des données sur la population. Normalement, l’examen sur dossier exige de disposer, pour les indicateurs choisis, de données mensuelles ou trimestrielles pour chaque unité administrative infranationale étudiée pour l’année de notification la plus récente, ainsi que de données annuelles agrégées pour les trois dernières années de notification.

Au travers d’une analyse des indicateurs programmatiques sélectionnés, la procédure d’examen sur dossier permet de quantifier les problèmes liés à l’exhaustivité, à l’exactitude et à la cohérence des données, et ainsi de fournir des informations utiles pour déterminer si la qualité des données provenant des établissements de santé est suffisante pour appuyer les efforts de planification et de suivi annuel. L’OMS recommande que l’examen sur dossier, en tant que composante de la procédure d’examen de la qualité des données, soit réalisé chaque année.

L’examen sur dossier consiste en une évaluation de la qualité des données à deux niveaux :

une évaluation de chaque indicateur agrégé au niveau national ;

une évaluation des performances des unités infranationales (par exemple, districts ou provinces/régions) pour les indicateurs sélectionnés.

Les paramètres présentés pour les procédures annuelles d'examen de la qualité des données peuvent également être utilisés dans le cadre de contrôles de routine de la qualité des données. Certains paramètres inclus dans l’examen annuel ne sont pas pertinents pour le contrôle de routine de la qualité des données, mais la plupart d’entre eux peuvent être adaptés à cette fin. Au minimum, les contrôles de routine de la qualité des données devront inclure une évaluation de l’exhaustivité (à la fois des rapports mensuels et des données individuelles), un examen des valeurs extrêmes, une comparaison des résultats obtenus pour le mois de l’année en cours avec les valeurs observées pour le même mois les années précédentes, et une vérification de la cohérence entre les indicateurs apparentés.

5

Indicateurs clésLes indicateurs clés proposés ont été sélectionnés en fonction de leur importance pour le suivi et l’évaluation des programmes. Ils portent notamment sur les soins prénatals, la vaccination, le VIH, la tuberculose et le paludisme. Le Tableau 2.1 fournit la liste des indicateurs clés ou « traceurs » recommandés pour la procédure régulière d'examen de la qualité des données.

Il est recommandé aux pays d’adopter des indicateurs figurant sur cette liste de base, mais ils peuvent également en choisir d’autres ou élargir la sélection selon leurs besoins et les ressources dont ils disposent. Une liste complète d’indicateurs clés et d’indicateurs supplémentaires est fournie en annexe 1.

Tableau 2.1 Indicateurs clés recommandés pour la procédure d'examen de la qualité des données.

Indicateurs recommandés pour l'examen de la qualité des données

Domaine programmatique

Nom de l’indicateur Définition complète de l’indicateur

Santé maternelle Couverture de la première consultation prénatale (ANC1)

Nombre et pourcentage de femmes enceintes ayant bénéficié d’au moins une consultation pendant la grossesse

Vaccination Couverture du DTC3/Penta3 Nombre et pourcentage d’enfants de <1 an ayant reçu trois doses de vaccin DTC/pentavalent

VIH Actuellement sous TAR Nombre et pourcentage de personnes vivant avec le VIH qui sont actuellement sous TAR

Tuberculose Taux de notification de la tuberculose Nombre de nouveaux cas et de cas de rechute de la tuberculose qui sont notifiés pour 100 000 habitants

Paludisme Nombre total de cas confirmés de paludisme1

Nombre de cas de paludisme confirmés (par examen microscopique ou TDR) pour 1000 personnes par an

Remarque : ANC = soins prénatals ; DTC3 = trois doses de vaccin antidiphtérique-antitétanique-anticoquelucheux ; Penta = vaccin pentavalent ; TAR = traitement antirétroviral ; TDR = test de diagnostic rapide.

1 Si le nombre de cas confirmés de paludisme n’est pas recueilli, on peut lui substituer le nombre total de cas de paludisme.

6

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

2.2 Mise en œuvre de la procédure d'examen de la qualité des données sur dossier

Préparation et mise en œuvre de l’examen sur dossierDonnées requisesAux fins de l’examen sur dossier, il faut disposer, pour les indicateurs choisis, de données mensuelles ou trimestrielles pour chaque unité administrative infranationale étudiée pour l’année de notification la plus récente, ainsi que de données annuelles agrégées pour les trois dernières années de notification.

Des informations sur les rapports agrégés transmis et sur leur date de réception sont également requises afin d’évaluer l’exhaustivité et la ponctualité de la notification. En vue d’évaluer les tendances en matière d’exhaustivité, il faut en outre disposer de données sur le nombre de rapports soumis et le nombre d’établissements supposés notifier des données pour les trois années précédant l’année de l’analyse. Si les informations relatives à tous les indicateurs primaires sélectionnés sont consignées sur le même formulaire, comme le formulaire du système d’information pour la gestion sanitaire (HMIS), ces données seront suffisantes pour tous les indicateurs choisis. Si les valeurs des indicateurs sélectionnés sont consignées dans des formulaires distincts (par exemple, des formulaires de notification propres à chaque programme), il faudra procéder à une analyse séparée pour chaque groupe de formulaires.

Parmi les autres données requises figurent les données de dénominateur pour le calcul des taux de couverture des indicateurs sélectionnés, ainsi que les résultats (et l’écart-type) de l’enquête en population la plus récente, qu’il s’agisse d’une enquête en grappes à indicateurs multiples, d’une enquête démographique et sanitaire ou d’une enquête sur la couverture vaccinale. Une description plus détaillée des données requises et des exigences de formatage pour l’examen sur dossier est fournie en annexe 3.

Collecte des donnéesLes données sur les indicateurs sont recueillies à partir du système HMIS ou auprès des programmes de santé, selon la source la plus fréquemment utilisée pour la planification, le suivi et l’évaluation des programmes. Comme la procédure d'examen de la qualité des données porte sur les données de routine des établissements de santé, l’appui de la direction du ministère de la santé est essentiel pour obtenir les données du système HMIS ou des programmes et pour en évaluer la qualité. L’analyse de la qualité des données fournies par les établissements exige de

7

travailler en étroite collaboration avec les administrateurs des programmes, les responsables du suivi et de l’évaluation et les administrateurs du système HMIS.

Formatage et compilation des donnéesUne fois les données obtenues, elles doivent être formatées en vue d’en faciliter l’analyse. Ce formatage consiste généralement à créer un « fichier plat » dans lequel les lignes contiennent les données relatives aux établissements et/ou aux districts et les colonnes contiennent les valeurs des indicateurs par mois ou par année (par exemple, au format Microsoft Excel, CSV).

L’annexe 3 donne des conseils détaillés sur le formatage des données aux fins de la procédure d'examen de la qualité des données. Les analyses d'examen de la qualité des données sont programmables dans la plupart des applications logicielles, mais peuvent aussi être réalisées sur support papier.

Une fois que les données sont convenablement formatées, l’analyse peut commencer. Les paramètres de mesure de la qualité des données doivent être programmés dans le logiciel choisi par le groupe de coordination de l'examen de la qualité des données, avec une présentation des résultats sous forme de graphiques (le cas échéant), de tableaux et de listes. Lorsqu’un paramètre met en évidence d’éventuels problèmes de qualité des données dans certaines unités administratives, il faut qu’une liste de ces unités administratives soit générée pour tenter de comprendre les anomalies et, si possible, de corriger les données. Les indicateurs destinés à comparer les tendances doivent produire des graphiques sur lesquels les courbes de tendance apparaissent côte à côte pour faciliter la comparaison. La comparaison des unités administratives doit générer des diagrammes à barres représentant les résultats des différentes unités pour permettre une meilleure compréhension de leurs performances relatives.

Cependant, les pays qui ne sont pas disposés à faire les investissements requis pour adapter les logiciels existants à la méthodologie d'examen de la qualité des données peuvent utiliser un outil au format Microsoft Excel mis à disposition par l’OMS pour la compilation et le formatage des données sous une forme facilitant l’analyse des données. Une fois que les données sont saisies dans l’outil standardisé, les paramètres de mesure de la qualité sont automatiquement calculés, accompagnés d’illustrations graphiques des performances.1

Les résultats de l’enquête en établissement réalisée dans le cadre de la procédure d'examen de la qualité des données (vérification des données et évaluation des systèmes) doivent être intégrés à l’analyse de l’examen sur dossier. Les informations relatives à l’exactitude de la notification pour les indicateurs choisis auront une incidence sur la confiance qu’accordent les responsables de l’élaboration des politiques aux données communiquées. Les informations concernant l’insuffisance ou l’inadéquation du système de notification permettent d’identifier les activités susceptibles de renforcer le système.

1 Des travaux sont également en cours pour incorporer nombre de ces paramètres dans le logiciel DHIS et faciliter l’extraction des données au format requis pour une analyse sous Excel à l'intention des utilisateurs du logiciel DHIS.8

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

2.3 Analyse et interprétation des données de l’examen sur dossier

L’analyse des résultats de l’examen sur dossier dans la procédure d'examen de la qualité des données est facilitée par l’emploi d’un outil Microsoft Excel pouvant générer les paramètres standard après saisie des données nécessaires, ce qui permet à l’utilisateur de consacrer davantage de temps à l’analyse et à l’interprétation. L’annexe 4 fournit des informations complémentaires sur cet outil Excel.

Il convient que les résultats soient présentés sous forme de tableaux et de graphiques, avec un espace suffisant pour ajouter une interprétation des résultats. Les résultats de l'examen de la qualité des données devraient être interprétés en consultation avec des personnels qui ont une bonne connaissance de la dynamique de prestation des services au cours de l’année d’analyse (en particulier les administrateurs des programmes).

Résultats analytiques de l’examen sur dossierDes illustrations des résultats obtenus pour l’analyse d'examen de la qualité des données sont fournies ci-après pour chaque dimension de la qualité des données. Tous ces exemples sont tirés de l’outil Microsoft Excel d'examen de la qualité des données de l’OMS, accompagnés de commentaires (en écriture manuscrite) insérés par l’utilisateur.

Dimension 1 : Exhaustivité de la notification

La Figure 2.1 fournit les résultats nationaux des analyses d’exhaustivité des données au niveau des districts (Indicateur 1a), ainsi que le nombre et le pourcentage de districts ne remplissant pas les critères établis. 1

1 L’outil Excel d'examen de la qualité des données est configuré de sorte à évaluer l’exhaustivité de la notification pour un seul formulaire de notification (par exemple, le formulaire mensuel principal du système HMIS). La notification de routine repose généralement sur l’emploi de plusieurs formulaires. Le nombre d’établissements pour lesquels des rapports sont attendus et le nombre d’exemplaires du formulaire effectivement soumis peuvent varier d’un formulaire à l’autre. Les utilisateurs devront employer leur propre outil (ou plusieurs copies de l’outil Excel d'examen de la qualité des données) pour examiner l’exhaustivité de ces autres formulaires.

9

2014

Taux national d’exhaustivité de la notification des districts 98,3 %Nombre de districts dont le taux d’exhaustivité est inférieur à 75 % 4Pourcentage de districts dont le taux d’exhaustivité est inférieur à 75 % 5,6 %Districts dont le taux d’exhaustivité est inférieur à 75 % District 1, District 3, District 7, District 10

Interprétation des résultats : Indicateur 1a

• Bonneexhaustivitédelanotification,poursuivantunetendanceàlahausseobservéecesdernièresannées.

•Enquêtersurlesdistrictsdontl’exhaustivitéest<75%pourl’année.

• DanslesDistricts1et3,lesformulairesdenotificationétaientenrupturedestockpendantle2etrimestredel’annéedernière

Indicateur 1a : Taux national d’exhaustivité de la notification des districts et identification des districts présentant un taux d’exhaustivité insuffisant

Figure 2.1 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour l’exhaustivité de la notification

100 %

90 %

l2011

l2012

l2013

l2014

80 %

Exhaustivité de la notification au niveau des établissements de santé

Exhaustivité de la notification au niveau des districts

Interprétation des résultats : Indicateur 1f

• Demanièregénérale,persistanced'untauxélevéd'exhaustivitédelanotificationauniveaudesétablissementsetdesdistricts.

•Latendanceestàlahausseauniveaudesdistricts,maisaenregistréunebaisseen2014auniveaudesétablissements.Explorerlesraisonsdecedéclin–est-celedébutd'unetendance?

Indicateur 1f: cohérence de l'exhaustivité des rapports

10

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Dimension 2 : Cohérence interne des données notifiéesValeurs atypiquesLa Figure 2.2 fournit un exemple de résultats d’identification de « valeurs atypiques » présentant un écart extrême par rapport à la moyenne des valeurs communiquées pour six indicateurs aux niveaux national et infranational. Les valeurs atypiques par rapport à la médiane des valeurs communiquées sont également identifiées dans la procédure d'examen de la qualité des données.

Indicateur 2a.1 : Valeurs atypiques extrêmes (>3 écarts-types de la moyenne) 2014

Domaine programmatique et indicateur % Nbre % Nom

Santé maternelle - première consultation prénatale 0,2 % 2 2,5 % District 2, District 7

Vaccination - 3e dose de vaccin contenant le DTC 0,1 % 1 1,3 % District 3

VIH - Nombre de personnes séropositives actuellement sous TAR

0,0 % —

Tuberculose - Nombre de cas notifiés de tuberculose (toutes formes confondues)

0,0 % —

Paludisme - Nombre notifié de cas confirmés de paludisme 0,0 % —

Statistiques services généraux - Nombre total de consultations ambulatoires

0,4 % 4 5,0 % District 2, District 7, District 9, District 10

Total (tous indicateurs confondus) 0,1 %

Interprétation des résultats - Indicateur 2a1 :

• Bonsrésultats,comptetenuduvolumededonnées

•LavaleuratypiquepourlesconsultationsprénatalesdansleDistrict2sembleêtreuneerreurdesaisiedesdonnées:lavaleurest10foissupérieureauxautresvaleursmensuellescommuniquéesparledistrictl’andernier;appelerleresponsabledel’informationsanitairedudistrictpourenquêter

•Lesvaleursrelativesauxconsultationsambulatoirespourraientêtrelerésultatd’unecampagnedemarketingsocialmenéel’andernierpouraméliorerlerecoursauxsoins;appelerlesresponsablesdel’informationsanitairedesdistrictsidentifiéspourvérifierleschiffres.

Indicateur 2a : Identification des valeurs atypiques

Figure 2.2 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données. pour l’identification des valeurs atypiques

11

Les valeurs atypiques sont révélatrices de problèmes en matière de qualité des données ou d’une évolution des modes de prestation des services, ou des deux. On peut s’attendre à une certaine variabilité pour des indicateurs particuliers (comme la vaccination), mais pas pour d’autres. La proportion globale de valeurs identifiées comme atypiques est indiquée, tout comme le nombre et le pourcentage de districts présentant des valeurs extrêmes. L’interprétation des résultats peut être consignée dans l’espace prévu à cet effet.

Cohérence dans le tempsL’évaluation de la cohérence dans le temps vise à examiner la valeur obtenue pour l’année en cours par rapport aux valeurs enregistrées les années précédentes. En fonction de la tendance escomptée pour l’indicateur (maintien à un niveau constant ou augmentation/diminution), la valeur obtenue pour l’année en cours est comparée à la moyenne des valeurs des trois années précédentes (tendance à niveau constant) ou à la valeur prévisionnelle1 déduite des valeurs enregistrées les années précédentes (tendance à niveau non constant). Le rapport qui en résulte est calculé pour chaque unité administrative infranationale et est comparé au rapport obtenu au niveau national. Les unités administratives infranationales dont les résultats sortent d’un intervalle limite de qualité défini par l’utilisateur sont identifiées pour faire l’objet d’enquêtes approfondies.

Dans la Figure 2.3, le graphique (donné à titre d’exemple) illustre les résultats obtenus en matière de consultations ambulatoires durant l’année en cours pour chaque district administratif infranational par rapport à la moyenne des consultations ambulatoires au cours des trois années précédentes dans la même unité administrative. Les lignes en pointillés représentent l’intervalle limite de qualité recommandé ou défini par l’utilisateur, tandis que la ligne continue indique la relation, au niveau national, entre les consultations ambulatoires dans l’année en cours et la moyenne des trois années précédentes. Les valeurs des districts administratifs infranationaux qui sortent de cet intervalle limite de qualité apparaissent au-dessus ou au dessous des lignes en pointillés. Ces districts font l’objet d’enquêtes pour identifier d’éventuels problèmes en matière de qualité des données. Le graphique et le tableau associé révèlent que le « District 3 » est le seul district où le nombre de consultations ambulatoires en 2014 dépassait de plus de 33 % le nombre escompté (à savoir la moyenne du nombre annuel de consultations dans la période 2011–2013).

1 La valeur prévisionnelle est obtenue en calculant la valeur attendue pour l’année en cours à partir de la pente de la droite représentant les 3 années précédentes (la tendance) et en comparant la valeur calculée à la valeur réelle.

12

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Année 2014

Tendance escomptée Niveau constant

Comparer les districts à : résultat national

Seuil de qualité 33 %

Résultat national (%) 109 %

Nombre de districts dont les résultats sont divergents

1

Pourcentage de districts dont les résultats sont divergents

8 %

Nom des districts dont les résultats sont divergents : District 3

2b2 : Cohérence dans le temps de l’indicateur « Statistiques services généraux - Nombre total de consultations ambulatoires »

Figure 2.3 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence dans le temps – tendance à niveau constant pour l’indicateur

Interprétation des résultats - Indicateur 2b2 :

• Globalement,lerapportobtenuauniveaunationalestde1,09,cequisignifiequelenombredeconsultationsambulatoirespourl’annéeencoursestsupérieurde9%àlamoyennedesconsultationsambulatoiresdestroisdernièresannées.

•Dans6districts,lamoyennedesconsultationsambulatoiresdestroisdernièresannéessemblesupérieureaunombredeconsultationsambulatoirespourl’annéeencours.Ilfaudradéterminerpourquoicenombreestplusfaiblepourl’annéeencours.

•Àl’exceptiond’undistrict,touslesdistrictsenregistrentunrapportcomparableaurapportnational(écartdemoinsde33%parrapportàlavaleurnationale).

• Ledistrictdontlesrésultatssortentdel’intervallelimitedequalitéaobtenuunrapportindiquantquelenombredeconsultationsambulatoirespourl’annéeencoursestsupérieurdeplusde33%àlamoyennedesconsultationsambulatoiresdestroisdernièresannées.Ilfautdéterminersileproblèmeestliéàlaqualitédesdonnéesous’ilestdenatureprogrammatique.Encequiconcernelaqualitédesdonnées,ilfautvérifierquetouteslesdonnéesrelativesauxconsultationsambulatoiresdanscedistrictontbienétésaisies.Lesinformationssurlesconsultationsdesannéesprécédentessont-ellescorrectes?Vérifierquelescontrôlesprécédentsdelaqualitédesdonnéesontbienétéréalisés.S’ilnes’agitpasd’unproblèmedequalitédesdonnées,ilfautidentifierlesproblèmesprogrammatiquesquipourraientêtreàl’originedecettedivergence.

3 000 000

l2011

2 500 000

2 000 000

1 500 000

1 000 000

500 000

0l

2012l

2013l

2014

Tendance dans le temps : Statistiques services généraux – Nombre total de consultations ambulatoires

600 000 –

l0

l100 000St

atist

iques

serv

ices g

énér

aux –

Nom

bre t

otal

de

cons

ultat

ions a

mbu

latoir

es po

ur l’a

nnée

d’an

alyse

500 000 –

400 000 –

300 000 –

200 000 –

100 000 –

0 –l

200 000l

300 000l

400 000l

500 000Moyenne du nombre total de consultations ambulatoires – Statistiques

services généraux – pour les années précédentes (3 ans maximum)

Rapport national = 1,09

13

La Figure 2.3a fournit une comparaison entre le nombre de consultations ambulatoires de l’année en cours et la valeur prévisionnelle établie sur la base des trois années précédentes. (Le graphique en bas à gauche indique la tendance actuelle de cet indicateur.) Les valeurs obtenues pour les unités infranationales sont comparées aux valeurs attendues : il est escompté que, si la tendance observée persiste, la valeur obtenue pour l’année en cours sera identique ou semblable à la valeur prévisionnelle pour chaque unité infranationale. Le nombre de consultations ambulatoires enregistré était supérieur à 120 % du nombre attendu dans trois districts (correspondant aux trois points situés au-dessus de la ligne en pointillés supérieure), et inférieur à 80 % du nombre escompté dans deux districts (les deux points au dessous de la ligne en pointillés inférieure).

Figure 2.3a Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence dans le temps – tendance à la hausse pour l’indicateur

Année 2014

Tendance escomptée Augmentation

Comparer les districts à : résultats escomptés

Seuil de qualité

Résultat national (%)


5


38,5 %

Nom des districts dont les résultats sont divergents : District 6, District 7, District 8, District 9, District 11

2b3 : Cohérence dans le temps de l’indicateur « Statistiques services généraux - Nombre total de consultations ambulatoires »


• Cetindicateurprésenteunetendanceàlahaussedansletemps(augmentationdunombredeconsultationsambulatoires,cequiétaitattenducomptetenudelamobilisationsocialeenfaveurdesservicesdesantépublique).

•Lacomparaisonaveclesrésultatsescomptés(selonlesquelslavaleureffectiveen2014estégaleàlavaleurprévisionnelle)montreque5districtsobtiennentunrapportquidivergedeplusde20%del’intervallelimitedequalité,lavaleurobtenueétantendessousdecetintervalledans3districtsetau-dessusdans2districts.

•Leserreursnesontpassystématiques(ellesnevontpastoutesdanslamêmedirection).Examinerlesregistresambulatoiresdesdistrictsconcernéspourconfirmerlesvaleursnotifiées.

3 000 000

l2011

2 500 000

2 000 000

1 500 000

1 000 000

500 000

0l

2012l

2013l

2014

Tendance dans le temps : Statistiques services généraux – Nombre total de consultations ambulatoires

600 000 –

l0

l100 000St

atist

iques

serv

ices g

énér

aux –

Nom

bre t

otal

de

cons

ultat

ions a

mbu

latoir

es po

ur l’a

nnée

d’an

alyse

500 000 –

400 000 –

300 000 –

200 000 –

100 000 –

0 –l

200 000l

300 000l

400 000l

500 000Valeur prévisionnelle du nombre total de consultations ambulatoires–

Statistiques services généraux – sur la base des années précédentes (3 ans maximum)

14

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Année 2014

Rapport attendu égalité

Comparer les districts à : rapport national




2


15,4 %

Nom des districts dont les résultats sont divergents : District 5, District 6

2c1 : Comparaison dans le domaine de la santé maternelle : 1ère consultation prénatale/1ère dose de TPI

Figure 2.4 Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la cohérence interne entre les indicateurs apparentés

Interprétation des résultats - Indicateur 2c1 :

• Lesdonnéessemblentplutôtbonnes–seulleDistrict5enregistreunevaleurfortementdivergente

•LesvaleursdeTPIsontfréquemmentplusfaiblesquelesvaleursd’ANC1–leTPIdoitêtreadministréàunplusgrandnombredefemmesenceintes

•LesrupturesdestockdeFansidardanslaRégion2pourraientexpliquerlefaiblenombredeTPIdansleDistrict5.Appelerleresponsabledel’informationsanitairedecedistrictpourenquêter

• Lerapportestde114%àl’échellenationaleetlaplupartdesdistrictss’approchentdecettevaleur.LeDistrict6obtientdebonsrésultatsparrapportauxautresdistricts,maisest«divergent»parrapportàlavaleurnationale.Pasdesuivinécessaire.

Indicateur 2c : Cohérence interne – Cohérence entre les indicateurs apparentésCohérence entre les indicateurs apparentés – Rapport entre deux indicateurs apparentés et districts dont le rapport diverge notablement du rapport national *

50 000 –

l0

l5000

Évén

emen

ts d’A

NC1 p

our l

’anné

e d’an

alyse 45 000 –

40 000 –

30 000 –

10 000 –5000 –

0 –l

25 000l

30 000l

35 000l

40 000

Événements de TPI1 pour l’année d’analyse

35 000 –

25 000 –20 000 –15 000 –

Diagramme de dispersion : 1ère consultation prénatale/1ère dose de TPI (districts comparés au rapport national)

l10 000

l20 000

l15 000

Cohérence entre les indicateursLa cohérence entre les indicateurs apparentés est évaluée dans le cadre de la Dimension 2. Dans l’exemple de la Figure 2.4, la première consultation prénatale (ANC1) est comparée à la première dose de traitement préventif intermittent (TPI1). Dans les pays d’endémie du paludisme, le TPI doit être administré à toutes les femmes enceintes dans le cadre des soins prénatals. En théorie, le nombre de femmes recevant la première dose de TPI devrait être approximativement égal au nombre de femmes se présentant pour une première consultation prénatale. Le rapport entre ANC1 et TPI1 est calculé pour chaque district administratif infranational, ainsi qu’à l’échelle nationale. Dans l’exemple de la Figure 2.4, le rapport national est de 114 %, ce qui signifie que le nombre de femmes se présentant pour une première consultation prénatale est plus important que le nombre de femmes recevant la première dose de TPI. Les unités infranationales dont le rapport est supérieur (ou inférieur) de plus de 10 % à la valeur 1 (correspondant à l’égalité entre ANC1 et PTI1) sont identifiées pour faire l’objet d’enquêtes.

15

Comparaison externe avec d’autres sources de donnéesLa Figure 2.5 donne les résultats d’une comparaison externe entre les données d’ANC1 provenant du système HMIS et les valeurs de la couverture des soins prénatales fournies par les enquêtes pour la même année. Les barres verticales représentent la couverture des soins prénatals selon le système HMIS (valeur annuelle des consultations prénatales, agrégée sur l’ensemble des unités administratives infranationales concernées (régions), divisée par le nombre estimatif de femmes enceintes dans la région). Les triangles représentent l’indicateur analogue issu d’enquêtes pour les mêmes régions administratives infranationales, avec des intervalles d’erreur représentant l’écart-type de l’estimation. La Figure 2.5 montre que pour les Régions 2 et 8, les valeurs issues des enquêtes (et leurs intervalles d’erreur) sont inférieures à la couverture indiquée par le système HMIS, signe d’une possible surnotification des consultations prénatales par le système HMIS. Dans la Région 4, l’estimation donnée par le système HMIS est inférieure à l’estimation issue des enquêtes, indiquant une sous-notification potentielle des consultations prénatales par le système HMIS. Ce cas peut se présenter, par exemple, lorsque les statistiques proviennent d’une région métropolitaine où les soins prénatals dispensés par des sages-femmes privées sont régulièrement sous-notifiés ou non notifiés.

Année 2014



Nombre de régions dont les résultats sont divergents 3

Pourcentage de régions dont les résultats sont divergents 30 %

Nom des régions dont les résultats sont divergents : Région 2, Région 4, Région 8

3a1 : Rapport de cohérence de l’indicateur « 1ère consultation prénatale » (rapport entre les taux provenant des établissements et ceux des enquêtes)

Figure 2.5 Comparaison externe entre l’indicateur ANC1 dérivé du système HMIS et les valeurs provenant des enquêtes

Interprétation des résultats - Indicateur 3a1 :

• LavaleurANCfournieparlesystèmeHMISpourlaRégion4sembletropfaible–celapourraitrésulterdedocumentssourcemanquantsoud’unnon-enregistrementdesservicesdispensés.Examinerlesformulairesdenotificationdesdistrictsdelarégionpourvérifierlesvaleursnotifiées.

•LavaleurANCfournieparlesystèmeHMISpourlesRégions2et8sembletropélevée–celapourraitrésulterdedoublonsauniveauducomptageoudelanotification.Appelerlesresponsablesdel’informationsanitairedesdistrictspourenquêter.

Indicateur 3a : Comparaison entre les données de routine et les valeurs issues des enquêtes en population pour la même période

120 %

Nation

al

100 %

80 %

60 %

40 %

20 %

Sant

é mat

erne

lle -

1ère

cons

ultat

ion pr

énat

ale

Region

1Reg

ion 2

Region

3Reg

ion 4

Region

5Reg

ion 6

Region

7Reg

ion 8

Region

9Reg

ion 10

0 %

HMIS Survey

16

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

2014

Rapport entre les projections démographiques relatives aux naissances vivantes données par l’office des statistiques et celles des Nations Unies 0,98

Interprétation des résultats - Indicateur 4a :

• BonneconcordanceentrelesestimationsofficiellesdugouvernementsurlesnaissancesvivantesetcellesdesNationsUnies.Ladivergencepourraitêtreliéeautauxdecroissanceutilisépourétablirlesestimationspourlesannéesintercensitaires.

Indicateur 4a : Cohérence avec les projections démographiques des Nations Unies

Figure 2.6a Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la qualité des données démographiques

Lorsque l’on compare les estimations dérivées des données du système HMIS aux estimations obtenues à partir des enquêtes sur les ménages, il convient de garder à l’esprit que les enquêtes réalisées il y a plus de 2 ou 3 ans ne sont plus nécessairement fiables pour estimer la couverture, en particulier au niveau infranational. Il importe aussi de noter que les statistiques issues des enquêtes sur les ménages se fondent sur des événements qui se sont produits 12 à 23 mois auparavant (dans le cas de la vaccination), voire jusqu’à quatre ans auparavant (dans le cas des consultations prénatales et des soins pendant l’accouchement). Ainsi, les statistiques fournies par les enquêtes sur les ménages, même celles qui ont été récemment publiées, ne reflètent pas de manière fiable l’évolution de la prestation des services dans l’année écoulée.

Qualité des données sur la populationLa Figure 2.6a présente un exemple de tableau de bord indiquant les résultats de la comparaison des données démographiques. L’indicateur 4a compare les données relatives aux naissances vivantes provenant du bureau national des statistiques avec les estimations démographiques des Nations Unies sur les naissances vivantes. La valeur de 0,98 indique que les chiffres du bureau national des statistiques sont légèrement inférieurs aux estimations des Nations Unies.

L’indicateur 4b (voir Figure 2.6b) compare les estimations relatives aux naissances vivantes fournies par les programmes de santé avec la valeur officielle donnée par les pouvoirs publics (notamment le bureau national des statistiques). L’évaluation est également menée au niveau des districts administratifs infranationaux (selon la disponibilité des données), ce qui permet d’identifier les unités infranationales présentant des résultats divergents. Dans l’exemple de la Figure 2.6b, les Districts 1, 7 et 12 enregistrent des valeurs programmatiques sur les naissances vivantes qui sont supérieures aux valeurs officielles fournies par le gouvernement pour ces mêmes districts. Dans le District 5, la valeur donnée par les programmes est inférieure à celle des pouvoirs publics.

17

Figure 2.6b Exemple de tableau de bord indiquant les résultats d'examen de la qualité des données pour la comparaison des estimations relatives aux naissances vivantes entre deux sources de données


• LesdénominateursfournisparlesprogrammessemblenttropélevéspourlesDistricts1,7et12,ettropfaiblespourleDistrict5.Examinerletauxdecroissanceutiliséparlesprogrammespourétablirlesestimationsdunombreannueldenaissancesvivantespourlesannéesintercensitaires.

70 000 –

l0

Déno

mina

teur

prog

ram

mat

ique p

our l

es

naiss

ance

s viva

ntes

60 000 –

20 000 –

10 000 –

0 –l

30 000l

40 000l

50 000l

60 000Dénominateur officiel du gouvernement pour les

naissances vivantes

50 000 –

40 000 –

30 000 –

l20 000

l10 000

Année 2014




4


30 %

Nom des districts dont les résultats sont divergents : District 1, District 5, District 7, District 12

Indicateur 4b1 - Comparaison du dénominateur officiel relatif aux naissances vivantes avec le dénominateur programmatique, le cas échéant

Indicateur 4b : Cohérence du dénominateur entre les données programmatiques et les statistiques démographiques officielles du gouvernement

18

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Indicateurs clés ou « traceurs » recommandés pour la procédure d'examen de la qualité des données



Santé maternelle Couverture de la première consultation prénatale (ANC1)

Nombre (pourcentage) de femmes enceintes ayant bénéficié d’au moins une consultation pendant la grossesse

Vaccination Couverture du DTC3/Penta3 Nombre (pourcentage) d’enfants de <1 an ayant reçu trois doses de vaccin DTC/pentavalent

VIH Actuellement sous TAR Nombre et pourcentage de personnes vivant avec le VIH qui sont actuellement sous TAR

Tuberculose Taux de notification de la tuberculose Nombre de nouveaux cas et de cas de rechute de la tuberculose qui sont notifiés pour 100 000 habitants

Paludisme Nombre total de cas confirmés de paludisme1

Nombre de cas de paludisme confirmés (par microscopie ou TDR) pour 1000 personnes par an

Indicateurs clés

Remarque : ANC = soins prénatals ; DTC3 = trois doses de vaccin antidiphtérique-antitétanique-anticoquelucheux ; Penta = vaccin pentavalent ; TAR = traitement antirétroviral ; TDR = test de diagnostic rapide.

Indicateurs supplémentaires de la procédure d'examen de la qualité des données

Nom de l’indicateur Définition complète de l’indicateur Indicator name Général Recours aux services Nombre de consultations ambulatoires par personne par anSanté maternelle Quatrième consultation prénatale

(ANC4)Nombre (pourcentage) de femmes âgées de 15 à 49 ans ayant eu un enfant né vivant durant une période donnée qui ont bénéficié d’au moins quatre consultations de soins prénatals

Couverture des accouchements pratiqués en établissement

Nombre et pourcentage d’accouchements qui ont eu lieu dans un établissement de santé

Couverture des soins post-partum Nombre (pourcentage) de mères et d’enfants ayant bénéficié de soins post-partum dans les deux jours suivant la naissance (quel que soit le lieu d’accouchement)

Couverture par la 1ère dose d’anatoxine tétanique

Nombre (pourcentage) de femmes enceintes ayant reçu la première dose de vaccin à base d’anatoxine tétanique

Vaccination Couverture de la vaccination DTC1-3/Penta1-3

Nombre (pourcentage) d’enfants de <1 an ayant reçu 1 dose, 2 doses ou 3 doses de vaccin DTC/pentavalent

Couverture par le MCV1 Nombre (pourcentage) de nourrissons ayant reçu au moins une dose de vaccin à valence rougeole (MCV) avant l’âge de 1 an

Couverture de la vaccination VPC1-32 Nombre (pourcentage) d’enfants de <1 an ayant reçu 1 dose, 2 doses ou 3 doses de vaccin antipneumococcique

VIH Personnes vivant avec le VIH qui ont été diagnostiquées

Nombre (pourcentage) de personnes vivant avec le VIH qui ont été diagnostiquées

Couverture des soins anti-VIH Nombre (pourcentage) de personnes vivant avec le VIH qui bénéficient de soins anti-VIH (dont le TAR)

Indicateurs supplémentaires

Annexe 1 : Indicateurs recommandés

19

Indicateurs supplémentaires de la procédure d'examen de la qualité des données



Couverture du TAR pour la PTME Nombre (pourcentage) de femmes enceintes séropositives pour le VIH qui ont bénéficié d’un TAR durant la grossesse

Rétention sous TAR Nombre (pourcentage) de personnes vivant avec le VIH et bénéficiant d’un TAR qui demeurent sous TAR 12 mois après le début du traitement (ainsi qu’à 24, 36, 48 et 60 mois)

Suppression de la charge virale Nombre (pourcentage) de personnes sous TAR qui présentent une suppression de la charge virale

Tuberculose Cas notifiés de tuberculose, toutes formes confondues

Nombre de nouveaux cas et de cas de rechute de la tuberculose qui sont notifiés pour 100 000 habitants − Évaluer si les tableaux 1 et 21 du rapport trimestriel de notification des cas sont corrects selon les normes et critères (B1.4) applicables aux systèmes sur support papier2

Taux de réussite du traitement antituberculeux

Nombre (pourcentage) de cas de tuberculose traités avec succès (guérison, et traitement mené à terme) parmi les cas notifiés aux autorités sanitaires nationales au cours d’une période donnée − Évaluer si le tableau 1 du rapport trimestriel sur les issues thérapeutiques est correct selon les normes et critères (B.14) applicables aux systèmes sur support papier.

Taux de réussite du traitement antituberculeux de deuxième intention

Nombre (pourcentage) de cas de tuberculose traités avec succès (guérison, et traitement mené à terme) parmi tous les cas confirmés de tuberculose résistante à la rifampicine ou de tuberculose multirésistante ayant commencé un traitement de deuxième intention au cours de la période d’évaluation

Tuberculose/VIH Proportion de patients enregistrés comme tuberculeux (cas nouveaux et rechutes) dont le statut par rapport au VIH est documenté

Nombre de patients tuberculeux (cas nouveaux et rechutes) pour lesquels un résultat de dépistage du VIH est consigné dans le registre sur la tuberculose, exprimé sous forme de pourcentage du nombre de patients enregistrés au cours de la période de notification

Proportion de patients tuberculeux (cas nouveaux et rechutes) séropositifs pour le VIH qui sont sous TAR pendant le traitement antituberculeux

Nombre de patients tuberculeux (cas nouveaux et rechutes) séropositifs pour le VIH qui ont bénéficié d’un TAR pendant le traitement antituberculeux, exprimé sous forme de pourcentage des patients enregistrés au cours de la période de notification

Paludisme Taux de dépistage diagnostique du paludisme

Nombre (pourcentage) de sujets ayant fait l’objet d’un test parasitologique parmi tous les cas suspects de paludisme [= nombre de cas testés / (nombre de cas testés + nombre de cas présumés)]

Cas confirmés de paludisme bénéficiant d’un traitement

Nombre (pourcentage) de cas confirmés de paludisme bénéficiant d’un traitement antipaludique de première intention conformément à la politique nationale dans des établissements publics

Cas de paludisme (présumés et confirmés) bénéficiant d’un traitement

Nombre (pourcentage) de cas de paludisme (présumés et confirmés) bénéficiant d’un traitement antipaludique de première intention

TPIp3 Nombre (pourcentage) de femmes enceintes en soins prénatals qui ont reçu au moins trois doses de traitement préventif intermittent contre le paludisme

1 Définitions et cadre de notification pour la tuberculose – Révision 2013. Genève, Organisation mondiale de la Santé, 2013 (WHO/HTM/TB/2013.2 ; http ://apps.who.int/iris/bitstream/10665/110724/1/9789242505344_fre.pdf, consulté le 11 juin 2015).

2 Standards and benchmarks for tuberculosis surveillance and vital registration systems : checklist and user guide. Geneva : World Health Organization ; 2014 (WHO/HTM/TB/2014.02 ; http ://apps.who.int/iris/bitstream/10665/112673/1/9789241506724_eng.pdf?ua=1, consulté le 11 juin 2015).

Remarque : ANC = soins prénatals ; DTC = vaccin antidiphtérique-antitétanique-anticoquelucheux ; MCV = vaccin à valence rougeole ; PTME = prévention de la transmission mère-enfant ; TAR = traitement antirétroviral ; TPIp3 = trois doses de traitement préventif intermittent pendant la grossesse ; VPC = vaccin antipneumococcique conjugué

Indicateurs clés, suite

20

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Annexe 2 : Définitions et exigences pour le calcul des paramètres aux fins de l’examen sur dossier de la qualité des données

Dimension 1. Exhaustivité et ponctualité des donnéesCette dimension vise à mesurer la disponibilité et l’adéquation des données notifiées par le système utilisé pour la planification, le suivi et l’évaluation. Les données sont-elles suffisamment exhaustives pour déterminer si le programme de santé est efficace et produit les résultats souhaités ? Les données sont-elles suffisamment récentes pour garantir que les performances (ou les insuffisances) qu’elles révèlent reflètent effectivement le niveau actuel de performance des indicateurs de santé ? La mesure de l’exhaustivité selon la méthodologie d'examen de la qualité des données consiste à examiner si toutes les entités censées notifier des données le font effectivement. Les indicateurs utilisés dans le cadre de cette dimension sont notamment : l’exhaustivité de la notification au niveau des établissements de santé (correspondant généralement au niveau de la première unité administrative), l’exhaustivité de la notification à des niveaux supérieurs (par exemple, les districts), et l’exhaustivité des données individuelles (identification des données manquantes) dans les rapports sur les indicateurs des différents domaines programmatiques sélectionnés.

Paramètre de mesure de la qualité des données : exhaustivité et ponctualité de la notification des unités administratives DéfinitionL’exhaustivité de la notification des unités administratives (par exemple au niveau des districts, des régions ou des provinces) est définie comme le nombre de rapports mensuels reçus de la part des unités administratives, divisé par le nombre total de rapports attendus pour une période donnée (généralement un an). Un taux d’exhaustivité de 100 % signifie que toutes les unités ont transmis des rapports. Voir l’Encadré A2.1.

Il est recommandé d’évaluer également la ponctualité de la notification. La ponctualité est définie comme le nombre de rapports transmis par les unités administratives infranationales vers le niveau national dans les délais de notification impartis, divisé par le nombre de rapports reçus.

21

L’exhaustivité et la ponctualité de la notification sont susceptibles de varier en fonction du formulaire de notification utilisé. L’outil Microsoft Excel d'examen de la qualité des données de l’OMS examine l’exhaustivité et la ponctualité pour un formulaire unique (par exemple, le formulaire mensuel principal du système HMIS).

Données requisesAu niveau national :Nombre de rapports reçus au niveau national en provenance du niveau immédiatement inférieur (par exemple, district, région ou province) dans la période concernée.

Nombre de rapports escomptés pour cette période.

Au niveau infranational :Nombre de rapports reçus de la part des établissements de santé par mois et par district dans la période concernée.

Nombre de rapports escomptés par mois et par district.

CalculAu niveau national : Le nombre de rapports mensuels reçus de la part des unités administratives est divisé par le nombre total de rapports attendus pour une période donnée. Un taux d’exhaustivité de 100 % signifie que toutes les unités ont soumis des rapports.

Au niveau infranational :Au niveau infranational, le taux d’exhaustivité est calculé pour chaque unité administrative au cours de la période définie. Les unités administratives dont le taux d’exhaustivité est de 75 % ou moins sont considérées comme présentant une notification inadéquate (au moins trois rapports manquants dans l’année).

22

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A2.1a Exemple de notification des districtsLes cases cochées indiquent que le bureau de santé du district a soumis un rapport mensuel dans les délais prescrits. Les districts dont la notification est inadéquate (taux d’exhaustivité ≤75 %) sont indiqués en rouge.

Mois

TotalTaux

d’exhaustivité1 2 3 4 5 6 7 8 9 10 11 12

District 1 9 75 %

District 2 12 100 %

District 3 12 100 %

District 4 10 83 %

District 5 11 92 %

District 6 9 75 %

District 7 7 58 %

District 8 12 100 %

District 9 7 58 %

District 10 8 67 %

National 10 8 6 8 7 10 8 8 9 9 8 6 97 81 %

Encadré A2.1 Exemple d’exhaustivité de la notification des unités administratives

Au niveau national, si le pays compte 10 districts, le nombre de rapports attendus est de 120 (10 rapports par mois x 12 mois). Le nombre de rapports effectivement reçus est de 97 (Tableau A2.1a). Ainsi, le taux d’exhaustivité est de 97/120 = 81 %.

Au niveau infranational, cet exemple suppose que des rapports mensuels sont attendus de la part de 10 districts. Le Tableau A2.1a indique, à titre d’exemple, les rapports mensuels reçus par les 10 districts sur une période de 12 mois. Le taux d’exhaustivité de la notification est de 75 % ou moins dans 5 de ces 10 districts (50 %), tandis qu’il s’élève à 100 % dans 3 des 10 districts.

Tableau A2.1b Résumé des résultats de cet exemple

Paramètre de mesure Résultats

Taux national d’exhaustivité de la notification mensuelle des districts 81 %

Nombre (pourcentage) de districts dont le taux d’exhaustivité est inférieur à 75 % 5 (50 %)

Districts dont le taux d’exhaustivité est inférieur à 75 % District 1, District 6, District 7, District 9, District 10

Nombre (pourcentage) de districts ayant soumis 100 % des rapports attendus 3 (30 %)

Districts ayant soumis 100 % des rapports attendus District 2, District 3, District 8

23

Paramètre de mesure de la qualité des données : exhaustivité et ponctualité de la notification des établissements DéfinitionL’exhaustivité de la notification des établissements est définie comme le nombre de rapports reçus de la part de tous les établissements de santé au niveau national, divisé par le nombre total de rapports attendus de la part de tous les établissements censés notifier des données au système HMIS pour une période donnée (généralement un an). Le numérateur est le nombre d’établissements ayant effectivement soumis un rapport et le dénominateur est le nombre total d’établissements pour lesquels un rapport est attendu. Voir l’Encadré A2.2.

La ponctualité de la notification des établissements est définie de même manière comme étant la proportion de rapports transmis dans les délais par les établissements de santé aux unités administratives infranationales.

Données requisesNombre total de rapports reçus au niveau administratif d’analyse (par exemple, le district) de la part des établissements de santé au cours de l’exercice financier analysé – par exemple, le nombre total de rapports mensuels des établissements de santé qui ont été reçus entre janvier et décembre 2012 par le niveau administratif d’analyse. Pour la ponctualité, il faut disposer de données sur le nombre de rapports reçus dans les délais de notification établis.

Nombre total d’établissements de santé pour chaque niveau administratif d’analyse, en comptant uniquement les établissements censés notifier des données au système HMIS (ou tout autre système de notification utilisé par les programmes). Si certains établissements privés d’un district ne sont pas supposés notifier leurs données dans un système quelconque, ils ne doivent pas être inclus dans ce décompte. Pour la ponctualité : nombre de rapports reçus dans les délais de notification établis.

CalculAu niveau national :Le nombre de rapports reçus de la part de tous les établissements de santé au niveau national est divisé par le nombre total de rapports attendus de la part de tous les établissements censés notifier des données au système HMIS pour une période donnée (généralement un an).

Au niveau infranational :Le taux d’exhaustivité de la notification des établissements est calculé pour chaque unité administrative au cours de la période définie (généralement un an). Le nombre d’établissements de santé ayant soumis un rapport est divisé par le nombre d’établissements censés soumettre un rapport pour chaque unité administrative. On considérera que l’exhaustivité de la notification est inadéquate dans une unité administrative si le taux de notification est de 75 % ou moins pour les établissements se trouvant à l’intérieur de cette unité administrative.

24

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A2.2a Taux de notification des établissements au niveau des districtsLes districts dans lesquels le taux de notification des établissements est inférieur à 80 % sont indiqués en rouge.

Nombre total d’établissements

Rapports attendus (nbre total d’établissements

x 12 mois)

Nombre de rapports effectivement reçus dans la

période de 12 mois

Taux d’exhaustivité de la notification des établissements (%)

District 1 100 1200 1200 100 %

District 2 150 1800 1140 63 %

District 3 50 600 554 92 %

District 4 80 960 960 100 %

District 5 120 1440 1080 75 %

District 6 170 2040 1920 94 %

District 7 130 1560 1270 81 %

District 8 100 1200 1200 100 %

District 9 40 480 240 50 %

District 10 60 720 600 83 %

National 1000 12 000 10 164 85 %

Encadré A2.2 Exemple d’exhaustivité de la notification des établissements de santé

Au niveau national, si un pays compte 1000 établissements notifiant des données au système HMIS, le nombre total de rapports attendus pour une année est de 1000 x 12 = 12 000 rapports. Si à la fin de l’année, seuls 10 164 rapports ont été reçus (comme dans l’exemple donné dans le Tableau A2.2a ci dessous), le taux d’exhaustivité de la notification des établissements se chiffre à 10 164/12 000, soit 85 %.

Au niveau infranational, le taux de notification des établissements est évalué dans chacun des 10 districts. Les districts dans lesquels le taux d’exhaustivité de la notification des établissements est inférieur à 80 % sont indiqués en rouge. Trois des 10 districts (30 %) enregistrent un taux de notification des établissements inférieur à 80 %. Les résultats sont résumés dans le Tableau A2.2b.



Taux national d’exhaustivité de la notification des établissements 85 %

Nombre (%) de districts dans lesquels le taux d’exhaustivité des établissements est inférieur à 80 % 3 (30 %)

Districts dont le taux d’exhaustivité est inférieur à 80 % District 2, District 5, District 9

25

Paramètre de mesure de la qualité des données : exhaustivité des données sur les indicateurs DéfinitionL’exhaustivité des données sur les indicateurs est mesurée en examinant la proportion de valeurs non égales à zéro pour des indicateurs spécifiques. Cela peut être fait de deux manières différentes : 1) en mesurant la proportion de cellules laissées vierges sur les formulaires de notification (parmi les cellules où une valeur devrait être consignée pour un indicateur particulier) ; et 2) en mesurant la proportion de cellules contenant une valeur égale à zéro.

Une distinction claire doit être faite entre les données manquantes et les valeurs réellement égales à zéro dans les rapports provenant des districts et des établissements. Une valeur égale à zéro indique qu’aucun événement à signaler ne s’est produit pendant la période de notification définie ; une valeur manquante indique qu’un événement à signaler s’est produit, mais n’a pas été consigné. Dans de nombreux rapports issus des systèmes HMIS, les données manquantes se voient attribuer une valeur de zéro, ce qui empêche de faire la distinction entre une valeur réellement égale à zéro (absence d’événement) et une valeur manquante (événement survenu mais non consigné). Compte tenu de la difficulté à distinguer les valeurs réellement égales à zéro et les valeurs manquantes, ces deux critères sont pris en compte dans l’évaluation présentée ici. Les résultats de ces indicateurs doivent être interprétés par des gestionnaires de données et des administrateurs de programmes pour vérifier que les valeurs de zéro consignées sont réellement égales à zéro. Voir l’Encadré A2.3.

Données requisesAu niveau national :Nombre de valeurs manquantes dans les rapports des unités administratives pour les indicateurs sélectionnés.

Nombre de valeurs égales à zéro dans les rapports des unités administratives pour les indicateurs sélectionnés.

Nombre de rapports transmis au niveau national par les unités administratives.

Au niveau infranational :Nombre de rapports des établissements de santé dans lesquels aucune valeur n’est consignée pour les indicateurs sélectionnés alors qu’une valeur était attendue.

Nombre de rapports des établissements de santé dans lesquels une valeur de zéro est consignée pour les indicateurs sélectionnés alors qu’une valeur était attendue.

Nombre de rapports transmis par les établissements de santé pendant la période de notification définie.1

1 Il se peut que ces données ne soient pas disponibles au niveau national.

26

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

CalculAu niveau national :L’exhaustivité des données sur les indicateurs (selon l’évaluation reposant sur les valeurs zéro) (%) est définie comme le pourcentage moyen de valeurs non égales à zéro parmi les valeurs mensuelles pour l’ensemble des indicateurs sélectionnés pendant la période définie (généralement un an). Ainsi, l’indicateur est calculé en soustrayant, à partir de 100 %, le pourcentage de valeurs égales à zéro.

L’exhaustivité des données sur les indicateurs (selon l’évaluation reposant sur les valeurs manquantes) (%) est définie comme le pourcentage moyen de valeurs non manquantes parmi les valeurs mensuelles pour l’ensemble des indicateurs sélectionnés pendant la période définie (généralement un an). Ainsi, l’indicateur est calculé en soustrayant, à partir de 100 %, le pourcentage de valeurs manquantes.

Au niveau infranational :Au niveau infranational (district, province ou région), cet indicateur est défini comme le pourcentage d’unités administratives dans lesquelles <90 % des valeurs mensuelles ne sont pas égales à zéro. Ce pourcentage est calculé en comptant toutes les valeurs égales à zéro au sein d’une unité administrative pour chaque indicateur sélectionné pendant une période donnée, et en divisant par le nombre total de valeurs attendues pour cette unité administrative dans la même période.

Le pourcentage d’unités administratives dans lesquelles les valeurs non manquantes représentent <90 % des valeurs contenues dans les rapports mensuels est calculé comme précédemment.

Il convient de noter que le seuil de qualité de ce paramètre varie selon le programme de santé (ou même selon le pays).

27

Tableau A2.3a : Valeurs manquantes par district pour l’ANC1 Les districts sont indiqués en rouge s’ils ont 10 % ou plus de valeurs manquantes.

Mois Nbre total de valeurs

manquantesTaux

d’exhaustivité1 2 3 4 5 6 7 8 9 10 11 12

District 1 2 83 %

District 2 0 100 %

District 3 0 100 %

District 4 1 92 %

District 5 1 92 %

District 6 3 75 %

District 7 5 58 %

District 8 0 100 %

District 9 5 58 %

District 10 4 67 %

National 0 2 4 2 3 0 2 1 1 0 2 4 21 17,5 %

Encadré A2.3 Exemple d’exhaustivité des données sur les indicateurs − valeurs manquantes aux niveaux national et infranational

L’exemple donné dans le Tableau A2.3a ci-après illustre le pourcentage de valeurs manquantes pour l’indicateur ANC1. Chaque √ signifie que cette valeur était non manquante dans le district pour le mois concerné. L’analyse des données mensuelles sur l’indicateur ANC1 soumises par les districts au cours d’une année révèle 21 valeurs manquantes à l’échelle nationale. (Il convient de suivre la même procédure pour calculer le pourcentage de valeurs égales à zéro).

Le numérateur (21) est le nombre national total de valeurs manquantes pour l’ANC1 au niveau des districts. Le dénominateur est le nombre total attendu de valeurs. Avec 10 districts et 12 valeurs mensuelles attendues pour l’ANC1 dans chaque district, le nombre total de valeurs attendues à l’échelle nationale est de 120. Le pourcentage total de valeurs manquantes pour l’ANC1 s’élève à 17,5 % (21/120) au niveau national. Cependant, comme le calcul à effectuer est celui des valeurs non manquantes, l’indicateur obtenu est 100 %-17,5 % = 82,5 %.

Au niveau infranational, le Tableau A2.3a montre que 5 des 10 districts (50 %) ont plus de 10 % de valeurs manquantes pour l’ANC1.



Taux national d’exhaustivité de la notification mensuelle des districts 100 % 17,5 % = 82,5 %

Nombre (pourcentage) de districts dont le taux d’exhaustivité est inférieur à 90 % 5 (50 %)

Districts dont le taux d’exhaustivité est inférieur à 90 % District 1, District 6, District 7, District 9, District 10

28

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Dimension 2. Cohérence interne des données notifiéesCette dimension examine la plausibilité des résultats notifiés pour les indicateurs programmatiques sélectionnés en se fondant sur l’historique de la notification de ces indicateurs. L’évolution des données notifiées est évaluée sur une période donnée (un an) pour déterminer si certaines valeurs spécifiques notifiées au cours de cette période (par exemple, pour un ou plusieurs mois particuliers) sont extrêmes par rapport aux autres valeurs signalées et révèlent des problèmes éventuels de qualité des données. La tendance des valeurs notifiées sur plusieurs années est également étudiée afin d’identifier les valeurs extrêmes ou non plausibles d’une année à l’autre.

Dans le cadre de cette dimension, les résultats obtenus pour les indicateurs programmatiques sont comparés à ceux d’autres indicateurs avec lesquels ils ont une relation prévisible pour déterminer si la relation attendue entre ces deux indicateurs est bien observée. En d’autres termes, la relation observée entre les indicateurs, telle que mise en évidence par les données notifiées, est-elle celle à laquelle on pourrait s’attendre sur la base des connaissances que l’on a des indicateurs, du programme de santé et du pays ?

Cette dimension vise également à déterminer l’exactitude de la notification pour les indicateurs sélectionnés en s’appuyant sur un examen des documents source (c’est-à-dire les documents où sont consignés en premier lieu les événements notifiés) afin de comparer les valeurs notifiées à une valeur validée. Cette composante de l'examen de la qualité des données repose sur une procédure d’évaluation dans les établissements de santé liée à la mise en œuvre de l'examen de la qualité des données (voir « Vérification des données » ci-après).

Paramètre de mesure de la qualité des données : valeurs atypiques dans l’année en cours DéfinitionDans une série de valeurs, une valeur atypique est définie comme une valeur qui est extrême par rapport aux autres valeurs de la série. Les valeurs atypiques peuvent résulter d’une modification des activités programmatiques (par exemple l’intensification d’une campagne) ou de problèmes liés à la qualité des données. Les valeurs extrêmes doivent être identifiées et faire l’objet d’une enquête pour déterminer si elles sont valides ou si elles sont le reflet d’une insuffisance de la qualité des données. Deux types de valeurs atypiques sont définis ci-après : les valeurs atypiques modérées et extrêmes. Il convient toutefois de noter que les valeurs atypiques modérées peuvent représenter une fluctuation plausible de la prestation des services et ne découlent pas nécessairement de problèmes liés à la qualité des données. L’examen et l’interprétation des données programmatiques exigent une bonne connaissance de ces données. Il convient d’accorder une attention prioritaire aux valeurs atypiques extrêmes, qui faussent les statistiques de manière plus importante et qui nécessitent un suivi actif. Voir l’Encadré A2.4.

29

Les valeurs atypiques peuvent être identifiées de différentes manières, mais il est recommandé d’employer l’une des deux méthodes suivantes :

1. Multiples de l’écart-type par rapport à la moyenne : Dans une série, les valeurs dont l’écart par rapport à la moyenne des valeurs de la série est supérieur à un multiple de l’écart-type (par exemple, ± 2 écarts-types, ± 3 écarts-types, etc.) sont considérées comme potentiellement atypiques et sont évaluées pour identifier d’éventuels problèmes de qualité des données. Les valeurs atypiques supérieures de plus de 2 écarts-types à la moyenne sont considérées comme « modérées », tandis que celles qui présentent plus de 3 écarts-types par rapport à la moyenne sont jugées « extrêmes ».

2. Z-score modifié : Le Z score d’une observation se rapporte au nombre d’écarts-types par rapport à la moyenne. Le « Z-score modifié » applique la méthode de calcul de la médiane pour mesurer l’écart et, dans de nombreux cas, permet une détection statistique plus rigoureuse des valeurs atypiques (par rapport à la méthode reposant sur la moyenne). Cette approche est utile pour les échantillons de petite taille et est plus tolérante aux valeurs extrêmes que le Z-score. Sur le plan mathématique, le Z-score modifié peut être représenté comme suit :

Mi = 0,6745 * (Xi -Médiane(Xi)) / EAM

où EAM est l’écart absolu médian. EAM = médiane(|Xi - |), où est la médiane de la série. Toute valeur, dans une série de données, dont le Z-score modifié a une valeur absolue supérieure à 3,5 est considérée comme atypique.1

Données requisesAu niveau national :Valeurs mensuelles, pour les indicateurs sélectionnés, transmises par les unités administratives au niveau national à partir des rapports (ou bases de données) du système HMIS pour la période définie. Les valeurs extrêmes (atypiques) sont identifiées selon l’une des méthodes décrites ci-dessus.

Au niveau infranational :Valeurs mensuelles, pour les indicateurs sélectionnés, transmises par les établissements de santé à partir des rapports (ou bases de données) du système HMIS pour la période définie. Les valeurs extrêmes (atypiques) sont identifiées selon l’une des méthodes décrites ci-dessus.

CalculAu niveau national :Les valeurs mensuelles atypiques modérées, pour un indicateur particulier, sont identifiées parmi les valeurs notifiées pendant une période donnée à l’aide des méthodes décrites ci-dessus. Le nombre total est divisé par le nombre de valeurs attendues pour l’indicateur. Si la période d’analyse est d’un an et la notification est mensuelle, le nombre total de valeurs attendues pour un indicateur donné est égal au nombre total d’unités administratives d’analyse multiplié par 12. Un calcul semblable est effectué pour les valeurs atypiques extrêmes.

1 Iglewicz B, Hoaglin D. The ASQC basic references in quality control : statistical techniques. Volume 16 : How to detect and handle outliers. Milwaukee (WI) : American Society for Quality ; 1993.30

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A2.4a Valeurs mensuelles par district pour l’ANC1Les valeurs indiquées en rouge sont des valeurs atypiques modérées.

Mois

Total

Pourcentage de valeurs atypiques1 2 3 4 5 6 7 8 9 10 11 12

District 1 2543 2482 2492 2574 3012 2709 3019 2750 3127 2841 2725 2103 1 8,3 %

District 2 1547 1340 1403 1593 2161 1729 1646 1642 1355 1581 1412 1410 1 8,3 %

District 3 776 541 515 527 857 782 735 694 687 628 596 543 0 0,0 %

District 4 1184 1118 1195 1228 1601 1324 1322 711 1160 1178 1084 1112 2 16,7 %

District 5 1956 1773 1768 2062 2997 2056 1839 1842 2028 2002 2032 1904 1 8,3 %

District 6 819 788 832 802 999 596 672 792 933 1134 810 789 1 8,3 %

District 7 781 1199 981 963 818 897 853 736 2208 2734 1323 1229 1 8,3 %

District 8 1382 1379 1134 1378 1417 1302 1415 1169 1369 1184 1207 1079 0 0,0 %

District 9 1992 1751 1658 1823 3306 2692 2300 2218 2026 2003 1752 1753 1 8,3 %

District 10 3114 2931 2956 4637 6288 4340 3788 3939 3708 4035 3738 3606 1 8,3 %

National 0 0 0 0 5 0 0 1 0 2 0 1 9 6,7 %

Encadré A2.4 Exemple de valeurs atypiques dans l’année en cours

Le Tableau A2.4a ci-dessous, qui porte sur les valeurs de l’indicateur ANC1, met en évidence 9 valeurs atypiques modérées, indiquées en rouge. Parmi les districts, 8 présentent au moins une valeur mensuelle de l’ANC1 considérée comme atypique modérée.

À l’échelle nationale, ce paramètre est le pourcentage des valeurs atypiques modérées pour l’indicateur choisi. Le numérateur est le nombre de valeurs atypiques dans l’ensemble des unités administratives (9). Le dénominateur est le nombre total de valeurs attendues de la part de toutes les unités administratives pour l’indicateur concerné ; il est calculé en multipliant le nombre total d’unités (au niveau de l’unité administrative choisie) par le nombre de valeurs attendues pour un indicateur et une unité administrative. Le dénominateur est donc calculé comme suit : 10 districts x 12 valeurs mensuelles attendues par district pour un indicateur = 120 valeurs attendues au total. Le pourcentage moyen de valeurs atypiques modérées parmi les valeurs notifiées est égal à (9/120) x 100 ≈ 7,5 %.

Au niveau infranational, le nombre de valeurs atypiques est calculé pour chaque district. Pour cela, on compte les districts présentant au moins deux valeurs atypiques (pour les valeurs atypiques modérées) parmi leurs valeurs mensuelles et on divise par le nombre total d’unités administratives : 1/10 = 0,1 x 100 % = 10 %.



Pourcentage de valeurs atypiques modérées (± 2−3 écarts-types par rapport à la moyenne du district) parmi leurs valeurs mensuelles provenant des districts

7,5 %

Nombre et pourcentage de districts comptant au moins deux valeurs atypiques modérées (± 2−3 écarts-types par rapport à la moyenne du district) parmi les valeurs mensuelles

1 ; 10,0 %

Au niveau infranational :Valeurs atypiques modérées : Au niveau infranational (district, province ou région), l’objectif est de calculer le pourcentage d’unités administratives dans lesquelles au moins deux valeurs mensuelles de l’indicateur sélectionné sont des valeurs atypiques modérées (± 2−3 écarts-types par rapport à la moyenne de l’unité administrative, ou une valeur >3,5 du Z-score modifié). Ce pourcentage est calculé en identifiant et en comptant toutes les valeurs atypiques modérées de l’indicateur sélectionné dans une unité administrative pour une période donnée et en divisant le résultat par le nombre total de valeurs attendues pour cet indicateur dans l’unité administrative pendant la même période.

31

Valeurs atypiques extrêmes : Au niveau infranational, le pourcentage d’unités administratives dans lesquelles au moins une valeur mensuelle de l’indicateur sélectionné est une valeur atypique extrême (± 3 écarts-types par rapport à la moyenne de l’unité administrative) est calculé en divisant le nombre total d’unités administratives présentant des valeurs atypiques extrêmes dans la période choisie par le nombre total d’unités administratives.

Paramètre de mesure de la qualité des données : cohérence dans le temps DéfinitionLa cohérence dans le temps (%) est définie comme le rapport moyen entre les valeurs obtenues pour les événements/services lors de l’année en cours et la moyenne des valeurs enregistrées les trois années précédentes pour les indicateurs sélectionnés. Pour les indicateurs ou les programmes où une croissance ou un déclin sont escomptés, la cohérence dans le temps est également mesurée en tant que comparaison entre la valeur de l’année en cours et la valeur prédite sur la base des trois années précédentes. La valeur de l’année en cours est comparée à la valeur prévisionnelle (déduite de la pente des valeurs des trois années précédentes) pour les indicateurs dont la tendance n’est pas à niveau constant (augmentation ou diminution). Voir l’Encadré A2.5.

Ce paramètre mesure la cohérence des valeurs obtenues pour les indicateurs clés pour l’année la plus récente par rapport à la valeur moyenne du même indicateur sur l’ensemble des trois années précédentes (ou par rapport à la valeur prévisionnelle pour les indicateurs dont la tendance n’est pas constante). On peut s’attendre à une certaine variation d’une année à l’autre, mais si les écarts sont très importants, ils méritent d’être étudiés de manière plus approfondie. La présence d’écarts importants est généralement signe d’une erreur de notification, mais il est également possible que la mise en œuvre d’une nouvelle intervention ait contribué à une forte augmentation en pourcentage des valeurs de l’indicateur d’une année à l’autre. Il est donc essentiel que les résultats soient interprétés en consultation avec les administrateurs des programmes.

Données requisesValeurs totales annuelles des indicateurs sélectionnés par unité infranationale, pour l’année d’analyse et les trois années précédentes.

CalculAu niveau national :Au niveau national, ce paramètre est tel que défini ci-dessus : rapport entre la valeur totale de l’année en cours et la moyenne des trois années précédentes, ou, pour les indicateurs dont la tendance n’est pas constante (augmentation ou diminution), comparaison entre la valeur de l’année en cours et la valeur prévisionnelle déduite des valeurs des trois années précédentes.

Au niveau infranational :Au niveau infranational, ce paramètre représente le pourcentage d’unités administratives, au niveau administratif d’analyse choisi, dont le rapport diverge d’au moins 33 % du rapport national pour les indicateurs sélectionnés.

32

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A2.5a Cohérence dans le temps : comparaison des rapports des districts et du rapport nationalLes résultats indiqués en rouge révèlent un écart de plus de 33 % entre les rapports obtenus au niveau du district et au niveau national

2010 2011 2012 2013Moyenne des 3

années précédentes

Rapport entre l’année en cours et la moyenne des 3

années précédentes

Différence, en pourcentage,

entre le rapport du district et le rapport

national

District 1 30 242 29 543 26 848 32 377 28 878 1,12 0,04

District 2 19 343 17 322 16 232 18 819 17 632 1,07 0,01

District 3 7 512 7 701 7 403 7 881 7 539 1,05 0,03

District 4 15 355 15 047 14 788 25 123 15 063 1,67 0,55

District 5 25 998 23 965 24 023 24 259 24 662 0,98 0,09

District 6 10 234 9 458 9 654 9 966 9 782 1,02 0,05

District 7 14 011 13 987 14 355 14 722 14 118 1,04 0,03

District 8 15 233 15 974 14 733 15 415 15 313 1,01 0,06

District 9 23 033 24 544 24 433 25 274 24 003 1,05 0,02

District 10 50 233 48 322 46 875 47 080 48 477 0,97 0,10

National 211 194 205 863 199 344 220 916 205 467 1,08

Encadré A2.5 Exemple de cohérence dans le temps

La cohérence dans le temps est évaluée dans un premier temps pour les accouchements pratiqués en établissements de soins :

Nombre national total d’accouchements en établissements pour 2010 = 211 194Nombre national total d’accouchements en établissements pour 2011 = 205 863Nombre national total d’accouchements en établissements pour 2012 = 199 344Nombre national total d’accouchements en établissements pour 2013 = 220 916.

La moyenne de 2010, 2011 et 2012 est : ((211 194+205 863+199 344)/3) = 205 467.

Le rapport entre la valeur pour l’année en cours, 2013, et la moyenne des trois années précédentes est : 220 916/205 467) ≈ 1,08.

Le rapport moyen de 1,08 indique une augmentation globale de 8 % des résultats pour les accouchements en établissements en 2013 par rapport aux résultats moyens des trois années précédentes.

Au niveau infranational, chaque district doit être évalué en calculant, pour les accouchements pratiqués en établissements, le rapport entre l’année en cours (2013) et la moyenne des trois années précédentes (2010-2012). Par exemple, le rapport obtenu pour le District 1 est : 32 377/28 878 = 1,12.

Ensuite, la différence, en pourcentage, entre le rapport du district et le rapport national est calculée pour chaque district. En prenant de nouveau l’exemple du District 1 :

District 1 ratio – National ratioNational ratio

1,12–1,08

1,08= = 0,04 = 4,0 %

L’écart en pourcentage entre le rapport du district et le rapport national pour les accouchements en établissements dans le District 1 est inférieur à 33 %. Cependant, dans le District 4, cet écart est d’environ 55 %.

Pour calculer ce paramètre à l’échelle infranationale, on compte toutes les unités administratives dont le rapport s’écarte du rapport national de ±33 % ou plus. Dans cet exemple, seul le District 4 présente une différence de plus de ±33 %. Ainsi, la proportion de districts dont le rapport diverge de plus de 33 % du rapport national est de 1 district sur 10 (10 %).

Tableau A25b Résumé des résultats de cet exemple


Rapport moyen entre les valeurs obtenues pour les événements/services lors de l’année en cours et la moyenne des valeurs enregistrées les trois années précédentes pour les accouchements pratiqués en établissements de soins.

8,0 %

Nombre (pourcentage) de districts dont le rapport diverge de plus de 33 % du rapport national 1 (10 %), District 4 33

Une autre possibilité consiste à comparer les rapports obtenus par les unités infranationales à la « valeur attendue », supposant l’égalité entre la valeur de l’année en cours et la moyenne des trois années précédentes (ou la valeur prévisionnelle). Pour cette comparaison, la valeur de l’unité infranationale est comparée à 1 ± le seuil de qualité. Par exemple, si le seuil de qualité est fixé à 33 %, les unités infranationales dont le rapport est ≥133 % ou ≤67 % sont identifiées comme susceptibles de présenter des problèmes de qualité des données.

Paramètre de mesure de la qualité : cohérence entre les indicateurs apparentés DéfinitionCe paramètre de qualité des données examine dans quelle mesure deux indicateurs apparentés évoluent selon un schéma prévisible. Si ce schéma n’est pas observé au niveau national ou au sein d’une sous-population particulière, cela peut être signe de problèmes en matière de qualité des données. Voir l’Encadré A2.6.

La cohérence entre deux indicateurs est définie comme étant le rapport entre ces deux indicateurs. Pour certains indicateurs, ce rapport doit être de 1 au maximum ; pour d’autres, il est ≥1 (voir l’annexe 1 pour les détails spécifiques aux différents indicateurs).

Données requisesValeurs annuelles des indicateurs sélectionnés aux niveaux national et infranational.

CalculAu niveau national :Au niveau national, ce paramètre est le rapport entre les deux indicateurs sélectionnés.

Au niveau infranational :Pour les indicateurs censés avoir des valeurs à peu près égales, ce paramètre indique le pourcentage d’unités administratives infranationales présentant un écart extrême (par exemple ≥ ±10 %). Pour les indicateurs dont le rapport devrait être ≥1, les districts enregistrant un rapport <1 doivent être signalés. On calcule le nombre et le pourcentage d’unités infranationales ayant obtenu des valeurs anormales (nombre d’unités infranationales ayant enregistré des valeurs anormales, divisé par le nombre total d’unités administratives infranationales).

La relation entre les deux indicateurs au niveau des unités infranationales peut également être évaluée en comparant leur rapport avec le rapport obtenu pour ces deux indicateurs au niveau national. Dans ce cas, on calcule l’écart en pourcentage entre le rapport au niveau infranational et le rapport au niveau national. Les unités infranationales pour lesquelles cet écart en pourcentage est supérieur au seuil de qualité fixé (par exemple ≥10 %) sont signalées pour faire l’objet d’un suivi.

34

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A2.6a Écart en pourcentage du rapport entre ANC1 et TPI1 selon le districtLes districts dont l’écart en pourcentage est ≥ ±20 % sont indiqués en rouge.

ANC1 TPI1 Rapport ANC1/TPI1 Rapport de district/rapport national

District 1 20 995 18 080 1,16 1,01

District 2 18 923 16 422 1,15 1,00

District 3 7 682 6 978 1,10 0,96

District 4 15 669 14 151 1,11 0,97

District 5 12 663 9577 1,32 1,15

District 6 20 233 19 960 1,01 0,88

District 7 11 402 9 291 1,23 1,07

District 8 12 520 10 461 1,20 1,04

District 9 15 984 13 930 1,15 1,00

District 10 18 214 15 491 1,18 1,03

National 154 285 134 341 1,15

Encadré A2.6 Exemple de cohérence entre les indicateurs apparentés

Le nombre de femmes enceintes commençant chaque année à recevoir des soins prénatals (ANC1) devrait être approximativement égal au nombre de femmes enceintes bénéficiant d’un traitement préventif intermittent contre le paludisme (TPI1) dans le cadre des soins prénatals car toutes les femmes enceintes devraient se voir administrer cette prophylaxie. Le rapport entre ANC1 et TPI1 est calculé dans un premier temps à l’échelle nationale, puis pour chaque district (Tableau A2.6a). Au niveau national, le rapport entre ANC1 et TPI1 est de 154 285/134 341 = 1,15.

Au niveau infranational, on compare le rapport obtenu par l’unité infranationale au rapport enregistré à l’échelle nationale :ANC1(unité infranationale) / TPI1(unité infranationale)

ANC1(national) / TPI1(national)

Toute unité infranationale enregistrant une valeur ≥ rapport national + le seuil de qualité fixé (par exemple 20 %), ou une valeur ≤ rapport national – le seuil de qualité fixé, est signalée comme présentant un problème potentiel de qualité des données.

On compare ensuite le rapport obtenu par l’unité infranationale au rapport escompté.

Étant donné que toutes les femmes enceintes en soins prénatals devraient recevoir un TPI, le résultat escompté est que la valeur de TPI1 soit à peu près égale à la valeur d’ANC1, ou légèrement inférieure. Ainsi, le rapport TPI1/ANC1 devrait être approximativement égal à 1 :

ANC1 / TPI1 = 1

Toute unité infranationale enregistrant une valeur de ANC1/TPI1 ≥1 + le seuil de qualité fixé, ou ≤1 – le seuil de qualité fixé, devrait être signalée pour faire l’objet d’un suivi.

Dans l’exemple ci-dessus, on peut constater que trois districts ont un rapport ANC1/TPI1 s’écartant de plus de 20 % de la valeur 1 (Districts 5, 7 et 8). Lorsque les rapports obtenus dans les districts sont comparés au rapport national, aucun district ne présente de divergence dépassant le seuil de qualité de 20 %.


Paramètre de mesure Résultats (comparaison avec le résultat escompté)

Résultats (comparaison avec le résultat national)

Rapport ANC1/TPI1 au niveau national 1,15 1,15

Nombre (pourcentage) de districts dont le rapport ANC1/TPI1 s’écarte de ≥20 % de la valeur 1 3 (30 %) 0

Districts dont le rapport ANC1/TPI1 s’écarte de ≥20 % de la valeur 1 District 5, District 7, District 8 Aucune

35

Dimension 3. Cohérence externe (Concordance avec d’autres sources de données, comme les enquêtes)

Cette dimension vise à examiner le niveau de concordance (cohérence externe) entre deux sources de données mesurant le même indicateur de santé. Les deux sources de données sont 1) les données systématiquement recueillies et notifiées par le système HMIS ou le système d’information propre à chaque programme, et 2) les enquêtes en population périodiques. On considère généralement que les enquêtes donnent des résultats fiables car elles reposent sur des méthodes fortement standardisées ; une attention minutieuse et des fonds importants sont consentis pour veiller à la bonne qualité de la mise en œuvre et des estimations obtenues pour les indicateurs de santé. Les résultats d’enquête sont souvent considérés comme représentant une valeur de « référence », à savoir la valeur réelle de l’indicateur dans la population étudiée.

Compte tenu de leur coût, les enquêtes ne peuvent pas être réalisées de manière régulière et l’interprétation des résultats d’enquête se heurte à certaines limites dans les zones géographiques de plus petite taille. C’est pourquoi les enquêtes ne suffisent pas à assurer une surveillance de routine du secteur de la santé et des résultats programmatiques.

Bien que le niveau de qualité des résultats d’enquête soit généralement considéré comme élevé, les enquêtes peuvent aussi être sujettes à des problèmes de qualité des données. Si ces problèmes sont systématiques, l’estimation de la couverture issue de ces enquêtes peut s’éloigner sensiblement de la valeur réelle. En outre, les enquêtes sont menées sur la base d’un échantillon et donnent donc une plage de valeurs possibles (avec intervalle de confiance et limites). Les intervalles de confiance sont plus larges si l’échantillon est de petite taille. Ainsi, ces intervalles sont beaucoup plus larges au niveau infranational qu’au niveau national. (Les intervalles de confiance sont souvent présentés en annexe des rapports d’enquête, notamment dans le cadre des enquêtes démographiques et sanitaires). Lors de la comparaison avec les données de routine, les limites de confiance de l’enquête doivent être prises en compte. Si la valeur de routine est comprise dans l’intervalle de confiance, on ne peut conclure à une divergence notable par rapport à la valeur d’enquête. De plus, les résultats d’enquête peuvent être le reflet des résultats passés (remontant souvent à trois ou cinq ans avant l’enquête), tandis que les taux de couverture obtenus à partir des données de routine se rapportent généralement à l’année la plus récente. Ainsi, toute comparaison doit être appréhendée avec la plus grande prudence.

Paramètre de mesure de la qualité des données : comparaison externe avec les résultats d’enquête DéfinitionLa comparaison externe des indicateurs sélectionnés se définit comme le rapport entre le taux de couverture dérivé des données systématiquement notifiées (par exemple du système HMIS) et le taux de couverture obtenu à partir des données d’enquête sur les ménages.

36

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Comparaison entre les valeurs du système HMIS et celles des programmes de santé pour les indicateurs sélectionnés : ce paramètre peut être calculé selon la même méthode que celle utilisée pour comparer les données systématiquement notifiées et les résultats d’enquête (par exemple comparaison entre les estimations de la couverture vaccinale selon le système HMIS et les estimations provenant du Programme élargi de vaccination). Voir l’Encadré A2.7.

Données requisesValeurs obtenues au niveau national et dans les unités administratives infranationales pour les indicateurs sélectionnés et l’année étudiée.

Dénominateurs appropriés pour calculer les taux de couverture pour les données de routine.

Valeur analogue, pour la même année, provenant d’une enquête récente sur les ménages, réalisée selon une méthode conforme aux normes internationales de qualité (par exemple, enquête en grappes à indicateurs multiples, enquête démographique et sanitaire).

CalculAu niveau national :Au niveau national, ce paramètre est défini comme le rapport entre la valeur dérivée des données de routine et celle provenant de l’enquête.

Au niveau infranational :Au niveau infranational, le rapport des taux de couverture est calculé pour chaque unité administrative. Toute unité administrative dont le rapport indique une différence d’au moins 33 % entre les deux taux de couverture est signalée pour faire l’objet d’un examen. Le nombre et le pourcentage d’unités administratives enregistrant une différence d’au moins 33 % sont alors calculés. Cette comparaison n’est possible que si on dispose, pour l’indicateur en question, d’estimations de la couverture fournies par une enquête au même niveau administratif. Par exemple, si l’unité administrative analysée est un district, mais les taux de couverture donnés par l’enquête pour l’indicateur concerné ne sont pas disponibles au niveau des districts, la comparaison infranationale ne sera pas possible au niveau des districts. Cependant, si des données d’enquête sont disponibles aux niveaux provincial ou régional, la comparaison peut être établie à ce niveau, sous réserve que l’enquête ait été réalisée dans les 2 à 3 années précédentes.

37

Tableau A2.7a Comparaison des taux de couverture de l’ANC1 fournis par le système HMIS et les enquêtesLes divergences de plus de 33 % entre les deux taux sont indiquées en rouge.

Taux de couverture dans les établissements

Taux de couverture selon les enquêtes

Rapport entre la couverture dans les établissements

et la couverture selon les enquêtes

Différence, en pourcentage, entre le dénominateur

officiel et le dénominateur concurrent

District 1 1,05 0,95 1,1 11 %

District 2 0,91 0,97 0,94 6 %

District 3 1,39 0,9 1,54 54 %

District 4 0,76 0,95 0,8 20 %

District 5 0,96 0,8 1,2 20 %

District 6 0,93 0,98 0,96 5 %

District 7 0,84 0,86 0,98 2 %

District 8 1,1 0,98 1,13 12 %

District 9 1,38 0,92 1,5 50 %

District 10 0,91 0,79 1,16 15 %

National 0,98 0,93 1,05 5 %

Encadré A2.7 Exemple de comparaison externe avec les résultats d’enquête

Si le système HMIS recense correctement toutes les consultations prénatales du pays (et pas seulement celles du secteur public) et si les dénominateurs sont fiables, le taux de couverture de l’ANC1 dérivé des données HMIS devrait être comparable à celui des enquêtes en population. Cependant, pour un même indicateur, les taux de couverture divergent souvent selon qu’ils proviennent du système HMIS ou des enquêtes.

Au niveau national :

Le taux de couverture donné par le système HMIS s’élève à 98 %.Le taux de couverture issu de l’enquête en population la plus récente est de 93 %.Le rapport de ces deux taux est le suivant : 98%/93% = 1,05.Si ce rapport est de 1, les deux taux de couverture sont exactement identiques.Si le rapport est >1, le taux de couverture provenant du système HMIS est supérieur à celui de l’enquête.Un rapport <1 signifie que le taux de couverture donné par l’enquête est supérieur à celui du système HMIS.

Le rapport de 1,05 obtenu montre que les deux valeurs de dénominateur sont assez proches, présentant un écart d’environ 5 %.

Au niveau infranational, le rapport des dénominateurs est calculé pour chaque unité administrative. Les districts enregistrant un écart d’au moins 33 % entre les deux dénominateurs sont signalés pour faire l’objet d’une attention particulière. Dans le Tableau A2.7a ci-dessus, les Districts 3 et 9 présentent une divergence d’au moins 33 % entre les deux taux.



Rapport de cohérence entre les taux nationaux de couverture de l’ANC1 1,05

Districts dont le rapport de cohérence pour la couverture de l’ANC1 est inférieur à 0,67 (l’enquête donne un taux de couverture plus élevé)

0

Districts dont le rapport de cohérence pour la couverture de l’ANC1 est supérieur à 1,33 (le système HMIS donne un taux de couverture plus élevé)

2 (10 %)

38

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Dimension 4. Cohérence externe des données sur la population (Examen des données de dénominateur utilisées pour mesurer les indicateurs de performance)

L’utilisation de données sur la population dans le calcul des indicateurs sanitaires permet de comparer les résultats au sein d’une même zone géographique, entre différentes zones géographiques, au cours du temps, et entre différents sous-groupes de population. Les données démographiques relatives à un indicateur particulier et à une zone géographique particulière ou un sous-groupe de population particulier (par exemple, femmes enceintes) servent de dénominateur dans le calcul des taux et des proportions correspondants et établissent le contexte applicable au numérateur (par exemple, le nombre d’événements, de patients, de produits, etc. pour le processus sanitaire en question). L’utilisation de données sur la population dans le calcul des indicateurs est indispensable pour assurer un suivi et une évaluation efficaces des programmes de santé. Cependant, dans de nombreux pays, les données sur la population sont de qualité médiocre. L’objectif de cette dimension est de déterminer l’adéquation des données démographiques utilisées dans le calcul des indicateurs sanitaires. Pour ce faire, on compare deux sources différentes d’estimations de la population (dont les valeurs sont calculées de manière différente) afin d’évaluer le degré de concordance de ces deux sources. Si les deux estimations de la population divergent, les estimations de la couverture, pour un indicateur donné, pourront avoir des valeurs très différentes, même si le résultat programmatique est le même (nombre d’événements). Plus les dénominateurs de différentes sources concordent, plus on peut avoir confiance dans l’exactitude des projections relatives à la population.

Paramètre de mesure de la qualité des données : cohérence avec les projections démographiques des Nations Unies DéfinitionPour cet indicateur, le dénominateur (population cible totale) utilisé pour l’un des indicateurs choisis dans la procédure d'examen de la qualité des données est comparé aux projections démographiques des Nations Unies. Les dénominateurs employés pour le calcul des taux et des rapports sont généralement tirés des recensements ou du système d’enregistrement des faits d’état civil. Les dénominateurs issus des recensements sont habituellement des projections démographiques fondées sur des estimations de la croissance démographique naturelle et de la migration.

La cohérence avec les projections démographiques des Nations Unies est définie par le rapport entre les projections nationales officielles du nombre de naissances vivantes ou de femmes enceintes et les projections officielles des Nations Unies pour la même population et la même année. Voir l’Encadré A2.8.

39

Il convient d’examiner la cohérence des dénominateurs entre les données programmatiques et les statistiques démographiques officielles du gouvernement. Si les programmes de santé établissent leurs propres estimations démographiques, ce qui est souvent le cas des programmes de vaccination effectuant une microplanification au niveau communautaire, les dénominateurs obtenus par les programmes peuvent être comparés aux estimations du bureau national des statistiques pour la même population, selon la méthode décrite ici. Voir l’Encadré A2.9.

Données requisesLes estimations démographiques sont utilisées en dénominateur dans le calcul des taux relatifs aux indicateurs sélectionnés. Le dénominateur le plus fréquemment employé pour calculer les taux relatifs aux consultations prénatales et aux accouchements est le nombre total de naissances vivantes au cours d’une période donnée. Pour la vaccination, le dénominateur le plus souvent utilisé est le nombre total de nourrissons survivants (nombre total de naissances vivantes corrigé de la mortalité infantile) ; pour les consultations ambulatoires, on utilise généralement la population totale en dénominateur. Les dénominateurs analogues disponibles dans les projections des Nations Unies sont ceux qui portent sur les naissances et sur la population totale.

CalculAu niveau national : Au niveau national, ce paramètre est défini comme le rapport entre les projections officielles du pays (fournies par le bureau national du recensement ou des statistiques) et les projections démographiques des Nations Unies.

Ce paramètre de mesure de la qualité n’est pas calculé au niveau infranational.

Encadré A2.8 Exemple de cohérence avec les projections démographiques des Nations Unies

Si l'estimation officielle du nombre de naissances vivantes pour l'année d'analyse est de 255 000 et les projections des Nations Unies donnent un chiffre de 200 000, le rapport entre l'estimation du pays et les projections des Nations Unies est de 255 000/200 000 ≈ 1,28.

Ce rapport montre que l'estimation nationale du nombre de naissances vivantes est supérieure aux projections établies par les Nations Unies pour la même année.

40

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Paramètre de mesure de la qualité des données : cohérence des dénominateurs – comparaison entre les statistiques officielles du gouvernement et les dénominateurs utilisés par les programmes de santé DéfinitionCe paramètre mesure la cohérence des estimations démographiques utilisées pour le calcul des indicateurs de performance du système de santé. Les données démographiques officielles du gouvernement (par exemple, bureau national des statistiques) utilisées pour le calcul des indicateurs courants sont comparées aux valeurs utilisées par les programmes de santé (le cas échéant) pour les mêmes populations afin de déterminer le degré de concordance entre ces deux sources. Les indicateurs programmatiques recommandés pour cette comparaison (et leurs dénominateurs associés) sont indiqués dans l’annexe 3.

Données requises

Au niveau national :Estimations démographiques officielles du gouvernement utilisées en dénominateur pour le calcul des taux relatifs aux indicateurs choisis pour l’année d’analyse (naissances vivantes, grossesses attendues, enfants de moins de 1 an, population totale).

Données sur les sous populations analogues utilisées par les programmes de santé.

Au niveau infranational :Estimations démographiques des unités administratives infranationales utilisées en dénominateur pour le calcul des taux relatifs aux indicateurs choisis pour l’année d’analyse.

CalculLes valeurs nationales issues des statistiques officielles du gouvernement sur les naissances vivantes, les grossesses attendues, les enfants de moins de 1 an et la population totale sont divisées par les valeurs correspondantes des programmes de santé pour déterminer leur concordance. Les valeurs présentant une divergence notable (seuil recommandé de 10 %, mais pouvant également être défini par les utilisateurs) sont signalées pour faire l’objet d’un examen.

Au niveau infranational, ce paramètre est défini comme le nombre et le pourcentage d’unités infranationales enregistrant une divergence notable (±10 %) entre les deux dénominateurs

41

Tableau A2.9a : Cohérence des tendances démographiques – rapports, à l’échelle nationale et au niveau des unités administratives infranationales, entre l’estimation du nombre de naissances vivantes en 2014 selon les statistiques officielles du gouvernement et l’estimation des naissances vivantes en 2014 utilisée par le programme de santé.Les unités administratives enregistrant un écart de ≥10 % sont indiquées en rouge.

Estimations officielles du gouvernement sur les naissances

vivantes (2014)Estimations du programme de santé

sur les naissances vivantes (2014) Rapport

District 1 29 855 29 351 1,02

District 2 23 398 23 032 1,02

District 3 6 893 7 420 0,93

District 4 18 832 19 938 0,94

District 5 15 032 14 844 1,01

District 6 25 023 30 141 0,83

District 7 14 983 15 004 1,00

District 8 14 556 14 960 0,97

District 9 12 973 13 054 0,99

District 10 25 233 25 283 1,00

National 191 003 194 882 0,97

Encadré A2.9 Exemple de cohérence des données démographiques

Dans cet exemple, qui porte sur les naissances vivantes, les valeurs relatives aux unités administratives infranationales tirées des statistiques officielles du gouvernement sont comparées aux données des programmes de santé pour en déterminer la concordance.

On calcule le rapport entre le nombre de naissances vivantes selon les statistiques nationales officielles du gouvernement pour l’année d’analyse et la valeur utilisée par le programme de santé sélectionné ; le rapport obtenu est égal à 0,97.

On calcule le rapport entre le nombre de naissances vivantes dans l’unité administrative infranationale en 2014 et la valeur utilisée par le programme de santé sélectionné (Tableau A2.9a).

Dans le District 6



Rapport national entre les estimations officielles du gouvernement sur les naissances vivantes et la valeur utilisée par le programme de santé.

0,97

Nombre (pourcentage) de districts pour lesquels les estimations officielles du gouvernement sur le nombre de naissances vivantes diffèrent de ≥10 % de la valeur utilisée par le programme de santé.

1 (10 %)

Districts présentant une divergence ≥10 % District 6

42

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Annexe 3 : Données requises et exigences de formatage pour l’examen sur dossier de la qualité des données

Le Tableau A3.1 recense les données requises pour la procédure d'examen de la qualité des données. Les données nécessaires dépendent de l’indicateur choisi.

Programme Type de données Indicateur

Statistiques des services généraux

Données démographiques • Population totaleDonnées de routine • Nombre total de consultations ambulatoires

Santé maternelle Données démographiques • Nombre estimé de femmes enceintes• Nombre estimé d’accouchements

Données d’enquête

Données essentielles

• Couverture de l’ANC1• Accouchements pratiqués en établissement

Données approfondies

• 1ère dose d’anatoxine tétanique (AT)

Données de routine


• 1ère consultation prénatale


• 4e consultation prénatale • Accouchements pratiqués en établissement• TPI1• 1ère dose d’anatoxine tétanique• Couverture des soins post-partum

Vaccination Données démographiques • Estimation du nombre d’enfants de moins de 1 an (« nourrissons survivants »)Données d’enquête • Estimation de la couverture par la 3e dose de vaccin à valence DTCDonnées de routine


• 3e dose de vaccin à valence DTC chez les enfants de moins de 1 an


• 1ère, 2e, 3e dose de vaccin à valence DTC (DTC1-3/Penta1-3)• Nombre d’enfants vaccinés par la 1ère dose de vaccin à valence rougeole• Doses de VPC1−3 chez les enfants de moins de 1 an1

VIH Données démographiques • Population totale• Prévalence du VIH pour estimer la population nécessitant des soins

Données d’enquête


• Les données sur les sujets actuellement sous TAR ne sont généralement pas recueillies par les enquêtes sur les ménages


• Conseil et dépistage du VIH au cours des 12 derniers mois• Femmes enceintes bénéficiant d’un dépistage du VIH en consultation prénatale

Données de routine


• Nombre et pourcentage de personnes vivant avec le VIH qui bénéficient de soins anti-VIH (dont le TAR) (couverture des soins anti-VIH)


• Pourcentage de sujets positifs pour le VIH qui sont sous TAR (couverture du TAR)2

• Couverture du TAR pour la PTME• Rétention sous TAR à 12 mois• Suppression de la charge virale

Tableau A3.1 Données requises pour la procédure d'examen de la qualité des données

43

Programme Type de données Indicateur

Tuberculose Données démographiques • Population totaleDonnées de routine


• Nombre de cas notifiés de tuberculose (toutes formes confondues)


• Nombre de cas de tuberculose traités avec succès (toutes formes de tuberculose confondues)

• Nombre de cas de tuberculose (cas nouveaux et rechutes) ayant fait l’objet d’un dépistage du VIH

• Nombre de patients tuberculeux positifs pour le VIH ayant commencé un TAR• Nombre de cas de tuberculose multirésistante détectés• Nombre de cas de tuberculose multirésistante traités avec succès

Paludisme Données démographiques • Population totaleDonnées d’enquête


• Les données sur la confirmation des cas de paludisme par les établissements de santé ne sont généralement pas recueillies par les enquêtes sur les ménages


• Proportion de femmes enceintes traitées par 3 doses ou plus de TPIp • Pourcentage d’enfants fiévreux ayant pris un antipaludique de première

intention parmi ceux qui ont reçu un traitement quelconque contre le paludisme

Données de routine


• Nombre de cas de paludisme confirmés par examen microscopique ou TDR


• Nombre de tests de diagnostic du paludisme effectués (par microscopie ou TDR ; positifs ou négatifs)

• Nombre de cas confirmés de paludisme (résultats positifs de l’examen microscopique ou du TDR)

• Nombre de cas présumés de paludisme• Nombre de cas confirmés de paludisme qui ont été traités • Nombre total de cas de paludisme (présumés et confirmés) qui ont été traités• Nombre de femmes enceintes en soins prénatals qui ont été traitées par 3

doses ou plus de TPIp

Table A3.1 Données requises pour la procédure d'examen de la qualité des données, suite

Remarque : ANC = soins prénatals ; DTC3 = vaccin antidiphtérique-antitétanique-anticoquelucheux ; PTME = prévention de la transmission mère-enfant ; TAR = traitement antirétroviral ; TDR = test de diagnostic rapide ; TPI = traitement préventif intermittent.1 Si le pays a mis en œuvre la vaccination par le VPC, il convient de noter que certains pays administrent ce vaccin selon un calendrier 2+1, dans lequel la

troisième dose peut être administrée à l'âge de 12 mois ou plus tard. 2 Selon la politique nationale relative à la couverture par les antirétroviraux – par exemple, adoption des lignes directrices de 2013 de l’OMS sur les

antirétroviraux, recommandant le traitement de 85 % des personnes infectées par le VIH.

Formatage des donnéesLes données du système HMIS ou des programmes de santé doivent être notifiées une fois par mois (ou selon une autre périodicité) sous forme de données agrégées au niveau des districts. Il convient de formater les données de sorte à faciliter le calcul des paramètres de qualité dans la procédure d'examen de la qualité des données, c’est-à-dire sous forme de « fichier plat » contenant un établissement de santé (ou district) pour chaque ligne et les valeurs mensuelles des indicateurs dans les colonnes. Dans les pays qui utilisent le logiciel DHIS2, une application

44

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

OMS intégrée sur la qualité des données, toutes les procédures de formatage et d’analyse des données sont automatiques et les résultats sont fournis aux participants. Les pays dotés du logiciel DHIS2 peuvent également examiner les données au niveau des établissements de santé. Dans les pays disposant d’un système électronique HMIS autre que le DHIS, la base de données doit être interrogée pour obtenir les données requises au format adéquat. Les données peuvent ensuite être analysées dans l’outil Microsoft Excel automatique inclus dans le présent guide. Pour permettre une analyse supplémentaire de la qualité des données de routine dans les pays dépourvus du logiciel DHIS2, une version simplifiée de l’outil Microsoft Excel, destinée à être utilisée au niveau des districts, est en cours d’élaboration pour évaluer les données des établissements appartenant au district.

Données mensuelles sur les servicesDes données annuelles (ventilées par mois) doivent être fournies pour l’exercice financier analysé (par exemple, janvier-décembre, juillet-juin, etc.) et le niveau administratif choisi (le niveau d’analyse recommandé étant le district) pour tous les indicateurs de routine mentionnés ci-dessus. Toutes les unités administratives du pays doivent être incluses (par le niveau d’analyse choisi). Le format indiqué dans le Tableau A3.2 peut être appliqué à chaque indicateur.

Tableau A3.2 Format des données mensuelles sur les services

Numéro Unité administrative Janv Fév Mars Avril Mai Juin Juil Août Sept Oct Nov Déc

1 District A2 District B3 District C4 District D5 District E6… District F……N …District Z

Informations sur l’évolution des données relatives aux servicesPour les indicateurs programmatiques sélectionnés, des données annuelles, couvrant une période pouvant aller jusqu’à trois ans avant l’exercice financier analysé, devraient être fournies pour chaque unité administrative au niveau d’analyse choisi. Par exemple, si l’année d’analyse est celle de janvier-décembre 2015, les données annuelles de 2012, 2013 et 2014 (si elles sont disponibles) devraient être fournies pour chacun des indicateurs. Le format du Tableau A3.3 peut être utilisé pour les données relatives à l’évolution des indicateurs.

45

Tableau A3.3 Format des données relatives à l’évolution des indicateurs

Numéro Unité administrative

Indicateur 1 Indicateur 2 Indicateur 3 Indicateur 4

2012 2013 2014 2012 2013 2014 2012 2013 2014 2012 2013 2014


Données sur la populationSelon le niveau administratif choisi, l’analyse exigera des données démographiques sur des groupes de population particuliers. Par exemple, si l’analyse est réalisée au niveau du district, des données démographiques suivantes seront requises :

population totale

nombre de femmes enceintes

nombre d’accouchements

nombre d’enfants de moins de 1 an

nombre de sujets positifs pour le VIH.

Le format du Tableau A3.4 peut être utilisé pour les données relatives à des groupes de population particuliers.

Le Tableau A3.4 indique le format à utiliser pour la comparaison entre les dénominateurs officiels du gouvernement (fournis par exemple par le bureau national des statistiques) et les mêmes dénominateurs utilisés par les programmes de santé (le cas échéant).

Le Tableau A3.5 montre le format à employer pour les dénominateurs servant à calculer les taux relatifs aux indicateurs programmatiques utilisés dans la procédure d'examen de la qualité des données en vue d’évaluer la qualité des données. Ces dénominateurs sont employés dans la Dimension 3 (Cohérence externe) pour comparer les résultats obtenus à partir des données de routine avec les résultats des enquêtes en population pour les mêmes indicateurs. Les indicateurs figurant dans les tableaux A3.4 et A3.5 sont tous utilisés dans la procédure d'examen de la qualité des données pour évaluer la qualité des données et des dénominateurs.

46

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Tableau A3.4 Format des données relatives aux groupes de population : Dimension 4 – cohérence externe des données sur la population

NuméroUnité administrative

Dénominateurs tirés des statistiques officielles du gouvernement

Dénominateurs utilisés par les programmes de santé

Population totale

Nombre attendu de grossesses

Nombre d’accouchements

Nombre d’enfants âgés de

moins de 1an (nourrissons survivants)

Population totale

Nombre attendu de grossesses

Nombre d’accouchements

Nombre d’enfants âgés de

moins de 1an (nourrissons survivants)


1 Il peut être difficile d’obtenir les données sur ce dénominateur au niveau des districts.

Tableau A3.5 Format des données relatives aux groupes de population : Dimension 3 – cohérence externe


Dénominateurs utilisés pour calculer les taux relatifs aux indicateurs programmatiques choisis pour l'examen de la qualité des données

Première consultation prénatale (ANC1)

(grossesses attendues)

DTC3/Penta3(nourrissons survivants)

Couverture du TAR (nombre de sujets

positifs pour le VIH)1

Cas notifiés de tuberculose, toutes formes confondues

(population totale)

Cas confirmés de paludisme

(population totale)


47

Rapports mensuels provenant du système HMIS ou des programmes En vue de calculer l’exhaustivité de la notification, il faut disposer d’informations sur les rapports mensuels transmis par les établissements de santé à l’unité de notification dont ils dépendent (généralement le district), ainsi que par les districts à l’unité de notification appropriée. Les informations suivantes, portant sur une année complète, doivent être fournies pour le niveau administratif analysé :

Nombre total de rapports mensuels reçus de la part de l’unité administrative d’analyse (district). Par exemple, s’il est attendu des districts qu’ils transmettent chaque mois un rapport à l’unité dont ils dépendent, le nombre effectif de rapports soumis (s’il est connu) doit être inclus.

Nombre total de rapports reçus au niveau administratif d’analyse (district) de la part des établissements de santé au cours de l’exercice financier analysé – par exemple, le nombre total de rapports mensuels des établissements de santé qui ont été reçus entre janvier et décembre 2012 par le niveau administratif d’analyse.

Nombre total d’établissements de santé pour chaque niveau administratif d’analyse. Seuls les établissements censés notifier des données au système HMIS (ou tout autre système de notification programmatique) doivent être pris en compte. Si certains établissements privés d’un district ne sont pas supposés notifier leurs données dans un système quelconque, ils ne doivent pas être inclus dans ce décompte.

Le Tableau A3.6 indique le format à utiliser pour les données relatives aux rapports reçus.

Tableau A3.6 Format des données relatives aux rapports reçus


Nombre total de rapports reçus de la part des

districts

Nombre total de rapports reçus

dans les délais de la part des districts

Nombre total d’établissements

de santé notifiant des données dans le système HMIS

Nombre total de rapports reçus de la part des

établissements de santé

Nombre total de rapports reçus dans les délais de la part des

établissements de santé


48

Exam

en d

e la q

ualit

é des

don

nées

(DQR

)• M

odul

e 2 :

Exam

en su

r dos

sier d

e la q

ualit

é des

don

nées

Il faut également disposer de données sur le nombre d’établissements de santé pour lesquels des rapports étaient attendus les années précédentes.

Numéro Sous-district

Nombre total d’établissements de santé fournissant des services dans le sous-district

2011 2012 2013 20141 Sous-district A

2 Sous-district B3 Sous-district C4 Sous-district D5 Sous-district E6… Sous-district F……N … Sous-district Z

Données issues des enquêtes sur les ménagesLorsque les données proviennent de nombreuses sources différentes, leur formatage peut s’avérer difficile. Il convient de donner aux gestionnaires de données suffisamment de temps pour produire des données de bonne qualité aux fins de l’analyse, car des données préparées à la hâte pourraient compromettre le calcul des paramètres de qualité.

Le Tableau A3.7 présente le formatage pouvant être employé pour les estimations tirées de l’enquête sur les ménages la plus récente pour les indicateurs sélectionnés (annexe 1), avec une indication de l’écart-type (s’il est connu) et selon la zone faisant l’objet d’une estimation dans l’enquête (État/province/région).

Tableau A3.7 Format de notification des données issues des enquêtes sur les ménages


Indicateur 1 de l’enquête Indicateur 2 de l’enquête Indicateur 3 de l’enquête

% Écart-type % Écart-type % Écart-type 1 Région A2 Région B3 Région C4 Région D5 Région E6… Région F…

National

49

Annexe 4 : Outil Microsoft Excel d’analyse automatique de la qualité des données

Les paramètres de mesure de la qualité des données ont été intégrés dans une application OMS sur la qualité des données à utiliser avec le logiciel DHIS. Les pays dotés du logiciel DHIS2 peuvent télécharger cette application dans leur logiciel DHIS. Un outil Microsoft Excel a été élaboré pour faciliter l’analyse annuelle de la qualité des données dans les pays utilisant un autre logiciel ou un système sur support papier. Cet outil Microsoft Excel est fourni en pièce jointe au présent document d’orientation.

Informations sur les unités administratives et les flux de donnéesSelon le niveau de précision administratif (établissement, district, région) pouvant être atteint avec les données disponibles aux fins de l’analyse, il faudra disposer d’informations sur les flux de données entre ce niveau et le niveau national. Si on dispose de données au niveau des districts et que la chaîne de notification suit le parcours district région niveau national, il faut que des informations soient fournies sur tous les districts du pays, ainsi que sur les régions dont relèvent ces districts. Le Tableau A3.8 présente le format recommandé.

Tableau A3.8 Format de notification des flux de données

Numéro Niveau administratif d’analyse Région dont dépend le district1 District A Région UU2 District B Région UU3 District C Région VV4 District D Région VV5 District E Région XX6… District F… Région XX…N …District Z Région XX

50


ISBN 978 92 4 251273 1



Documents

Examen sur dossier de la qualité des données...Examen sur dossier L’examen sur dossier de la qualité des données ne nécessite pas de collecte supplémentaire de données. Il