Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Data

Quels indicateurs qualité des données suivre, et comment les calculer

L'essentiel

Les indicateurs qualité des données sont des mesures calculées, à définition constante, sur les enregistrements ou sur le traitement de leurs anomalies : taux de conformité à une règle, taux de remplissage, taux de doublons, délai de mise à disposition, âge des anomalies ouvertes. Management Square précise ici, pour chacun, ce qu'il mesure, sa formule en mots, son lecteur et ce qu'il ne dit pas.

Sommaire de la page

Un taux de qualité affiché sans la règle contrôlée, sans la population comptée et sans la date de la mesure ne se vérifie pas, et ne se compare à aucun autre. Nous retenons ici six indicateurs qualité des données. Quatre se calculent sur les enregistrements : le taux de conformité à une règle, le taux de remplissage, le taux de doublons et le délai de mise à disposition. Deux se calculent sur le traitement des défauts : l’âge des anomalies ouvertes et la part des défauts détectés par les contrôles avant qu’un utilisateur ne les signale.

Pour chacun, cet article donne ce qu’il mesure, sa formule en mots, la personne à qui il sert et ce qu’il laisse dans l’ombre. Aucun de ces indicateurs ne contient son seuil : le niveau attendu se décide à part, usage par usage.

Règle, dénominateur et date de mesure définissent un indicateur

Un indicateur de qualité est ici un rapport, un délai ou un comptage. Nous proposons que sa fiche porte quatre mentions : ce qui est compté au numérateur, la population du dénominateur, la maille (une règle, une source, un domaine) et la date de la mesure.

Prenons le référentiel fournisseurs d’un fabricant de mobilier, soit 48 000 fiches actives, et la règle « toute fiche active porte un numéro SIREN renseigné ». Si 45 600 fiches la respectent, le taux de conformité rapporte ces 45 600 fiches conformes aux 48 000 fiches contrôlées. Ces grandeurs, prises par hypothèse, illustrent la formule et ne fixent aucun niveau à atteindre. Calculé sur les seules fiches créées dans l’année, ou sur toutes les fiches, inactives comprises, le même comptage donnerait un autre taux : le dénominateur fait partie de la définition.

Deux notions voisines s’en distinguent. La dimension (complétude, unicité, fraîcheur) nomme l’angle sous lequel on juge et sert à ranger les indicateurs ; le choix d’une liste est l’objet de notre article sur les dimensions de la qualité des données. Le seuil est une cible posée sur la mesure, comme l’objectif se distingue de l’indicateur dans notre fiche SLO, SLI et SLA.

Les indicateurs qualité des données calculés sur les enregistrements

Le taux de conformité rapporte le nombre d’enregistrements qui respectent une règle au nombre d’enregistrements que cette règle contrôle. Les contrôles automatisés le produisent à chaque exécution. Il sert au propriétaire de la donnée, qui a fixé la règle, et à l’intendant qui instruit les écarts. Il ignore les défauts qu’aucune règle ne vise et, moyenné sur plusieurs règles, peut rester stable pendant que l’une d’elles se dégrade.

L’équipe qui saisit un champ et celle qui l’emploie lisent le taux de remplissage : les valeurs renseignées, rapportées aux enregistrements où ce champ est attendu. Le cadre de qualité des données du gouvernement britannique (« The Government Data Quality Framework », publié le 3 décembre 2020 sur gov.uk) en donne un exemple : une école attend un numéro d’urgence pour 300 élèves et en recueille 294, ce que le texte chiffre à 98 %. Il ajoute que ces numéros ne sont pas nécessairement justes. Ce taux ne sépare pas une valeur réelle d’une valeur par défaut, à moins que la convention n’écarte celles-ci du numérateur.

Le taux de doublons connaît deux conventions. L’une rapporte les enregistrements en excédent au total des enregistrements. L’autre en donne le complément, l’unicité, comme l’exemple du cadre britannique : les entités réelles rapportées aux enregistrements, soit 500 élèves pour 501 fiches, ce que ce texte chiffre à 99,8 %. Toutes deux supposent d’avoir rapproché les fiches qui désignent la même entité. Le taux dépend donc de la règle de rapprochement et varie lorsqu’elle est durcie ou assouplie, sans que les données aient changé : le responsable du référentiel le lit avec cette règle. La méthode est décrite dans notre article sur le dédoublonnage des données.

Entre un événement métier et le moment où la donnée qui le décrit devient utilisable s’écoule le délai de mise à disposition. Il se suit en valeur, ou en part des chargements arrivés dans le délai convenu, pour l’utilisateur qui décide à heure fixe et pour l’équipe qui exploite la plateforme. Mesuré sur l’heure du chargement, il ne voit pas une source qui renvoie chaque jour le même contenu, point traité dans notre comparatif des méthodes de test de qualité des données.

L’exactitude n’a pas d’indicateur aussi direct. Elle se mesure par comparaison avec une source de référence, ou par vérification d’un échantillon auprès de la réalité ; le taux obtenu vaut alors pour l’échantillon et pour sa date.

Les mesures tirées du circuit des anomalies

L’âge des anomalies ouvertes compte, à la date de mesure, les anomalies non closes et les répartit par ancienneté ; une variante suit le délai médian de correction des anomalies closes sur la période. Son lecteur est l’instance qui arbitre les corrections. Sa définition précise le moment où une anomalie est ouverte (détection ou qualification) et ce qui la clôt (correction de la source, ou contournement en aval). Cette mesure est muette sur la gravité, et une clôture par contournement fait baisser le stock sans que la cause ait disparu.

La part des défauts détectés par les contrôles rapporte les incidents de données révélés par un contrôle au total des incidents connus sur la période, signalements d’utilisateurs compris. Notre page qualité des données y voit le signe qui résume l’ambition d’un chantier, et décrit le circuit qui produit ces comptages. La direction qui finance le dispositif y cherche l’effet des contrôles. Le dénominateur ne contient que les incidents connus : un défaut que personne n’a vu n’entre dans aucun des deux termes, et la part monte si les utilisateurs cessent de signaler.

Stock, flux et maille changent la lecture d’un taux

Un taux global mêle les enregistrements anciens et ceux qui viennent d’être créés. Mesurer à part les enregistrements créés ou modifiés sur la période indique si la source produit encore le défaut ; notre article sur les leviers pour améliorer la qualité des données en fait le critère de jugement d’une correction.

Un taux de remplissage ventilé par canal de saisie ou par application source désigne l’endroit où le champ se perd.

Le comptage peut aussi tromper sur l’enjeu. Chaque fiche pèse le même poids dans un taux, alors que les fiches non conformes peuvent être celles qui portent l’essentiel des commandes. Une variante pondère par un volume d’activité, à condition de l’écrire dans la définition.

Un taux pris pour objectif peut aussi changer la manière de saisir. Dès qu’une équipe est jugée sur le remplissage d’un champ, les valeurs par défaut peuvent s’y multiplier, et le taux monte sans que la donnée soit mieux connue. Le suivre avec la part de valeurs par défaut limite cet effet.

Le seuil se décide par usage, avec le propriétaire de la donnée

Le cadre britannique écrit qu’une qualité parfaite n’est pas toujours atteignable et que l’effort vise des données aussi adaptées que possible à leur usage (notre traduction de « as fit for purpose as it can be »). Il admet des compromis entre dimensions : privilégier le délai peut coûter en complétude.

Nous proposons donc de confier le seuil au propriétaire de la donnée, au sens de notre page gouvernance des données. Il se fixe à l’avance, en même temps que la conduite à tenir s’il est franchi : blocage d’une diffusion, ouverture d’une anomalie, simple signalement. Lorsqu’un jeu de données est livré sous data contract, le seuil et le délai attendu peuvent y figurer, et leur vérification fournit alors la mesure.

Un premier jeu d’indicateurs peut se limiter aux règles déjà contrôlées sur les données d’un seul usage. Le taux de conformité de chacune, mesuré à part sur les enregistrements créés dans le mois, suffit à ouvrir la première revue avec leur propriétaire.

Insights

À lire sur le sujet

Tous les insights
Mettre la maturité data à l'épreuve de quatre demandes réelles

La maturité data désigne ici la capacité d'une organisation à fournir, pour une décision ou un service, une donnée dont quelqu'un répond, dont la qualité est connue et qui s'obtient dans un délai prévisible. Management Square propose de la situer par quatre épreuves (responsabilités, qualité, plateforme, usages), sans reprendre de modèle publié, et indique la suite que chaque écart appelle.

Lire l'analyse
Les dimensions de la qualité des données, d'un référentiel public à l'autre

Une dimension de la qualité des données est un angle sous lequel on juge une donnée, par exemple son exactitude ou sa complétude : c'est une convention, et les listes varient d'un référentiel à l'autre selon l'objet jugé. Management Square compare ici trois textes publics lus à la source et propose une manière de retenir une liste pour son organisation.

Lire l'analyse
Une politique de gouvernance des données se juge aux arbitrages qu'elle écrit

Une politique de gouvernance des données est le texte qui fixe les règles durables sur les données : périmètre, rôles, classification, accès, arbitrage des définitions, traitement des écarts. Management Square propose de laisser le mode opératoire à des procédures et de la faire approuver par la direction générale ou le comité de direction ; même approuvée, elle n'établit pas seule la conformité à un texte.

Lire l'analyse

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Par quels indicateurs qualité des données commencer ?

Nous proposons de commencer par le taux de conformité de chaque règle déjà contrôlée sur les données d'un usage précis, calculé à part sur les enregistrements récents et sur le stock. Le taux de remplissage et le taux de doublons en sont des cas particuliers, dès qu'une règle de complétude ou d'unicité est écrite. L'âge des anomalies ouvertes s'y ajoute lorsqu'un circuit de traitement existe : il indique si les défauts signalés sont corrigés.

Comment calculer un taux de complétude ?

Un taux de complétude, ou taux de remplissage, divise le nombre de valeurs renseignées dans un champ par le nombre d'enregistrements où ce champ est attendu. Le cadre de qualité des données du gouvernement britannique, publié en 2020, donne, à titre d'exemple, 294 numéros recueillis pour 300 élèves, qu'il chiffre à 98 %. La convention de calcul précise deux points : les enregistrements pour lesquels le champ est sans objet sortent du dénominateur, et les valeurs par défaut comptent ou non comme renseignées.

Quel seuil viser pour un indicateur de qualité des données ?

Le cadre de qualité des données du gouvernement britannique, publié en 2020, écrit qu'une qualité parfaite n'est pas toujours atteignable et renvoie à l'adéquation des données à leur usage. Nous proposons donc de fixer le seuil par usage, avec le propriétaire de la donnée, en même temps que la conduite à tenir s'il est franchi. Le taux de remplissage d'un numéro de téléphone peut convenir à une relance commerciale sans convenir à une procédure d'alerte.

À quelle fréquence calculer les indicateurs qualité des données ?

Les taux produits par des contrôles automatisés peuvent se calculer à chaque exécution de la chaîne de traitement, puisque le contrôle les fournit. Leur revue suit un autre rythme, celui de l'instance où les propriétaires des données arbitrent les corrections. Entre deux revues, seul le franchissement d'un seuil fixé à l'avance appelle une réaction.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.