Un taux de qualité affiché sans la règle contrôlée, sans la population comptée et sans la date de la mesure ne se vérifie pas, et ne se compare à aucun autre. Nous retenons ici six indicateurs qualité des données. Quatre se calculent sur les enregistrements : le taux de conformité à une règle, le taux de remplissage, le taux de doublons et le délai de mise à disposition. Deux se calculent sur le traitement des défauts : l’âge des anomalies ouvertes et la part des défauts détectés par les contrôles avant qu’un utilisateur ne les signale.
Pour chacun, cet article donne ce qu’il mesure, sa formule en mots, la personne à qui il sert et ce qu’il laisse dans l’ombre. Aucun de ces indicateurs ne contient son seuil : le niveau attendu se décide à part, usage par usage.
Règle, dénominateur et date de mesure définissent un indicateur
Un indicateur de qualité est ici un rapport, un délai ou un comptage. Nous proposons que sa fiche porte quatre mentions : ce qui est compté au numérateur, la population du dénominateur, la maille (une règle, une source, un domaine) et la date de la mesure.
Prenons le référentiel fournisseurs d’un fabricant de mobilier, soit 48 000 fiches actives, et la règle « toute fiche active porte un numéro SIREN renseigné ». Si 45 600 fiches la respectent, le taux de conformité rapporte ces 45 600 fiches conformes aux 48 000 fiches contrôlées. Ces grandeurs, prises par hypothèse, illustrent la formule et ne fixent aucun niveau à atteindre. Calculé sur les seules fiches créées dans l’année, ou sur toutes les fiches, inactives comprises, le même comptage donnerait un autre taux : le dénominateur fait partie de la définition.
Deux notions voisines s’en distinguent. La dimension (complétude, unicité, fraîcheur) nomme l’angle sous lequel on juge et sert à ranger les indicateurs ; le choix d’une liste est l’objet de notre article sur les dimensions de la qualité des données. Le seuil est une cible posée sur la mesure, comme l’objectif se distingue de l’indicateur dans notre fiche SLO, SLI et SLA.
Les indicateurs qualité des données calculés sur les enregistrements
Le taux de conformité rapporte le nombre d’enregistrements qui respectent une règle au nombre d’enregistrements que cette règle contrôle. Les contrôles automatisés le produisent à chaque exécution. Il sert au propriétaire de la donnée, qui a fixé la règle, et à l’intendant qui instruit les écarts. Il ignore les défauts qu’aucune règle ne vise et, moyenné sur plusieurs règles, peut rester stable pendant que l’une d’elles se dégrade.
L’équipe qui saisit un champ et celle qui l’emploie lisent le taux de remplissage : les valeurs renseignées, rapportées aux enregistrements où ce champ est attendu. Le cadre de qualité des données du gouvernement britannique (« The Government Data Quality Framework », publié le 3 décembre 2020 sur gov.uk) en donne un exemple : une école attend un numéro d’urgence pour 300 élèves et en recueille 294, ce que le texte chiffre à 98 %. Il ajoute que ces numéros ne sont pas nécessairement justes. Ce taux ne sépare pas une valeur réelle d’une valeur par défaut, à moins que la convention n’écarte celles-ci du numérateur.
Le taux de doublons connaît deux conventions. L’une rapporte les enregistrements en excédent au total des enregistrements. L’autre en donne le complément, l’unicité, comme l’exemple du cadre britannique : les entités réelles rapportées aux enregistrements, soit 500 élèves pour 501 fiches, ce que ce texte chiffre à 99,8 %. Toutes deux supposent d’avoir rapproché les fiches qui désignent la même entité. Le taux dépend donc de la règle de rapprochement et varie lorsqu’elle est durcie ou assouplie, sans que les données aient changé : le responsable du référentiel le lit avec cette règle. La méthode est décrite dans notre article sur le dédoublonnage des données.
Entre un événement métier et le moment où la donnée qui le décrit devient utilisable s’écoule le délai de mise à disposition. Il se suit en valeur, ou en part des chargements arrivés dans le délai convenu, pour l’utilisateur qui décide à heure fixe et pour l’équipe qui exploite la plateforme. Mesuré sur l’heure du chargement, il ne voit pas une source qui renvoie chaque jour le même contenu, point traité dans notre comparatif des méthodes de test de qualité des données.
L’exactitude n’a pas d’indicateur aussi direct. Elle se mesure par comparaison avec une source de référence, ou par vérification d’un échantillon auprès de la réalité ; le taux obtenu vaut alors pour l’échantillon et pour sa date.
Les mesures tirées du circuit des anomalies
L’âge des anomalies ouvertes compte, à la date de mesure, les anomalies non closes et les répartit par ancienneté ; une variante suit le délai médian de correction des anomalies closes sur la période. Son lecteur est l’instance qui arbitre les corrections. Sa définition précise le moment où une anomalie est ouverte (détection ou qualification) et ce qui la clôt (correction de la source, ou contournement en aval). Cette mesure est muette sur la gravité, et une clôture par contournement fait baisser le stock sans que la cause ait disparu.
La part des défauts détectés par les contrôles rapporte les incidents de données révélés par un contrôle au total des incidents connus sur la période, signalements d’utilisateurs compris. Notre page qualité des données y voit le signe qui résume l’ambition d’un chantier, et décrit le circuit qui produit ces comptages. La direction qui finance le dispositif y cherche l’effet des contrôles. Le dénominateur ne contient que les incidents connus : un défaut que personne n’a vu n’entre dans aucun des deux termes, et la part monte si les utilisateurs cessent de signaler.
Stock, flux et maille changent la lecture d’un taux
Un taux global mêle les enregistrements anciens et ceux qui viennent d’être créés. Mesurer à part les enregistrements créés ou modifiés sur la période indique si la source produit encore le défaut ; notre article sur les leviers pour améliorer la qualité des données en fait le critère de jugement d’une correction.
Un taux de remplissage ventilé par canal de saisie ou par application source désigne l’endroit où le champ se perd.
Le comptage peut aussi tromper sur l’enjeu. Chaque fiche pèse le même poids dans un taux, alors que les fiches non conformes peuvent être celles qui portent l’essentiel des commandes. Une variante pondère par un volume d’activité, à condition de l’écrire dans la définition.
Un taux pris pour objectif peut aussi changer la manière de saisir. Dès qu’une équipe est jugée sur le remplissage d’un champ, les valeurs par défaut peuvent s’y multiplier, et le taux monte sans que la donnée soit mieux connue. Le suivre avec la part de valeurs par défaut limite cet effet.
Le seuil se décide par usage, avec le propriétaire de la donnée
Le cadre britannique écrit qu’une qualité parfaite n’est pas toujours atteignable et que l’effort vise des données aussi adaptées que possible à leur usage (notre traduction de « as fit for purpose as it can be »). Il admet des compromis entre dimensions : privilégier le délai peut coûter en complétude.
Nous proposons donc de confier le seuil au propriétaire de la donnée, au sens de notre page gouvernance des données. Il se fixe à l’avance, en même temps que la conduite à tenir s’il est franchi : blocage d’une diffusion, ouverture d’une anomalie, simple signalement. Lorsqu’un jeu de données est livré sous data contract, le seuil et le délai attendu peuvent y figurer, et leur vérification fournit alors la mesure.
Un premier jeu d’indicateurs peut se limiter aux règles déjà contrôlées sur les données d’un seul usage. Le taux de conformité de chacune, mesuré à part sur les enregistrements créés dans le mois, suffit à ouvrir la première revue avec leur propriétaire.