Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Data

Méthodes de test de qualité des données : ce que chaque famille détecte, et ce qu'elle laisse passer

L'essentiel

Les méthodes de test de qualité des données sont des vérifications automatisées qui comparent un jeu de données à une attente explicite : schéma, complétude, unicité, fraîcheur, cohérence entre sources, volumétrie et distribution. Chacune détecte un type de défaut et en laisse passer d'autres : Management Square compare ici ces familles de tests et leur place dans les chaînes d'alimentation.

Sommaire de la page

Un test de qualité des données est une vérification automatisée qui compare un jeu de données à une attente explicite et rend un verdict : conforme, ou non. Les méthodes de test de qualité des données se répartissent en familles : contrôles de schéma, de complétude, d’unicité, de fraîcheur, de cohérence entre sources, tests de volumétrie et de distribution. Les contrats de données s’y ajoutent, en fixant ces attentes à la frontière entre l’équipe qui produit un jeu et celles qui l’utilisent.

Aucune famille ne couvre les autres. Chacune détecte un type de défaut, à un endroit donné de la chaîne d’alimentation, et laisse passer le reste. Un dispositif de tests se compose donc défaut par défaut. Les dimensions de la qualité, l’écriture des règles avec les métiers et le traitement des anomalies sont présentés dans notre page qualité des données ; cet article s’en tient aux méthodes de test.

Règles écrites ou détection statistique : la nature du test

Une règle écrite exprime une attente connue d’avance : cette colonne n’est jamais vide, cette clé est unique, ce montant est positif. Son verdict est net et reproductible. Sa limite : elle ne vérifie que ce que quelqu’un a pensé à écrire.

Un test statistique compare le lot du jour à l’historique : nombre de lignes, taux de valeurs nulles, moyenne, répartition par catégorie. Il signale un écart inhabituel sans qu’aucune règle n’ait été rédigée. La contrepartie est double. Le seuil se règle, faute de quoi une saisonnalité ou une clôture comptable déclenchent de fausses alertes. Et l’alerte indique un changement : il reste à établir s’il s’agit d’une erreur.

Une seconde distinction évite un malentendu fréquent. Le test unitaire d’une transformation vérifie le code : il lui soumet un petit jeu d’entrées fixes, avant le déploiement, dans la chaîne d’intégration continue. Le test de données vérifie le lot réel, à chaque exécution.

Méthodes de test de qualité des données : ce que chaque famille détecte et laisse passer

Famille de tests Ce qu’elle vérifie Défaut type détecté Ce qu’elle laisse passer
Schéma Présence des colonnes, types, formats, listes de valeurs autorisées Colonne renommée ou supprimée à la source, type modifié, code hors nomenclature Une valeur fausse mais bien formée
Complétude Champs obligatoires renseignés, taux de valeurs nulles sous un seuil Champ qui n’est plus alimenté, jointure qui ne trouve plus de correspondance Une valeur par défaut qui masque l’absence : « N/A », zéro, date fictive
Unicité Une seule ligne par clé déclarée Lot chargé deux fois, jointure qui multiplie les lignes Les doublons fonctionnels : une même entité sous deux identifiants
Fraîcheur Délai entre le contrôle et la donnée la plus récente Chargement en retard, source figée Une table rechargée à l’heure avec un contenu ancien
Cohérence entre sources Comptages, totaux et clés rapprochés entre la source et la cible, ou entre deux systèmes Lignes perdues ou filtrées à tort, écart sur un agrégat, clé sans correspondance Une erreur présente des deux côtés
Volumétrie Nombre de lignes du lot comparé à l’historique Chargement vide, partiel ou doublé Le bon nombre de lignes, au contenu erroné
Distribution Moyenne, quantiles et répartition par catégorie comparés à une période de référence Changement d’unité ou de codification, valeurs aberrantes Une dérive lente, absorbée peu à peu par la référence

Plusieurs lignes appellent un commentaire.

L’unicité testée sur une clé ne dit rien des doublons fonctionnels. Deux fiches pour un même fournisseur portent deux identifiants distincts et passent le test. Leur détection relève du rapprochement d’enregistrements, traité avec la gestion des données de référence.

La fraîcheur se mesure de deux façons. L’heure du dernier chargement indique que le traitement a tourné. La date du dernier événement métier contenu dans la table indique que la donnée est récente. Seule la seconde détecte une source qui renvoie chaque jour le même fichier.

Le rapprochement entre sources suppose une date d’arrêté commune et une tolérance déclarée. Deux systèmes qui ne clôturent pas au même moment présentent des écarts légitimes, et un test sans tolérance alerte chaque matin.

Les tests de volumétrie et de distribution ne demandent aucune règle métier. Ils se généralisent donc à toutes les tables, alors que les règles écrites se concentrent sur les données critiques.

La place de chaque test dans la chaîne d’alimentation

Rapportées aux points de contrôle d’une chaîne, de l’ingestion à l’exposition, les familles de tests se répartissent ainsi.

À l’ingestion se placent le schéma, la volumétrie et la fraîcheur. Ces tests ne dépendent pas du sens métier, coûtent peu à exécuter et arrêtent un lot défectueux avant qu’il n’alimente les traitements suivants.

Après chaque transformation viennent l’unicité des clés, menacée par toute jointure, la complétude des champs calculés, l’intégrité entre tables et les règles métier.

Avant l’exposition se placent la cohérence entre sources et la distribution, appliquées aux agrégats que liront les utilisateurs. Lorsque les données alimentent un modèle, le test de distribution rejoint la surveillance de la dérive décrite dans notre page MLOps et LLMOps.

Deux mécanismes donnent leur effet à ces tests. Le premier consiste à écrire le lot dans une zone que les consommateurs ne voient pas, à le tester, puis à ne le publier qu’en cas de succès. Le second met en quarantaine les seules lignes fautives et laisse passer les autres : la table reste disponible, mais ses totaux deviennent partiels, ce qui se décide avec le métier.

Les tests sont du code. Ils se versionnent avec les transformations, s’exécutent par l’orchestrateur et leurs résultats sont conservés. Des outils tels que Great Expectations, Soda, Deequ ou les tests intégrés à dbt permettent de les déclarer plutôt que de les programmer un à un. L’ensemble s’exécute dans les étages d’une plateforme data.

Les contrats de données : le test remonté chez le producteur

Un contrat de données est un document versionné, lisible par une machine, dans lequel l’équipe qui produit un jeu de données s’engage auprès de celles qui le consomment : schéma, sens des champs, règles de qualité, délai de fraîcheur, responsable, préavis en cas d’évolution. Des spécifications ouvertes, comme l’Open Data Contract Standard du projet Bitol (Linux Foundation), en proposent une structure commune.

Le contrat ne constitue pas une famille de tests supplémentaire. Il porte les précédentes et change le moment où elles s’exécutent. Il est vérifié une première fois dans la chaîne d’intégration du producteur : une modification de schéma qui rompt le contrat est refusée avant son déploiement. Il l’est une seconde fois à chaque livraison de données.

Il détecte ainsi ce que les autres tests constatent trop tard : le changement fait à la source, avant qu’il n’atteigne la plateforme. Il laisse passer tout ce qu’il ne mentionne pas. Et un contrat rédigé par les seuls consommateurs, sans engagement du producteur, reste une documentation. La démarche suppose donc un responsable identifié côté source, ce que formalise la notion de produit de données dans le data mesh.

Les angles morts communs à toutes les familles de tests

L’exactitude échappe en grande partie aux tests. Une adresse existante mais qui n’est pas celle du client, un montant saisi avec une erreur plausible : la valeur est bien formée, présente, unique, fraîche. Seule la confrontation à une source de référence ou à la réalité la dément.

Le changement de sens passe lui aussi. Un champ qui contenait un montant hors taxes et reçoit désormais un montant toutes taxes comprises garde son nom et son type. Un test de distribution le signalera si l’écart est assez marqué, sans en donner la cause.

Enfin, un test détecte et ne corrige rien. La recherche de la cause dans l’application ou le processus d’origine relève du circuit de traitement des anomalies que décrit notre offre de qualité des données.

Liste de contrôle avant d’ajouter un test

  • Le défaut visé est nommé, parce qu’il s’est déjà produit ou qu’un usage le redoute.
  • Le test est placé au premier endroit de la chaîne où ce défaut devient détectable.
  • Son seuil et sa tolérance ont été fixés avec le propriétaire de la donnée.
  • Son effet en cas d’échec est décidé : blocage du lot, quarantaine des lignes ou simple alerte.
  • L’alerte a un destinataire nommé, qui sait quoi faire en la recevant.
  • Le test est versionné avec la transformation qu’il protège, et son historique est conservé.
  • Ce qu’il laisse passer est connu, et couvert par un autre test si le risque le justifie.

Insights

À lire sur le sujet

Tous les insights

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Quelle différence entre un test de qualité des données et un test unitaire ?

Le test unitaire vérifie le code d'une transformation : il lui soumet un petit jeu d'entrées fixes et compare le résultat à une sortie attendue, avant le déploiement. Le test de qualité des données vérifie les données réelles, à chaque exécution de la chaîne. Un code juste peut recevoir un lot défectueux, et un lot propre peut traverser un code fautif : les deux tests se complètent.

Par quels tests commencer sur une table ?

Par ceux qui ne demandent aucune règle métier : conformité du schéma, unicité de la clé, fraîcheur et volumétrie. Ils se posent sur toutes les tables exposées et arrêtent les défauts les plus grossiers. Les règles métier et les rapprochements entre sources viennent ensuite, sur les données critiques, à mesure que les propriétaires des données en fixent les seuils.

Qu'est-ce qu'un contrat de données ?

Un contrat de données est un document versionné et lisible par une machine, dans lequel l'équipe qui produit un jeu de données s'engage auprès de celles qui le consomment : schéma, sens des champs, règles de qualité, délai de fraîcheur, responsable et préavis en cas d'évolution. Il est vérifié automatiquement, avant le déploiement d'un changement chez le producteur puis à chaque livraison.

Les tests statistiques remplacent-ils les règles écrites ?

Non. Un test de distribution ou de volumétrie signale un écart par rapport à l'historique, sans dire si cet écart est une erreur. Une règle écrite rend un verdict net sur une exigence connue, mais ne couvre que ce qui a été prévu. Les premiers servent de filet large sur l'ensemble des tables, les secondes de garantie précise sur les données critiques.

Quels outils pour tester la qualité des données ?

Des outils tels que Great Expectations, Soda, Deequ ou les tests intégrés à dbt permettent de déclarer les attentes et de les exécuter dans les chaînes de traitement. Le choix dépend surtout du moteur de calcul de la plateforme et de l'orchestrateur en place. L'outil compte moins que la désignation d'un destinataire pour chaque alerte et d'une conduite à tenir en cas d'échec.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.