Un test de qualité des données est une vérification automatisée qui compare un jeu de données à une attente explicite et rend un verdict : conforme, ou non. Les méthodes de test de qualité des données se répartissent en familles : contrôles de schéma, de complétude, d’unicité, de fraîcheur, de cohérence entre sources, tests de volumétrie et de distribution. Les contrats de données s’y ajoutent, en fixant ces attentes à la frontière entre l’équipe qui produit un jeu et celles qui l’utilisent.
Aucune famille ne couvre les autres. Chacune détecte un type de défaut, à un endroit donné de la chaîne d’alimentation, et laisse passer le reste. Un dispositif de tests se compose donc défaut par défaut. Les dimensions de la qualité, l’écriture des règles avec les métiers et le traitement des anomalies sont présentés dans notre page qualité des données ; cet article s’en tient aux méthodes de test.
Règles écrites ou détection statistique : la nature du test
Une règle écrite exprime une attente connue d’avance : cette colonne n’est jamais vide, cette clé est unique, ce montant est positif. Son verdict est net et reproductible. Sa limite : elle ne vérifie que ce que quelqu’un a pensé à écrire.
Un test statistique compare le lot du jour à l’historique : nombre de lignes, taux de valeurs nulles, moyenne, répartition par catégorie. Il signale un écart inhabituel sans qu’aucune règle n’ait été rédigée. La contrepartie est double. Le seuil se règle, faute de quoi une saisonnalité ou une clôture comptable déclenchent de fausses alertes. Et l’alerte indique un changement : il reste à établir s’il s’agit d’une erreur.
Une seconde distinction évite un malentendu fréquent. Le test unitaire d’une transformation vérifie le code : il lui soumet un petit jeu d’entrées fixes, avant le déploiement, dans la chaîne d’intégration continue. Le test de données vérifie le lot réel, à chaque exécution.
Méthodes de test de qualité des données : ce que chaque famille détecte et laisse passer
| Famille de tests | Ce qu’elle vérifie | Défaut type détecté | Ce qu’elle laisse passer |
|---|---|---|---|
| Schéma | Présence des colonnes, types, formats, listes de valeurs autorisées | Colonne renommée ou supprimée à la source, type modifié, code hors nomenclature | Une valeur fausse mais bien formée |
| Complétude | Champs obligatoires renseignés, taux de valeurs nulles sous un seuil | Champ qui n’est plus alimenté, jointure qui ne trouve plus de correspondance | Une valeur par défaut qui masque l’absence : « N/A », zéro, date fictive |
| Unicité | Une seule ligne par clé déclarée | Lot chargé deux fois, jointure qui multiplie les lignes | Les doublons fonctionnels : une même entité sous deux identifiants |
| Fraîcheur | Délai entre le contrôle et la donnée la plus récente | Chargement en retard, source figée | Une table rechargée à l’heure avec un contenu ancien |
| Cohérence entre sources | Comptages, totaux et clés rapprochés entre la source et la cible, ou entre deux systèmes | Lignes perdues ou filtrées à tort, écart sur un agrégat, clé sans correspondance | Une erreur présente des deux côtés |
| Volumétrie | Nombre de lignes du lot comparé à l’historique | Chargement vide, partiel ou doublé | Le bon nombre de lignes, au contenu erroné |
| Distribution | Moyenne, quantiles et répartition par catégorie comparés à une période de référence | Changement d’unité ou de codification, valeurs aberrantes | Une dérive lente, absorbée peu à peu par la référence |
Plusieurs lignes appellent un commentaire.
L’unicité testée sur une clé ne dit rien des doublons fonctionnels. Deux fiches pour un même fournisseur portent deux identifiants distincts et passent le test. Leur détection relève du rapprochement d’enregistrements, traité avec la gestion des données de référence.
La fraîcheur se mesure de deux façons. L’heure du dernier chargement indique que le traitement a tourné. La date du dernier événement métier contenu dans la table indique que la donnée est récente. Seule la seconde détecte une source qui renvoie chaque jour le même fichier.
Le rapprochement entre sources suppose une date d’arrêté commune et une tolérance déclarée. Deux systèmes qui ne clôturent pas au même moment présentent des écarts légitimes, et un test sans tolérance alerte chaque matin.
Les tests de volumétrie et de distribution ne demandent aucune règle métier. Ils se généralisent donc à toutes les tables, alors que les règles écrites se concentrent sur les données critiques.
La place de chaque test dans la chaîne d’alimentation
Rapportées aux points de contrôle d’une chaîne, de l’ingestion à l’exposition, les familles de tests se répartissent ainsi.
À l’ingestion se placent le schéma, la volumétrie et la fraîcheur. Ces tests ne dépendent pas du sens métier, coûtent peu à exécuter et arrêtent un lot défectueux avant qu’il n’alimente les traitements suivants.
Après chaque transformation viennent l’unicité des clés, menacée par toute jointure, la complétude des champs calculés, l’intégrité entre tables et les règles métier.
Avant l’exposition se placent la cohérence entre sources et la distribution, appliquées aux agrégats que liront les utilisateurs. Lorsque les données alimentent un modèle, le test de distribution rejoint la surveillance de la dérive décrite dans notre page MLOps et LLMOps.
Deux mécanismes donnent leur effet à ces tests. Le premier consiste à écrire le lot dans une zone que les consommateurs ne voient pas, à le tester, puis à ne le publier qu’en cas de succès. Le second met en quarantaine les seules lignes fautives et laisse passer les autres : la table reste disponible, mais ses totaux deviennent partiels, ce qui se décide avec le métier.
Les tests sont du code. Ils se versionnent avec les transformations, s’exécutent par l’orchestrateur et leurs résultats sont conservés. Des outils tels que Great Expectations, Soda, Deequ ou les tests intégrés à dbt permettent de les déclarer plutôt que de les programmer un à un. L’ensemble s’exécute dans les étages d’une plateforme data.
Les contrats de données : le test remonté chez le producteur
Un contrat de données est un document versionné, lisible par une machine, dans lequel l’équipe qui produit un jeu de données s’engage auprès de celles qui le consomment : schéma, sens des champs, règles de qualité, délai de fraîcheur, responsable, préavis en cas d’évolution. Des spécifications ouvertes, comme l’Open Data Contract Standard du projet Bitol (Linux Foundation), en proposent une structure commune.
Le contrat ne constitue pas une famille de tests supplémentaire. Il porte les précédentes et change le moment où elles s’exécutent. Il est vérifié une première fois dans la chaîne d’intégration du producteur : une modification de schéma qui rompt le contrat est refusée avant son déploiement. Il l’est une seconde fois à chaque livraison de données.
Il détecte ainsi ce que les autres tests constatent trop tard : le changement fait à la source, avant qu’il n’atteigne la plateforme. Il laisse passer tout ce qu’il ne mentionne pas. Et un contrat rédigé par les seuls consommateurs, sans engagement du producteur, reste une documentation. La démarche suppose donc un responsable identifié côté source, ce que formalise la notion de produit de données dans le data mesh.
Les angles morts communs à toutes les familles de tests
L’exactitude échappe en grande partie aux tests. Une adresse existante mais qui n’est pas celle du client, un montant saisi avec une erreur plausible : la valeur est bien formée, présente, unique, fraîche. Seule la confrontation à une source de référence ou à la réalité la dément.
Le changement de sens passe lui aussi. Un champ qui contenait un montant hors taxes et reçoit désormais un montant toutes taxes comprises garde son nom et son type. Un test de distribution le signalera si l’écart est assez marqué, sans en donner la cause.
Enfin, un test détecte et ne corrige rien. La recherche de la cause dans l’application ou le processus d’origine relève du circuit de traitement des anomalies que décrit notre offre de qualité des données.
Liste de contrôle avant d’ajouter un test
- Le défaut visé est nommé, parce qu’il s’est déjà produit ou qu’un usage le redoute.
- Le test est placé au premier endroit de la chaîne où ce défaut devient détectable.
- Son seuil et sa tolérance ont été fixés avec le propriétaire de la donnée.
- Son effet en cas d’échec est décidé : blocage du lot, quarantaine des lignes ou simple alerte.
- L’alerte a un destinataire nommé, qui sait quoi faire en la recevant.
- Le test est versionné avec la transformation qu’il protège, et son historique est conservé.
- Ce qu’il laisse passer est connu, et couvert par un autre test si le risque le justifie.