Des campagnes de nettoyage qui ne tiennent pas
Presque toutes les organisations ont déjà mené une campagne de nettoyage : dédoublonnage du fichier client avant une migration, fiabilisation des adresses, remise en ordre d’un référentiel produit. Le résultat tient un temps, puis la qualité des données revient à son niveau de départ. Les mêmes causes ont produit les mêmes anomalies.
Trois erreurs de méthode expliquent ce retour en arrière. On a corrigé les données sans toucher au processus qui les produit : un écran de saisie sans contrôle, une interface qui tronque un champ, une règle de gestion comprise différemment selon les équipes. On a visé des données « propres » en général, alors que le niveau nécessaire dépend de l’usage. Et les vérifications, lorsqu’elles existent, sont manuelles et ponctuelles : elles constatent, elles ne préviennent pas.
Le sujet prend un relief particulier avec l’IA. Un modèle entraîné sur des données erronées apprend ces erreurs, et un assistant qui s’appuie sur une base documentaire en restitue les contradictions avec assurance.
Les six dimensions de la qualité des données
Parler de qualité sans préciser la dimension concernée conduit à des débats sans fin. Six dimensions couvrent la plupart des besoins.
| Dimension | Question posée | Exemple de règle |
|---|---|---|
| Exactitude | La valeur reflète-t-elle la réalité ? | L’adresse de livraison correspond à une adresse existante |
| Complétude | Les informations nécessaires sont-elles présentes ? | Tout contrat actif porte une date d’effet |
| Cohérence | Les valeurs sont-elles compatibles entre elles et d’un système à l’autre ? | Le statut d’un client est identique dans l’outil commercial et dans la facturation |
| Validité | La valeur respecte-t-elle le format et la liste de valeurs attendus ? | Le code pays appartient à la nomenclature en vigueur |
| Unicité | Une même entité n’apparaît-elle qu’une seule fois ? | Un fournisseur ne possède qu’un identifiant |
| Fraîcheur | La donnée est-elle à jour et disponible à temps ? | Les ventes de la veille sont chargées avant l’ouverture des points de vente |
Ces dimensions n’ont pas le même poids selon l’usage. Un rapport réglementaire exige l’exactitude et la complétude. Un moteur de recommandation tolère des valeurs manquantes, mais pas des données périmées. C’est pourquoi une règle de qualité se rédige toujours pour un usage et avec le métier concerné.
Le droit retient d’ailleurs certaines de ces dimensions. Le RGPD, règlement (UE) 2016/679, pose à son article 5 un principe d’exactitude des données personnelles. L’article 10 de l’AI Act, règlement (UE) 2024/1689, demande pour les systèmes d’IA à haut risque des jeux de données d’entraînement, de validation et de test pertinents, suffisamment représentatifs et, dans toute la mesure possible, exempts d’erreurs et complets au regard de la destination du système (paragraphe 3).
Des règles aux contrôles automatisés
Une règle exploitable comporte quatre éléments : un énoncé compréhensible par le métier, un seuil d’acceptation, un responsable et une conduite à tenir en cas d’échec. Sans les deux derniers, le contrôle produit des alertes que personne ne lit.
Les contrôles se placent à quatre endroits de la chaîne.
- À la saisie, dans l’application source : listes de valeurs, champs obligatoires, détection de doublons à la création. C’est le contrôle le moins coûteux.
- À l’ingestion : conformité du schéma, volumes attendus, fraîcheur du chargement.
- Pendant la transformation : règles métier, intégrité entre tables, rapprochements entre systèmes.
- Avant l’exposition : vraisemblance des agrégats, comparaison avec les périodes précédentes.
Chaque contrôle est soit bloquant, soit simplement signalé. Un contrôle bloquant arrête la diffusion d’une donnée douteuse, au prix d’un rapport en retard. Ce choix appartient au métier, pas à l’équipe technique. Aux règles explicites s’ajoute la détection statistique des variations inhabituelles de volume ou de distribution, utile pour les anomalies que personne n’avait prévues.
Données de référence : ce que règle le MDM, et ses quatre styles
Les données de référence sont celles que plusieurs applications partagent : clients, produits, fournisseurs, sites, structure de l’organisation. On y range aussi les nomenclatures (codes pays, devises, plans de comptes). Lorsque chaque application en tient sa propre version, aucune consolidation n’est fiable.
Le MDM (Master Data Management) est la discipline qui maintient une version de référence de ces entités : règles de rapprochement des enregistrements, choix de la valeur retenue en cas de conflit, circuit de création et de modification. Il se met en œuvre selon quatre styles, du plus léger au plus engageant.
| Style | Fonctionnement | Conséquence |
|---|---|---|
| Registre | Un index relie les enregistrements des applications sans les copier ni les modifier | Rapide à installer, ne corrige rien à la source |
| Consolidation | Les données sont copiées et rapprochées dans un référentiel pour produire une version de référence destinée à l’analyse | Fiabilise le décisionnel, laisse les applications inchangées |
| Coexistence | La version de référence est construite dans le référentiel, puis resynchronisée vers les applications | Aligne les systèmes, suppose des flux dans les deux sens |
| Centralisé | Le référentiel devient le lieu unique de création et de modification | Maîtrise maximale, transformation profonde des processus |
Le choix dépend moins de l’outil que de la capacité de l’organisation à modifier ses processus et ses applications. Il engage la place du référentiel dans le système d’information, que nous traitons avec les méthodes de l’architecture SI.
Notre approche : partir d’un usage, remonter à la source
Nous commençons par un usage dont la valeur est reconnue et par les données qu’il consomme. Leur profilage donne un état mesuré : la discussion porte alors sur des constats et non sur des impressions.
Les règles sont ensuite écrites avec les propriétaires et les intendants désignés par la gouvernance des données. Si ces rôles n’existent pas encore sur le périmètre, nous recommandons de les faire nommer : une règle sans responsable n’est pas appliquée.
Les contrôles sont développés comme du code, versionnés et exécutés par les chaînes de traitement de la plateforme. Chaque anomalie suit un circuit explicite, de la qualification à la clôture. Pour les anomalies récurrentes, nous remontons à la cause et proposons la correction dans l’application ou le processus d’origine. Un chantier MDM n’est ouvert que si le diagnostic montre un problème de partage entre systèmes, et non un simple défaut de saisie.
Ce qui fait échouer un chantier de qualité
- Nettoyer sans traiter la cause. Une correction en aval doit être refaite à chaque chargement.
- Exiger le même niveau partout. La qualité a un coût. Elle se concentre sur les données critiques et se proportionne à l’usage.
- Multiplier les contrôles sans destinataire. Des alertes trop nombreuses et non affectées sont ignorées, y compris celles qui comptent.
- Lancer le MDM comme un projet d’outil. Sans règles de rapprochement arbitrées ni circuit de décision, le référentiel devient une application de plus à réconcilier.
- Oublier les documents. Les contenus non structurés qui alimentent un dispositif de RAG ont aussi leurs doublons, leurs versions périmées et leurs contradictions.
Les indicateurs à suivre
- Le taux de conformité par règle et par dimension sur les données critiques, et son évolution dans le temps.
- Le nombre d’anomalies ouvertes, leur ancienneté et leur délai de correction.
- La part des anomalies corrigées à la source plutôt qu’en aval.
- La part des incidents détectés par les contrôles avant d’être signalés par un utilisateur.
- Pour les référentiels : le taux de doublons et le délai de création d’un nouvel enregistrement.
Le quatrième indicateur résume l’ambition du chantier. Tant que ce sont les utilisateurs qui découvrent les erreurs, la confiance ne se rétablit pas, quel que soit le taux de conformité affiché.