Définition de la data observability
Un traitement peut se terminer sans erreur et livrer une table vide, tronquée ou figée à l’avant-veille. La data observability, en français observabilité des données, désigne la surveillance continue des jeux de données eux-mêmes, à partir de signaux relevés sur chaque table : fraîcheur, volume, schéma, distribution des valeurs, dépendances. Elle sert à détecter une anomalie imprévue, puis à en chercher l’origine. Les éditeurs d’outils en donnent des formulations différentes.
Sur le blog de l’éditeur Monte Carlo, Barr Moses écrit avoir forgé l’expression en 2019, par analogie avec l’observabilité des logiciels.
Data observability, tests de qualité, supervision, observabilité applicative : ne pas confondre
Un test de qualité confronte une table à une attente déclarée pour elle et rend un verdict. La data observability étend la détection statistique à l’ensemble des tables suivies, sans exiger de règle rédigée : chacune est comparée à son propre historique. Elle signale un écart ; le qualifier d’erreur revient à une personne. Règles écrites et détection statistique sont distinguées dans notre article sur les méthodes de test de qualité des données.
La supervision des traitements regarde l’exécution : le traitement s’est-il lancé, s’est-il terminé, en combien de temps ? Le contenu livré lui échappe.
L’observabilité applicative porte sur le comportement d’un logiciel, à partir de traces, de métriques et de journaux, signaux décrits dans notre fiche OpenTelemetry. Son objet est une requête qui traverse des services. Celui de la data observability est un jeu de données qui traverse des traitements. Ce qui sépare l’observabilité d’un logiciel de sa supervision est traité dans notre article observabilité vs supervision.
Les signaux relevés sur les données
Monte Carlo présente cinq « piliers » : freshness, quality, volume, schema et lineage. L’éditeur Sifflet énumère de son côté cinq « piliers techniques », où distribution tient la place de quality. Ces listes d’éditeurs diffèrent entre elles. Voici les signaux qu’elles recouvrent (nos traductions).
- Fraîcheur (freshness) : l’âge de la donnée la plus récente, rapporté au rythme de mise à jour attendu.
- Volume : le nombre de lignes reçues, comparé aux chargements précédents.
- Schéma (schema) : les colonnes ajoutées, retirées ou changées de type.
- Distribution : le taux de valeurs nulles, les bornes et la répartition des valeurs d’une colonne.
- Lignage (lineage) : les dépendances entre tables, objet de notre fiche data lineage. Elles servent à remonter vers l’origine d’une anomalie et à recenser ce qu’elle atteint en aval.
Les quatre premiers se relèvent sans connaissance du métier, à partir des métadonnées de la plateforme et de requêtes sur les tables. Un data contract peut en fixer les valeurs attendues ; à défaut, elles se déduisent de l’historique. Leur collecte fait partie de l’exploitation d’une plateforme data, qu’elle suive ou non le modèle de la modern data stack.
Une table à moitié vide, sans erreur de traitement
Imaginons un transporteur de colis dont la table des événements de livraison est rechargée chaque nuit. Un lundi, le traitement se termine à l’heure, sans erreur. La table ne contient pourtant que la moitié de ses lignes habituelles : un dépôt a changé le format de ses fichiers, et l’étape d’ingestion les écarte en silence.
Aucune règle écrite n’échoue, puisque les lignes présentes sont conformes. Le relevé de volume s’écarte de celui des lundis précédents et déclenche une alerte. Le lignage désigne en aval le tableau de bord des retards, dont l’équipe suspend la diffusion, et en amont la source du dépôt.
Des signaux qui ne disent pas tout
- Une valeur fausse mais vraisemblable ne déplace aucun signal.
- Un seuil déduit de l’historique réagit aussi aux variations légitimes : jour férié, clôture, opération commerciale. Mal réglé, il multiplie les fausses alertes.
- Une alerte constate. Sans destinataire désigné, elle reste sans suite, et la cause continue de produire le défaut. Dans l’exemple, les fichiers écartés restent à reprendre.
Qualifier puis corriger une anomalie signalée suppose des règles, des seuils et un circuit de traitement : c’est l’objet de notre page qualité des données.