Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

Data observability : définition, signaux observés et limites

Domaine

Data

L'essentiel

La data observability, en français observabilité des données, est la surveillance continue des jeux de données à partir de signaux relevés sur chaque table : fraîcheur, volume, schéma, distribution des valeurs et dépendances. Notion dont les éditeurs d'outils donnent des formulations différentes, la data observability sert à détecter une anomalie qu'aucune règle écrite ne visait, puis à en chercher l'origine.

Sommaire de la page

Définition de la data observability

Un traitement peut se terminer sans erreur et livrer une table vide, tronquée ou figée à l’avant-veille. La data observability, en français observabilité des données, désigne la surveillance continue des jeux de données eux-mêmes, à partir de signaux relevés sur chaque table : fraîcheur, volume, schéma, distribution des valeurs, dépendances. Elle sert à détecter une anomalie imprévue, puis à en chercher l’origine. Les éditeurs d’outils en donnent des formulations différentes.

Sur le blog de l’éditeur Monte Carlo, Barr Moses écrit avoir forgé l’expression en 2019, par analogie avec l’observabilité des logiciels.

Data observability, tests de qualité, supervision, observabilité applicative : ne pas confondre

Un test de qualité confronte une table à une attente déclarée pour elle et rend un verdict. La data observability étend la détection statistique à l’ensemble des tables suivies, sans exiger de règle rédigée : chacune est comparée à son propre historique. Elle signale un écart ; le qualifier d’erreur revient à une personne. Règles écrites et détection statistique sont distinguées dans notre article sur les méthodes de test de qualité des données.

La supervision des traitements regarde l’exécution : le traitement s’est-il lancé, s’est-il terminé, en combien de temps ? Le contenu livré lui échappe.

L’observabilité applicative porte sur le comportement d’un logiciel, à partir de traces, de métriques et de journaux, signaux décrits dans notre fiche OpenTelemetry. Son objet est une requête qui traverse des services. Celui de la data observability est un jeu de données qui traverse des traitements. Ce qui sépare l’observabilité d’un logiciel de sa supervision est traité dans notre article observabilité vs supervision.

Les signaux relevés sur les données

Monte Carlo présente cinq « piliers » : freshness, quality, volume, schema et lineage. L’éditeur Sifflet énumère de son côté cinq « piliers techniques », où distribution tient la place de quality. Ces listes d’éditeurs diffèrent entre elles. Voici les signaux qu’elles recouvrent (nos traductions).

  • Fraîcheur (freshness) : l’âge de la donnée la plus récente, rapporté au rythme de mise à jour attendu.
  • Volume : le nombre de lignes reçues, comparé aux chargements précédents.
  • Schéma (schema) : les colonnes ajoutées, retirées ou changées de type.
  • Distribution : le taux de valeurs nulles, les bornes et la répartition des valeurs d’une colonne.
  • Lignage (lineage) : les dépendances entre tables, objet de notre fiche data lineage. Elles servent à remonter vers l’origine d’une anomalie et à recenser ce qu’elle atteint en aval.

Les quatre premiers se relèvent sans connaissance du métier, à partir des métadonnées de la plateforme et de requêtes sur les tables. Un data contract peut en fixer les valeurs attendues ; à défaut, elles se déduisent de l’historique. Leur collecte fait partie de l’exploitation d’une plateforme data, qu’elle suive ou non le modèle de la modern data stack.

Une table à moitié vide, sans erreur de traitement

Imaginons un transporteur de colis dont la table des événements de livraison est rechargée chaque nuit. Un lundi, le traitement se termine à l’heure, sans erreur. La table ne contient pourtant que la moitié de ses lignes habituelles : un dépôt a changé le format de ses fichiers, et l’étape d’ingestion les écarte en silence.

Aucune règle écrite n’échoue, puisque les lignes présentes sont conformes. Le relevé de volume s’écarte de celui des lundis précédents et déclenche une alerte. Le lignage désigne en aval le tableau de bord des retards, dont l’équipe suspend la diffusion, et en amont la source du dépôt.

Des signaux qui ne disent pas tout

  • Une valeur fausse mais vraisemblable ne déplace aucun signal.
  • Un seuil déduit de l’historique réagit aussi aux variations légitimes : jour férié, clôture, opération commerciale. Mal réglé, il multiplie les fausses alertes.
  • Une alerte constate. Sans destinataire désigné, elle reste sans suite, et la cause continue de produire le défaut. Dans l’exemple, les fichiers écartés restent à reprendre.

Qualifier puis corriger une anomalie signalée suppose des règles, des seuils et un circuit de traitement : c’est l’objet de notre page qualité des données.

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Que désigne la data observability ?

La data observability, en français observabilité des données, est la surveillance continue des jeux de données d'une plateforme à partir de signaux relevés sur chaque table : fraîcheur, volume, schéma, distribution des valeurs et dépendances. La data observability sert à détecter une anomalie que personne n'avait prévue, puis à en chercher l'origine. Les éditeurs d'outils en donnent des formulations différentes.

Quelle différence entre data observability et tests de qualité des données ?

Un test de qualité des données confronte une table à une attente déclarée pour elle et rend un verdict. La data observability applique une détection statistique à l'ensemble des tables suivies, sans exiger de règle rédigée, et signale un écart, qu'une personne qualifie ensuite d'erreur ou de variation légitime. La data observability y ajoute le lignage, qui sert à chercher l'origine de l'écart et ce qu'il atteint en aval.

La data observability est-elle une supervision des traitements ?

Non. La supervision des traitements vérifie qu'un traitement s'est lancé, s'est terminé et dans quel délai. La data observability regarde le contenu livré : un traitement terminé sans erreur peut avoir produit une table incomplète, qu'un signal relevé sur les données permet de repérer.

Que sont les cinq piliers de la data observability ?

Les cinq piliers de la data observability sont une présentation de l'éditeur Monte Carlo, qui cite sur son blog freshness, quality, volume, schema et lineage, soit la fraîcheur, la qualité des valeurs, le volume, le schéma et le lignage. Un autre éditeur d'outils énumère cinq piliers techniques, où distribution remplace quality : la liste change d'un éditeur à l'autre.

La data observability garantit-elle la qualité des données ?

La data observability détecte des écarts de fraîcheur, de volume, de schéma ou de distribution : elle ne corrige pas leur cause et ne garantit donc pas la qualité des données. Une valeur fausse mais vraisemblable ne déplace aucun de ces signaux et peut passer inaperçue. La correction relève du circuit de traitement des anomalies et des responsables désignés pour chaque donnée.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.