Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

Data lineage : définition du lignage des données, maille et constitution

Domaine

Data

L'essentiel

Le data lineage, ou lignage des données, est la description du parcours d'une donnée dans le système d'information : les jeux de données qu'un traitement lit, les transformations qu'il applique et ceux qu'il écrit, du système qui produit la donnée jusqu'aux usages qui la consomment. Terme d'usage, le data lineage se représente par un graphe de dépendances, lu vers l'amont ou vers l'aval.

Sommaire de la page

Définition du data lineage, ou lignage des données

Le data lineage, en français lignage des données, désigne la description du parcours d’une donnée dans le système d’information : où elle est lue, par quels traitements elle passe, ce qu’ils en font et où elle est écrite, du système qui la produit jusqu’aux usages qui la consomment. Le terme relève de l’usage, et sa formulation varie d’une source à l’autre.

Le lignage se représente par un graphe orienté. Ses nœuds sont des jeux de données (tables, fichiers, flux) et des traitements. Ses arcs indiquent qu’un traitement lit un jeu de données ou en écrit un.

Deux sens de lecture : vers l’amont et vers l’aval

Vers l’amont, la lecture part d’un chiffre et en retrace les entrées : tables, règles de calcul, sources. Elle sert à justifier un indicateur ou à chercher l’origine d’une anomalie. Vers l’aval, elle part d’une source ou d’une colonne et énumère ce qui en dépend : tables intermédiaires, rapports, extractions, modèles. Cette analyse d’impact précède une modification de schéma, le remplacement d’une application ou le retrait d’une table.

Le lignage décrit un chemin. Il ne dit ni si la source est fiable, ni si la valeur est juste.

Maille, niveau de description et modes de constitution

La maille est le grain des nœuds. Au niveau du système, le graphe relie des applications. Au niveau de la table, il relie des jeux de données. Au niveau de la colonne, il indique quelles colonnes d’entrée servent à produire chaque colonne de sortie. Une maille fine donne un graphe plus volumineux, qui dépend davantage de l’outillage.

Le niveau de description sépare, par convention, un lignage technique, fait de tables et de traitements, d’un lignage dit métier, qui relie des notions du glossaire et des indicateurs.

On distingue ici trois modes de constitution :

  • l’analyse du code des transformations (requêtes SQL, scripts), qui déduit les dépendances sans exécuter les traitements ;
  • l’émission d’événements par les traitements eux-mêmes, à chaque exécution ;
  • la déclaration manuelle, pour les étapes qui échappent à l’outillage : ressaisie, tableur, échange de fichiers.

Pour le deuxième mode, le projet OpenLineage publie un standard ouvert. D’après son site, les composants d’une chaîne de traitement (ordonnanceurs, entrepôts, moteurs SQL) peuvent s’en servir pour envoyer à un outil compatible des informations sur leurs exécutions, leurs traitements et leurs jeux de données. Sa documentation décrit une facette de lignage par colonne, qui qualifie la relation : directe lorsque la valeur de sortie est dérivée de la colonne d’entrée, indirecte lorsque celle-ci influe sur le résultat sans que la valeur en soit dérivée, comme dans un filtre ou une jointure.

Data lineage, provenance, catalogue, journal d’accès : ne pas confondre

La provenance des données désigne, par convention, l’origine et l’historique d’une donnée plutôt que son parcours ; l’usage ne sépare pas toujours les deux mots. Notre article provenance des données vs lignage des données compare les deux notions et situe le modèle PROV du W3C.

Le catalogue de données décrit chaque jeu de données pris isolément : contenu, propriétaire, classification. Le lignage décrit les liens entre eux.

Le journal d’accès enregistre qui a lu ou modifié une donnée, non les traitements qu’elle traverse.

Exemple : une colonne à scinder dans l’application de facturation

Prenons une entreprise dont l’application de facturation doit scinder la colonne « montant » en un montant hors taxes et un montant de taxe. Avant la mise en service, l’équipe data lit le lignage vers l’aval. Le graphe, tenu à la maille de la colonne, désigne trois tables de l’entrepôt qui la reprennent, un indicateur de chiffre d’affaires calculé à partir de l’une d’elles et une extraction mensuelle destinée à la comptabilité.

À la maille de la table, la même lecture aurait désigné tous les rapports alimentés par la table des factures, y compris ceux qui n’utilisent pas le montant. Une étape reste invisible : un tableur que le contrôle de gestion alimente par copie. Elle ne figure dans le graphe que si quelqu’un l’a déclarée.

Décider des données dont le lignage doit être tenu, à quelle maille et sous la responsabilité de qui relève de la gouvernance des données. Sa production automatique revient à la plateforme data.

Insights

À lire sur le sujet

Tous les insights
Les enjeux de la transformation digitale d'une banque se lisent aux retards de son système d'information

Les enjeux de la transformation digitale d'une banque se ramènent, pour son système d'information, à cinq chantiers : systèmes hérités, exigences réglementaires, données de risque, parcours client et dépendance aux prestataires. Management Square propose ici un diagnostic : les signes qui peuvent désigner le chantier en retard, la pièce qui le confirme et la réponse que chacun appelle.

Lire l'analyse
Bâtir un plan de migration des données et le répéter avant la bascule

Un plan de migration des données organise le passage des données d'un système d'origine vers un système cible : ce qui migre, selon quelles règles, dans quelle fenêtre et avec quels contrôles. Management Square soumet ici une méthode en six étapes successives, de l'inventaire au contrôle après bascule et au retour arrière, chacune fermée par un livrable que la suivante utilise.

Lire l'analyse
Mettre la maturité data à l'épreuve de quatre demandes réelles

La maturité data désigne ici la capacité d'une organisation à fournir, pour une décision ou un service, une donnée dont quelqu'un répond, dont la qualité est connue et qui s'obtient dans un délai prévisible. Management Square propose de la situer par quatre épreuves (responsabilités, qualité, plateforme, usages), sans reprendre de modèle publié, et indique la suite que chaque écart appelle.

Lire l'analyse

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Qu'est-ce que le data lineage ?

Le data lineage, ou lignage des données, décrit le parcours d'une donnée dans le système d'information : les jeux de données lus par chaque traitement, les transformations appliquées et les jeux de données écrits. Il prend la forme d'un graphe de dépendances qui va du système qui produit la donnée aux usages qui la consomment. Le terme relève de l'usage et sa formulation varie d'une source à l'autre.

Quelle différence entre un lignage à la table et un lignage à la colonne ?

Un lignage à la table relie des jeux de données entiers : telle table est produite à partir de telles autres. Un lignage à la colonne indique, pour chaque colonne produite, les colonnes d'entrée qui ont servi à la calculer. Le second répond à des demandes plus précises, comme l'effet de la modification d'un seul champ, mais il produit un graphe plus volumineux et dépend davantage de l'outillage.

Comment se constitue le lignage des données ?

Le lignage des données peut se constituer de trois manières, qui se combinent. L'analyse du code des transformations en déduit les dépendances sans exécuter les traitements. Les traitements peuvent aussi émettre eux-mêmes des événements de lignage à chaque exécution, par exemple selon le standard ouvert OpenLineage. Les étapes qui échappent à l'outillage, comme une copie dans un tableur, se déclarent à la main.

Le data lineage renseigne-t-il sur la qualité d'une donnée ?

Non. Le data lineage décrit un chemin : il montre par quels traitements une donnée est passée, sans dire si la source est fiable ni si la valeur est juste. Il aide en revanche à chercher l'origine d'une anomalie, en suivant le graphe vers l'amont à partir du chiffre erroné.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.