Définition du data lineage, ou lignage des données
Le data lineage, en français lignage des données, désigne la description du parcours d’une donnée dans le système d’information : où elle est lue, par quels traitements elle passe, ce qu’ils en font et où elle est écrite, du système qui la produit jusqu’aux usages qui la consomment. Le terme relève de l’usage, et sa formulation varie d’une source à l’autre.
Le lignage se représente par un graphe orienté. Ses nœuds sont des jeux de données (tables, fichiers, flux) et des traitements. Ses arcs indiquent qu’un traitement lit un jeu de données ou en écrit un.
Deux sens de lecture : vers l’amont et vers l’aval
Vers l’amont, la lecture part d’un chiffre et en retrace les entrées : tables, règles de calcul, sources. Elle sert à justifier un indicateur ou à chercher l’origine d’une anomalie. Vers l’aval, elle part d’une source ou d’une colonne et énumère ce qui en dépend : tables intermédiaires, rapports, extractions, modèles. Cette analyse d’impact précède une modification de schéma, le remplacement d’une application ou le retrait d’une table.
Le lignage décrit un chemin. Il ne dit ni si la source est fiable, ni si la valeur est juste.
Maille, niveau de description et modes de constitution
La maille est le grain des nœuds. Au niveau du système, le graphe relie des applications. Au niveau de la table, il relie des jeux de données. Au niveau de la colonne, il indique quelles colonnes d’entrée servent à produire chaque colonne de sortie. Une maille fine donne un graphe plus volumineux, qui dépend davantage de l’outillage.
Le niveau de description sépare, par convention, un lignage technique, fait de tables et de traitements, d’un lignage dit métier, qui relie des notions du glossaire et des indicateurs.
On distingue ici trois modes de constitution :
- l’analyse du code des transformations (requêtes SQL, scripts), qui déduit les dépendances sans exécuter les traitements ;
- l’émission d’événements par les traitements eux-mêmes, à chaque exécution ;
- la déclaration manuelle, pour les étapes qui échappent à l’outillage : ressaisie, tableur, échange de fichiers.
Pour le deuxième mode, le projet OpenLineage publie un standard ouvert. D’après son site, les composants d’une chaîne de traitement (ordonnanceurs, entrepôts, moteurs SQL) peuvent s’en servir pour envoyer à un outil compatible des informations sur leurs exécutions, leurs traitements et leurs jeux de données. Sa documentation décrit une facette de lignage par colonne, qui qualifie la relation : directe lorsque la valeur de sortie est dérivée de la colonne d’entrée, indirecte lorsque celle-ci influe sur le résultat sans que la valeur en soit dérivée, comme dans un filtre ou une jointure.
Data lineage, provenance, catalogue, journal d’accès : ne pas confondre
La provenance des données désigne, par convention, l’origine et l’historique d’une donnée plutôt que son parcours ; l’usage ne sépare pas toujours les deux mots. Notre article provenance des données vs lignage des données compare les deux notions et situe le modèle PROV du W3C.
Le catalogue de données décrit chaque jeu de données pris isolément : contenu, propriétaire, classification. Le lignage décrit les liens entre eux.
Le journal d’accès enregistre qui a lu ou modifié une donnée, non les traitements qu’elle traverse.
Exemple : une colonne à scinder dans l’application de facturation
Prenons une entreprise dont l’application de facturation doit scinder la colonne « montant » en un montant hors taxes et un montant de taxe. Avant la mise en service, l’équipe data lit le lignage vers l’aval. Le graphe, tenu à la maille de la colonne, désigne trois tables de l’entrepôt qui la reprennent, un indicateur de chiffre d’affaires calculé à partir de l’une d’elles et une extraction mensuelle destinée à la comptabilité.
À la maille de la table, la même lecture aurait désigné tous les rapports alimentés par la table des factures, y compris ceux qui n’utilisent pas le montant. Une étape reste invisible : un tableur que le contrôle de gestion alimente par copie. Elle ne figure dans le graphe que si quelqu’un l’a déclarée.
Décider des données dont le lignage doit être tenu, à quelle maille et sous la responsabilité de qui relève de la gouvernance des données. Sa production automatique revient à la plateforme data.