La provenance des données est l’information qui établit d’où vient une donnée et quel a été son historique : sa source, la date et les conditions de sa collecte, ses versions successives, la personne ou l’organisation qui en répond. Le lignage des données décrit le chemin qu’elle parcourt dans le système d’information : les traitements qui la lisent, la transforment et l’écrivent, de l’application source jusqu’au rapport ou au modèle. La comparaison provenance des données vs lignage des données met ainsi face à face une origine et un parcours.
La première dit si l’on peut se fier à une donnée et à quelles conditions s’en servir, le second par où elle est passée et ce qu’atteindrait une modification. Cette séparation est une convention de travail. Les deux mots, comme leurs équivalents anglais data provenance et data lineage, s’emploient aussi l’un pour l’autre : le sens que leur donne chaque interlocuteur est à vérifier.
Deux mots que référentiels et outils découpent différemment
Le modèle PROV du W3C donne à la provenance un sens large. Son modèle de données, PROV-DM, recommandation du 30 avril 2013, la définit comme une information sur les entités, les activités et les personnes impliquées dans la production d’une donnée ou d’une chose, qui peut servir à en apprécier la qualité, la fiabilité ou le caractère digne de confiance (notre traduction). Il s’organise autour de trois notions, l’entité, l’activité et l’agent. Parmi ses relations, la dérivation couvre la transformation d’une entité en une autre et l’attribution rattache une entité à un agent. Au sens du W3C, la provenance englobe donc aussi les transformations.
Le standard OpenLineage, projet de la fondation LF AI & Data, se présente comme un cadre ouvert pour la collecte et l’analyse du lignage. Sa spécification décrit trois objets, le jeu de données, le traitement et l’exécution, enrichis par des « facettes », dont l’une porte sur le lignage au niveau des colonnes. Des événements sont émis à l’exécution des traitements ; d’autres décrivent un traitement ou un jeu de données dès sa conception.
La convention retenue dans cet article attribue à la provenance l’origine et l’historique, au lignage le parcours et les transformations. Elle a un intérêt pratique : les deux informations ne se constituent pas de la même manière et ne sont pas tenues par les mêmes personnes.
Provenance des données vs lignage des données : le tableau comparatif
| Provenance des données | Lignage des données | |
|---|---|---|
| Objet décrit | L’origine et l’historique d’un jeu de données ou d’un enregistrement | Le parcours entre systèmes et les transformations appliquées |
| Demande type | D’où vient cette donnée, qui l’a produite, à quelles conditions peut-on s’en servir ? | Par quels traitements ce chiffre est-il passé, et qu’atteint une modification de cette colonne ? |
| Contenu | Source, date et mode de collecte, finalité initiale, licence ou contrat, versions, responsable | Jeux de données en entrée et en sortie, traitements, exécutions, règles de calcul |
| Maille | Le jeu de données, parfois l’enregistrement | La table, ou la colonne lorsque l’outillage le permet |
| Constitution | Déclarée à l’acquisition ou à la collecte, complétée à chaque version | Extraite du code des transformations ou émise par les traitements |
| Tenue par | Le propriétaire et l’intendant des données | L’équipe qui exploite la plateforme, au moyen de l’outillage |
| Limite | Muette sur ce que devient la donnée une fois chargée | Muet sur la fiabilité de la source et sur le droit d’usage |
La ligne « Constitution » commande l’organisation. La provenance se déclare : aucun outil ne devine la licence d’un fichier acheté ni la finalité pour laquelle des données personnelles ont été collectées. Le lignage se calcule, à partir du code ou des événements émis par les traitements, ce qui le tient à jour sans saisie.
Quand la demande porte sur l’origine et le droit d’usage
La provenance répond lorsqu’il faut justifier une donnée devant quelqu’un qui n’a pas à connaître le système d’information.
Pour une donnée achetée ou reçue d’un partenaire, la demande porte sur le contrat, le périmètre d’usage permis et la date d’extraction. Entre deux sources donnant la même information, elle porte sur celle qui fait référence et sur la raison de ce choix.
Pour les données personnelles, le RGPD, règlement (UE) 2016/679, fait de l’origine un objet d’information. Lorsque les données n’ont pas été collectées auprès de la personne, son article 14, paragraphe 2, point f), demande de lui indiquer « la source d’où proviennent les données à caractère personnel ». Son article 15, paragraphe 1, point g), lui ouvre l’accès à « toute information disponible quant à leur source ».
Pour les systèmes d’IA à haut risque, l’AI Act, règlement (UE) 2024/1689 modifié par le règlement (UE) 2026/1744, vise à son article 10, paragraphe 2, point b), « les processus de collecte de données et l’origine des données, ainsi que, dans le cas des données à caractère personnel, la finalité initiale de la collecte de données ». Son annexe IV, point 2 d), attend de la documentation technique des informations sur la provenance des jeux de données d’entraînement. Le calendrier d’application de ces dispositions figure à l’article 113 et se lit sur la version consolidée en vigueur.
Dans ces situations, un graphe de dépendances ne suffit pas. Il montre qu’une table vient d’un fichier, sans indiquer qui a fourni ce fichier ni à quelles conditions.
Quand la demande porte sur le parcours et l’effet d’un changement
Le lignage répond aux équipes qui exploitent, modifient ou expliquent les données.
Pour expliquer un chiffre contesté, il permet de remonter de l’indicateur aux tables et aux règles de calcul qui le produisent. C’est l’un des examens d’un audit qualité des données.
Avant de modifier une colonne ou de remplacer une application source, il donne la liste des rapports, des modèles et des extractions qui en dépendent, donc des personnes à prévenir. Lors d’un incident de chargement, la même lecture vers l’aval désigne les produits touchés.
Pour une demande d’effacement ou de rectification de données personnelles, il indique les tables où la donnée a pu être copiée. Avant de décommissionner une table, il montre ce qui la consomme encore.
Une fiche de provenance, même complète, ne dit rien de ce qui se passe après le chargement.
Les usages qui demandent les deux
Justifier un rapport réglementaire devant un auditeur suppose de montrer le parcours du chiffre et, au bout de ce parcours, des sources dont l’origine est établie. Documenter un modèle d’IA suppose de connaître la provenance des jeux d’entraînement et la chaîne qui les a préparés.
Les deux informations se rejoignent en un point : le nœud d’entrée du graphe de lignage, c’est-à-dire le jeu de données tel qu’il arrive dans la plateforme. C’est à lui que s’attache la fiche de provenance.
La répartition du travail en découle. La fiche de provenance appartient au catalogue. Elle est renseignée à l’entrée de chaque jeu de données par un intendant, sous l’autorité du propriétaire, selon les rôles que décrit notre page gouvernance des données. Le lignage est produit par la plateforme data, à partir du code de ses transformations ou des événements qu’émettent ses traitements. Des intégrations d’OpenLineage existent, selon la documentation du projet, pour des outils tels qu’Apache Airflow, Apache Spark ou dbt.
Avant de retenir un outil
- La demande à servir est nommée : un auditeur, un délégué à la protection des données, une équipe qui prépare une modification.
- Le sens donné à « provenance » et à « lignage » est écrit, et confronté à celui de l’éditeur ou de l’intégrateur consulté.
- Chaque jeu de données d’origine externe a un responsable capable d’en renseigner la source, les conditions d’usage et la date.
- Les transformations sont écrites dans du code versionné ou exécutées par des traitements qui émettent des événements de lignage, faute de quoi le graphe ne peut pas se constituer automatiquement.
- La maille nécessaire est décidée : la table ou la colonne.
- Une personne vérifie, à intervalle fixé, que le graphe correspond aux traitements en service.