Définition du data product
Un data product, en français produit de données, est un ensemble de données qu’une équipe met à la disposition d’autres équipes comme elle le ferait d’un produit : avec des utilisateurs identifiés, une documentation, des engagements de qualité et un responsable. Le terme relève de l’usage. Il désigne aussi, dans un sens plus large, tout livrable fondé sur des données, comme un tableau de bord ou un modèle prédictif. Cette fiche traite le premier sens.
Zhamak Dehghani l’a formulé dans deux articles publiés sur martinfowler.com. « How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh », daté du 20 mai 2019, demande aux équipes de domaine d’appliquer une réflexion de produit (product thinking) aux jeux de données qu’elles fournissent et de considérer leurs consommateurs comme des clients. « Data Mesh Principles and Logical Architecture », daté du 3 décembre 2020, fait du data product l’unité d’architecture du data mesh. Notre fiche data mesh présente le modèle d’ensemble.
La responsabilité que le produit de données déplace
Une table mise à disposition sans responsable laisse à chaque consommateur le soin de la trouver, d’en deviner le sens et de constater ses changements après coup. L’article de 2020 nomme ce coût : la difficulté à découvrir une donnée de qualité, à la comprendre, à s’y fier et à l’employer.
Traiter la donnée comme un produit place la responsabilité de la qualité au plus près de la source. L’équipe qui produit la donnée répond de ce qu’elle publie devant ceux qui s’en servent.
Les qualités et les composantes d’un data product
L’article de 2019 énumère six qualités.
- Découvrable : le produit s’inscrit dans un catalogue de données, avec son propriétaire, son origine et son lignage.
- Adressable : il possède une adresse unique, selon une convention commune.
- Digne de confiance : son propriétaire annonce des objectifs de niveau de service sur la fidélité des données.
- Auto-descriptif : sa sémantique et sa syntaxe sont documentées.
- Interopérable : il suit des standards communs à tous les domaines.
- Sécurisé : un contrôle d’accès s’applique à chaque produit.
L’article de 2020 décrit trois composantes : le code (traitements, interfaces d’accès, application des politiques), les données avec leurs métadonnées, et l’infrastructure qui les exécute et les stocke. Le data product owner, rôle décrit dans l’article de 2019, décide de la feuille de route du produit et répond de son cycle de vie.
Data product, jeu de données, data contract, data mesh : ne pas confondre
| Notion | Ce qu’elle désigne | Ce qui la sépare du data product |
|---|---|---|
| Jeu de données | Une table, un fichier ou un flux | Le produit y ajoute un responsable, une documentation et des engagements |
| Data contract | Par convention, l’accord qui décrit ce qu’un producteur fournit : schéma, fraîcheur, règles d’évolution | Le contrat consigne les engagements du produit, dont il est une pièce |
| Data mesh | Un modèle d’organisation de la donnée analytique | Le data product en est l’unité ; l’expression s’emploie aussi hors de ce modèle |
| Catalogue de données | L’inventaire des jeux de données et de leurs métadonnées | Le catalogue référence les produits et permet de les trouver |
Exemple : le produit « validations par ligne » d’un réseau de transport
Prenons une société de transport de voyageurs dont l’équipe chargée de la billettique publie un produit de données « validations par ligne et par jour ». Sa fiche de catalogue indique une adresse, la définition de chaque champ, une mise à disposition chaque matin et le nom de sa propriétaire. Un contrôle publié mesure la part des validations rattachées à une ligne.
Lorsque l’équipe modifie la codification des titres de transport, elle publie une nouvelle version du produit et prévient ses consommateurs connus, la planification de l’offre et la finance. La même table, déposée dans un espace partagé sans propriétaire ni engagement, resterait un jeu de données.
La plateforme sur laquelle un produit de données se construit, se publie et se surveille est l’objet de notre page plateforme data. La désignation des propriétaires et les règles communes à tous les produits relèvent de la gouvernance des données.