Définition du data mesh
Le data mesh, parfois traduit par maillage de données, est un modèle d’organisation de la donnée analytique. La responsabilité des données y est confiée aux domaines métier qui les produisent, et non à une équipe centrale unique. Formulé en 2019 par Zhamak Dehghani, il part d’un constat d’organisation plus que de technologie.
La définition du data mesh ne désigne donc ni un outil ni une architecture prête à installer. Elle décrit une répartition des responsabilités, appuyée sur une plateforme commune et sur des règles partagées.
À quoi sert le data mesh
Dans le modèle habituel, une équipe data centrale collecte les données de toute l’entreprise, les transforme et les sert aux utilisateurs. Ce modèle fonctionne tant que les sources et les demandes restent peu nombreuses. Au-delà, trois symptômes apparaissent.
- La file d’attente s’allonge : chaque nouveau besoin passe par la même équipe.
- Le sens métier se perd : ceux qui transforment les données ne sont pas ceux qui les comprennent.
- Personne ne répond de la qualité : les producteurs considèrent que leurs données, une fois extraites, ne sont plus leur affaire.
Le data mesh répond à ce problème d’échelle en plaçant la responsabilité là où se trouve la connaissance.
Les quatre principes du data mesh
1. La responsabilité par domaine. Chaque domaine métier (la logistique, la facturation, la relation client) est responsable de ses données analytiques de bout en bout : production, qualité, mise à disposition.
2. La donnée comme produit. Le domaine ne publie pas des tables brutes, mais des produits de données pensés pour leurs utilisateurs. Un produit de données est trouvable dans un catalogue, documenté, assorti d’engagements de qualité et de fraîcheur, et porté par un responsable identifié.
3. La plateforme en libre-service. Une équipe plateforme fournit aux domaines les moyens techniques communs : stockage, traitement, catalogue, contrôle d’accès, supervision. Les domaines s’en servent sans avoir à construire ni à exploiter l’infrastructure. La logique est celle du platform engineering, appliquée à la donnée.
4. La gouvernance fédérée. Les règles communes (identifiants partagés, classification, sécurité, interopérabilité) sont décidées par une instance qui réunit les domaines et la plateforme. Elles sont autant que possible appliquées automatiquement par la plateforme plutôt que vérifiées à la main.
Ces principes se tiennent. Sans plateforme, la décentralisation multiplie les coûts. Sans gouvernance fédérée, elle recrée des silos.
Data mesh et plateforme centralisée : ne pas confondre
| Plateforme centralisée | Data mesh | |
|---|---|---|
| Responsable des données | L’équipe data centrale | Chaque domaine métier |
| Rôle de l’équipe centrale | Produire les jeux de données | Fournir la plateforme et animer les règles |
| Unité de livraison | Le pipeline, la table | Le produit de données |
| Gouvernance | Centralisée | Fédérée, appliquée par la plateforme |
| Risque principal | Goulet d’étranglement | Silos et incohérences |
Le data mesh ne s’oppose pas non plus à une architecture technique donnée. Il peut être mis en œuvre sur un lakehouse comme sur un entrepôt de données : l’un décrit qui est responsable, l’autre comment les données sont stockées et interrogées.
Les conditions de réussite du data mesh
Le modèle demande plus à l’organisation qu’à la technique. Cinq conditions pèsent sur le résultat.
- Une échelle suffisante. Plusieurs domaines autonomes, de nombreuses sources, une équipe centrale réellement saturée. En dessous, le coût de coordination dépasse le bénéfice.
- Des domaines équipés. Chaque domaine doit disposer de compétences data et d’un budget pour ses produits.
- Une plateforme mûre avant la décentralisation. Décentraliser sans libre-service revient à demander à chaque domaine de reconstruire la même infrastructure.
- Une gouvernance dotée d’une autorité réelle sur les standards communs.
- Des objectifs alignés. La qualité des produits de données figure dans les objectifs des domaines, pas seulement dans ceux de la direction data.
L’échec le plus courant consiste à rebaptiser « produits de données » des tables existantes, sans responsable ni engagement de service.
Un exemple concret : le produit de données « stocks »
Prenons un distributeur dont l’équipe data centrale alimente, depuis les applications logistiques, les tableaux de bord du commerce et de la finance. Chaque évolution des applications casse des traitements que l’équipe centrale découvre après coup.
Dans une organisation en data mesh, le domaine logistique publie lui-même un produit « stocks par entrepôt » : un schéma documenté, une fraîcheur annoncée, des contrôles de qualité, un responsable nommé. Lorsqu’il modifie ses applications, il fait évoluer son produit en prévenant ses consommateurs. L’équipe centrale ne répare plus les flux. Elle fournit la plateforme sur laquelle ce produit est construit, catalogué et sécurisé.
Pour le socle technique et les règles communes, consultez nos pages consacrées à la plateforme data et à la gouvernance des données.