Une plateforme livrée n’est pas une plateforme utilisée
Le scénario est connu. Une organisation investit dans un socle moderne, y charge l’essentiel de ses sources, puis constate que les métiers continuent à travailler sur leurs extractions. La plateforme data existe, elle fonctionne, et elle ne sert qu’à une poignée d’utilisateurs.
Trois causes reviennent. La première est l’ordre des opérations : le socle a été construit pour « toutes les données », sans usage prioritaire pour en fixer les exigences. La deuxième est la confiance : des chargements qui échouent en silence ou des tables sans description suffisent à renvoyer les utilisateurs vers leurs tableurs. La troisième est l’exploitation : une plateforme livrée comme un projet, sans équipe pour l’opérer, se dégrade dès la première évolution d’une application source.
S’y ajoute un piège plus récent. Le vocabulaire (lac, lakehouse, data mesh) est souvent employé comme une réponse, alors qu’il désigne des options qui ne résolvent pas les mêmes problèmes.
Entrepôt, lac, lakehouse, data mesh : quatre options qui ne s’excluent pas
Les trois premières sont des architectures techniques. La quatrième est un modèle d’organisation, compatible avec chacune d’elles.
| Option | Principe | Convient lorsque | Point de vigilance |
|---|---|---|---|
| Entrepôt de données | Données structurées, modélisées avant d’être exposées, interrogées en SQL | Le pilotage et le reporting dominent | Peu adapté aux données non structurées et à l’apprentissage automatique |
| Lac de données | Fichiers bruts de tout format sur un stockage objet, structure appliquée à la lecture | Les volumes sont élevés et les usages exploratoires | Sans catalogue ni règles, le lac devient un dépôt que personne ne sait lire |
| Lakehouse | Formats de table ouverts (Apache Iceberg, Delta Lake) posés sur le stockage du lac, avec transactions et gestion des schémas | L’organisation veut servir l’analyse et l’IA sans maintenir deux systèmes | Demande de vraies compétences d’ingénierie et une discipline de gestion des tables |
| Data mesh | Chaque domaine métier publie ses données comme des produits, sur une plateforme en libre-service et sous une gouvernance fédérée | Une équipe centrale est devenue un goulot d’étranglement pour des domaines nombreux | Exige des équipes de domaine capables de porter leurs produits dans la durée |
Le choix ne se fait pas sur la modernité de l’option. Il se fait sur quatre critères : la nature des usages (pilotage, exploration, modèles), la variété des données, les compétences disponibles pour exploiter l’ensemble, et le degré d’autonomie des domaines métiers. Nos fiches de lexique détaillent la définition du lakehouse et celle du data mesh.
Les quatre étages d’une plateforme data
Quelle que soit l’option retenue, l’ensemble se conçoit comme une chaîne. La faiblesse d’un étage annule la qualité des autres.
L’ingestion. Trois modes coexistent : le chargement par lots, la capture des changements dans les bases sources et le flux d’événements en continu. Le bon mode dépend de la fraîcheur réellement nécessaire à l’usage. Chaque source mérite un contrat explicite : schéma, fréquence, responsable, comportement attendu en cas d’évolution.
Le stockage et la modélisation. La pratique courante sépare une couche brute, fidèle à la source, une couche nettoyée et conformée, et une couche exposée, modélisée pour les usages. Cette séparation permet de rejouer un traitement sans solliciter à nouveau les applications sources.
La transformation. Les règles de gestion vivent dans du code versionné, revu et testé automatiquement, et non dans des traitements manuels ou des requêtes dispersées. C’est la condition pour qu’un changement soit traçable et réversible.
L’exposition. Tables destinées aux outils de restitution, interfaces pour les applications, jeux de données pour les équipes de science des données : chaque mode d’accès a ses droits, sa documentation et ses engagements de fraîcheur.
Notre approche par tranches d’usage
Nous déconseillons de livrer un socle complet avant le premier usage. Nos consultants aident vos équipes à construire une première tranche verticale : une ou deux sources, la chaîne complète jusqu’à l’exposition, un usage réel et ses utilisateurs. Cette tranche éprouve l’architecture, fixe les standards et sert de modèle aux suivantes.
Les décisions structurantes sont prises tôt et consignées par écrit : modèle d’architecture, découpage des environnements, gestion des droits, conventions de modélisation. Chacune mentionne les options écartées. Cette trace évite de rouvrir les mêmes débats à chaque arrivée dans l’équipe.
L’automatisation est présente dès la première tranche. Les environnements sont décrits en infrastructure as code, les transformations passent par une chaîne d’intégration et de déploiement, les tests s’exécutent à chaque modification. Ce sont les pratiques du DevOps et du platform engineering, appliquées aux données.
La sécurité et la gestion des accès sont conçues avec la plateforme, à partir des règles fixées par la gouvernance des données : classification, droits par rôle, masquage des données sensibles, journalisation des accès.
Les erreurs que nous aidons à éviter
- Tout charger avant de servir un usage. L’inventaire exhaustif des sources retarde la première valeur et produit des tables que personne n’a demandées.
- Choisir le temps réel par défaut. Un flux continu se construit et s’exploite plus difficilement qu’un chargement par lots. Il doit répondre à un besoin démontré.
- Reproduire l’ancien entrepôt à l’identique. Une migration est l’occasion de retirer ce qui ne sert plus. Reprendre tous les traitements existants transporte la dette dans le nouveau socle.
- Adopter le data mesh sans équipes de domaine. Décentraliser la responsabilité vers des métiers qui n’ont ni le temps ni les compétences déplace le goulot d’étranglement au lieu de le supprimer.
- Découvrir le coût après coup. Sans affectation des dépenses par usage, la facture croît sans arbitrage possible. Nos consultants aident à installer ce suivi dès le départ, selon les principes du FinOps.
Les signes d’une plateforme qui fonctionne
Nous convenons avec vous, au cadrage, de quelques indicateurs observables, suivis tout au long de la mission.
- L’usage : nombre d’utilisateurs et de traitements réellement actifs, part des tables exposées qui sont effectivement consultées.
- La fiabilité : part des chargements terminés dans le délai convenu, délai de détection et de résolution d’un incident de données.
- La vitesse de livraison : délai entre la demande d’une nouvelle source ou d’un nouveau jeu de données et sa mise à disposition.
- La lisibilité du coût : part de la dépense rattachée à un usage ou à une équipe identifiés.
- L’autonomie : capacité de vos équipes à ajouter une source et à corriger un incident sans notre aide.
Le dernier indicateur est celui qui compte le plus en fin de mission. Une plateforme que seule l’équipe qui l’a construite sait faire évoluer reste un projet. Elle devient un service lorsque d’autres équipes s’en servent, la comprennent et la font évoluer.