Définition de la modern data stack
L’expression modern data stack, littéralement « pile de données moderne » (notre traduction), désigne une famille d’architectures de données analytiques. L’usage lui prête trois traits : un entrepôt de données hébergé dans le cloud, des données chargées brutes puis transformées dans cet entrepôt (ELT, pour extract, load, transform), et des outils spécialisés, un par fonction, que l’organisation assemble elle-même. Son périmètre varie d’une source à l’autre.
Un billet signé Tristan Handy, « The Modern Data Stack: Past, Present, and Future », publié le 1er décembre 2020 sur le blog de dbt Labs, en situe le point de départ à la sortie d’Amazon Redshift, qu’il date d’octobre 2012 (AWS en a annoncé la préversion limitée le 28 novembre 2012). L’auteur présente ce point de départ comme son opinion et s’exprime en acteur de ce marché. Il décrit l’état antérieur : les données étaient transformées avant leur chargement, parce que l’entrepôt était trop lent et trop contraint pour ce travail.
Les couches d’une modern data stack
| Couche | Fonction | Exemples d’outils |
|---|---|---|
| Chargement | Copier les données des applications sources dans l’entrepôt, sans les modifier | Fivetran, Airbyte |
| Entrepôt | Stocker les données et exécuter les calculs en SQL | Snowflake, BigQuery |
| Transformation | Produire dans l’entrepôt les tables destinées à l’analyse, par un code versionné | dbt, SQLMesh |
| Restitution | Présenter les données aux utilisateurs : tableaux de bord, analyses | Looker, Metabase |
Autour de ce noyau s’ajoutent, selon les besoins, un orchestrateur, un catalogue de données, un outil de data observability ou une synchronisation de l’entrepôt vers les applications (reverse ETL).
Deux propriétés découlent de ce découpage. La donnée brute étant conservée, une transformation fautive se corrige puis se rejoue. Les couches dialoguent en SQL avec l’entrepôt, de sorte qu’un outil se remplace en principe sans reprendre les autres.
Les critiques adressées à cette famille d’architectures
Le billet de 2020 relevait déjà plusieurs faiblesses, que nous traduisons : une gouvernance « immature », un fonctionnement entièrement par lots, des données qui ne reviennent pas vers les outils opérationnels.
D’autres critiques tiennent à l’assemblage.
- Chaque outil apporte son contrat, son modèle de droits et ses métadonnées. L’intégration, la sécurité d’ensemble et le diagnostic d’un incident qui traverse plusieurs outils reviennent à l’organisation.
- Lorsque le calcul se paie à la consommation, la facture peut croître sans arbitrage si la dépense n’est pas rattachée à un usage, ce qui est l’objet du FinOps.
- L’entrepôt est d’abord conçu pour des données structurées chargées par lots. Documents, images ou flux continus peuvent appeler d’autres composants.
Modern data stack, lakehouse, data lake, ELT : ne pas confondre
Le lakehouse décrit une manière de stocker et de gérer les tables. Il peut tenir, dans une modern data stack, la place de l’entrepôt.
Le data lake conserve des fichiers de tout format, sans structure imposée. La modern data stack conserve elle aussi la donnée brute, mais sous forme de tables.
L’ELT est un ordre d’opérations. La modern data stack est l’architecture bâtie sur cet ordre.
Exemple : le taux d’occupation d’une chaîne d’hôtels
Supposons une chaîne d’hôtels qui veut suivre son taux d’occupation par établissement. Un outil de chargement copie chaque nuit les tables du système de réservation dans un entrepôt cloud. Des modèles SQL versionnés en tirent une table « nuitées par hôtel et par jour », que lit l’outil de restitution.
Le jour où la règle de décompte d’une nuitée annulée change, l’équipe corrige le modèle et le rejoue sur les données brutes, sans nouvelle extraction. En contrepartie, elle administre quatre outils, autant de contrats, et une dépense de calcul à suivre.
Retenir ou non cet assemblage est une décision d’architecture, qui se prend sur les usages à servir : notre page plateforme data en expose les critères.