Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

Modern data stack : définition, couches et critiques

Domaine

Data

L'essentiel

La modern data stack est une famille d'architectures de données analytiques bâtie autour d'un entrepôt de données dans le cloud : les données y sont chargées brutes, puis transformées sur place, par des outils spécialisés assemblés couche par couche. Terme d'usage, la modern data stack désigne un mode d'assemblage, que chaque organisation compose avec ses propres outils.

Sommaire de la page

Définition de la modern data stack

L’expression modern data stack, littéralement « pile de données moderne » (notre traduction), désigne une famille d’architectures de données analytiques. L’usage lui prête trois traits : un entrepôt de données hébergé dans le cloud, des données chargées brutes puis transformées dans cet entrepôt (ELT, pour extract, load, transform), et des outils spécialisés, un par fonction, que l’organisation assemble elle-même. Son périmètre varie d’une source à l’autre.

Un billet signé Tristan Handy, « The Modern Data Stack: Past, Present, and Future », publié le 1er décembre 2020 sur le blog de dbt Labs, en situe le point de départ à la sortie d’Amazon Redshift, qu’il date d’octobre 2012 (AWS en a annoncé la préversion limitée le 28 novembre 2012). L’auteur présente ce point de départ comme son opinion et s’exprime en acteur de ce marché. Il décrit l’état antérieur : les données étaient transformées avant leur chargement, parce que l’entrepôt était trop lent et trop contraint pour ce travail.

Les couches d’une modern data stack

Couche Fonction Exemples d’outils
Chargement Copier les données des applications sources dans l’entrepôt, sans les modifier Fivetran, Airbyte
Entrepôt Stocker les données et exécuter les calculs en SQL Snowflake, BigQuery
Transformation Produire dans l’entrepôt les tables destinées à l’analyse, par un code versionné dbt, SQLMesh
Restitution Présenter les données aux utilisateurs : tableaux de bord, analyses Looker, Metabase

Autour de ce noyau s’ajoutent, selon les besoins, un orchestrateur, un catalogue de données, un outil de data observability ou une synchronisation de l’entrepôt vers les applications (reverse ETL).

Deux propriétés découlent de ce découpage. La donnée brute étant conservée, une transformation fautive se corrige puis se rejoue. Les couches dialoguent en SQL avec l’entrepôt, de sorte qu’un outil se remplace en principe sans reprendre les autres.

Les critiques adressées à cette famille d’architectures

Le billet de 2020 relevait déjà plusieurs faiblesses, que nous traduisons : une gouvernance « immature », un fonctionnement entièrement par lots, des données qui ne reviennent pas vers les outils opérationnels.

D’autres critiques tiennent à l’assemblage.

  • Chaque outil apporte son contrat, son modèle de droits et ses métadonnées. L’intégration, la sécurité d’ensemble et le diagnostic d’un incident qui traverse plusieurs outils reviennent à l’organisation.
  • Lorsque le calcul se paie à la consommation, la facture peut croître sans arbitrage si la dépense n’est pas rattachée à un usage, ce qui est l’objet du FinOps.
  • L’entrepôt est d’abord conçu pour des données structurées chargées par lots. Documents, images ou flux continus peuvent appeler d’autres composants.

Modern data stack, lakehouse, data lake, ELT : ne pas confondre

Le lakehouse décrit une manière de stocker et de gérer les tables. Il peut tenir, dans une modern data stack, la place de l’entrepôt.

Le data lake conserve des fichiers de tout format, sans structure imposée. La modern data stack conserve elle aussi la donnée brute, mais sous forme de tables.

L’ELT est un ordre d’opérations. La modern data stack est l’architecture bâtie sur cet ordre.

Exemple : le taux d’occupation d’une chaîne d’hôtels

Supposons une chaîne d’hôtels qui veut suivre son taux d’occupation par établissement. Un outil de chargement copie chaque nuit les tables du système de réservation dans un entrepôt cloud. Des modèles SQL versionnés en tirent une table « nuitées par hôtel et par jour », que lit l’outil de restitution.

Le jour où la règle de décompte d’une nuitée annulée change, l’équipe corrige le modèle et le rejoue sur les données brutes, sans nouvelle extraction. En contrepartie, elle administre quatre outils, autant de contrats, et une dépense de calcul à suivre.

Retenir ou non cet assemblage est une décision d’architecture, qui se prend sur les usages à servir : notre page plateforme data en expose les critères.

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Que recouvre l'expression modern data stack ?

La modern data stack est une famille d'architectures de données analytiques organisée autour d'un entrepôt de données hébergé dans le cloud. Les données des applications y sont chargées brutes, puis transformées dans l'entrepôt, et chaque fonction (chargement, transformation, restitution) est confiée à un outil spécialisé. Le périmètre de la modern data stack change selon la source qui la décrit.

Pourquoi associe-t-on la modern data stack à l'ELT ?

L'ELT (extract, load, transform) charge les données brutes dans l'entrepôt avant de les transformer, à l'inverse de l'ETL, qui les transforme avant le chargement. La modern data stack repose sur cet ordre, parce que la capacité de calcul d'un entrepôt dans le cloud permet d'exécuter les transformations sur place. Les règles de gestion s'écrivent alors en SQL, dans un code versionné.

Un lakehouse peut-il faire partie d'une modern data stack ?

Oui. Le lakehouse décrit une manière de stocker et de gérer les tables : des formats de table ouverts posés sur des fichiers. La modern data stack décrit la répartition des fonctions d'une chaîne analytique entre des outils spécialisés, autour d'un moteur central. Ce moteur central peut être un entrepôt de données ou un lakehouse.

Quelles critiques sont adressées à la modern data stack ?

Un billet publié le 1er décembre 2020 sur le blog de dbt Labs reprochait déjà à la modern data stack une gouvernance immature, un fonctionnement par lots et l'absence de retour des données vers les applications opérationnelles. S'y ajoutent des critiques liées à l'assemblage : autant de contrats, de modèles de droits et de factures que d'outils, et une intégration qui reste à la charge de l'organisation.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.