Définition du lakehouse
Le lakehouse est une architecture de plateforme de données qui réunit dans un même socle les propriétés de l’entrepôt de données (data warehouse) et celles du lac de données (data lake). Le mot est la contraction des deux termes anglais. Il s’est diffusé à partir de 2020.
La définition du lakehouse tient en deux couches. Les données sont stockées dans des fichiers de format ouvert, sur un stockage objet, comme dans un lac. Une couche de gestion des tables leur apporte ensuite ce qui caractérise un entrepôt : des transactions fiables, des schémas contrôlés et des requêtes performantes.
À quoi sert un lakehouse
Beaucoup d’organisations exploitent deux systèmes en parallèle. Un lac reçoit les données brutes et sert la data science. Un entrepôt reçoit une partie de ces données, retraitées, et sert le reporting. Cette architecture à deux étages a un prix : des copies à synchroniser, des écarts entre les chiffres des deux mondes, des délais et une double facture de stockage et de calcul.
Le lakehouse vise à servir tous les usages depuis une seule copie des données : tableaux de bord, analyses exploratoires, entraînement de modèles, traitements en continu. Le bénéfice attendu est la cohérence plus que la nouveauté technique.
Comment fonctionne un lakehouse
Quatre composants se superposent.
- Un stockage objet, qui conserve tous les fichiers à faible coût et sans limite pratique de volume.
- Un format de fichier ouvert en colonnes, tel qu’Apache Parquet, adapté aux requêtes analytiques.
- Un format de table ouvert, tel que Delta Lake, Apache Iceberg ou Apache Hudi. Il tient un journal des transactions au-dessus des fichiers. C’est lui qui apporte les transactions ACID, l’évolution de schéma et la lecture d’une table dans un état antérieur.
- Un catalogue, qui recense les tables, porte les droits d’accès et, selon les outils, le lignage des données.
Le calcul est séparé du stockage. Plusieurs moteurs (SQL, traitement distribué, apprentissage automatique) lisent et écrivent les mêmes tables, et chacun se dimensionne indépendamment. Les données y sont souvent organisées en couches successives, du brut vers le prêt à l’usage, selon un schéma dit en médaillon.
Lakehouse, entrepôt de données, lac de données : ne pas confondre
| Entrepôt de données | Lac de données | Lakehouse | |
|---|---|---|---|
| Données accueillies | Structurées | Tous types, à l’état brut | Tous types |
| Schéma | Imposé à l’écriture | Appliqué à la lecture | Contrôlé par le format de table |
| Transactions fiables | Oui | Non | Oui |
| Format de stockage | Souvent propre à l’éditeur | Ouvert | Ouvert |
| Usages principaux | Reporting, BI | Data science, archivage | BI, data science, apprentissage automatique |
La frontière s’estompe. Des entrepôts de données savent désormais lire et écrire des formats de table ouverts, et les plateformes lakehouse ont renforcé leurs moteurs SQL. La question utile n’est plus l’étiquette du produit. Elle porte sur trois points : le format dans lequel vos données sont stockées, les moteurs capables de les lire, et la couche qui porte la gouvernance.
Le lakehouse est par ailleurs une architecture technique. Il ne dit rien de la répartition des responsabilités sur les données, qui est l’objet du data mesh.
Les limites du lakehouse
- Il ne règle pas la gouvernance. Sans catalogue tenu à jour ni contrôle de qualité, un lakehouse devient un lac de données désordonné doté d’un moteur SQL.
- Il demande de l’entretien. Compactage des petits fichiers, purge des anciennes versions, organisation physique des tables : ces opérations conditionnent les performances.
- Il suppose des compétences d’ingénierie plus étendues qu’un entrepôt entièrement géré.
- Le choix du format de table et du catalogue engage. L’ouverture promise dépend de la compatibilité réelle entre les moteurs que vous utilisez.
- Il est surdimensionné pour un besoin simple. Un volume modéré de données structurées, destinées au seul reporting, se contente d’un entrepôt.
Un exemple concret : une seule source pour la BI et les modèles
Prenons un groupe industriel dont le contrôle de gestion travaille sur un entrepôt de données, tandis que l’équipe de data science entraîne ses modèles de maintenance sur les relevés de capteurs déposés dans un lac. Les deux équipes calculent chacune un taux de disponibilité des machines, et les chiffres divergent, faute de partir des mêmes données et des mêmes règles.
Avec un lakehouse, les relevés bruts, les données nettoyées et les tables de référence résident dans le même stockage, sous un même catalogue. Le tableau de bord et le modèle lisent la même table de disponibilité. Lorsqu’une règle de calcul change, elle change pour tous. L’historique des versions permet en outre de reconstituer l’état des données qui a servi à entraîner un modèle, un point utile aux pratiques de MLOps.
Pour le choix d’architecture et sa mise en œuvre, consultez notre page consacrée à la plateforme data.