Définition du data lake
Un data lake, en français lac de données, est un espace de stockage centralisé qui conserve des données de toute nature dans leur format d’origine : extractions de bases, fichiers, journaux d’événements, documents, images, relevés de capteurs. Rien n’est modélisé à l’entrée. La structure est appliquée plus tard, au moment de la lecture, par l’usage qui en a besoin. C’est le principe du schéma à la lecture.
Le terme est attribué à James Dixon, qui l’emploie dans un billet de blog d’octobre 2010. Il y compare le magasin de données (data mart) à de l’eau en bouteille, nettoyée et conditionnée, et le lac à une étendue d’eau dans un état plus naturel, où chacun vient observer, plonger ou prélever.
À quoi sert un data lake
Un entrepôt de données garde ce qui a été prévu : des données structurées, modélisées pour des questions connues d’avance. Le data lake part de l’hypothèse inverse. Il conserve la donnée brute sans attendre de savoir à quoi elle servira. Trois usages en découlent.
- Accueillir ce qu’un entrepôt n’est pas conçu pour recevoir : textes, images, enregistrements, journaux applicatifs.
- Donner aux équipes de data science un historique détaillé, non agrégé, pour explorer les données et entraîner des modèles.
- Servir de zone d’arrivée d’où partent les traitements qui alimentent les entrepôts et les tableaux de bord.
Stockage, zones et catalogue : l’anatomie d’un lac de données
Le socle est un stockage de grande capacité. Le billet de 2010 raisonnait sur Apache Hadoop. Le stockage objet d’un fournisseur de cloud ou d’une infrastructure interne peut tenir le même rôle.
Les données y sont rangées par zones : une zone brute, copie fidèle des sources, puis une ou plusieurs zones où elles sont nettoyées et préparées. Le nom et le nombre de ces zones varient d’une organisation à l’autre.
Deux éléments décident de ce que le lac devient. Le catalogue décrit chaque jeu de données : origine, contenu, propriétaire, date de chargement. Les droits d’accès disent qui peut lire quoi. Sans eux, le lac glisse vers le marécage décrit plus bas.
Data lake, entrepôt, lakehouse, data swamp : ne pas confondre
L’entrepôt de données impose son schéma à l’écriture : la donnée est contrôlée et modélisée avant d’être chargée. Le lac reporte ce travail à la lecture.
Le lakehouse reprend le stockage du lac et lui ajoute une couche de gestion des tables. Notre fiche sur le lakehouse compare les trois architectures.
Le data swamp, ou marécage de données, n’est pas une architecture. C’est l’état d’un lac où les fichiers s’accumulent sans description, sans propriétaire et sans règle de conservation.
Le data mesh, enfin, répartit les responsabilités sur les données. Il ne dit rien de la manière de les stocker.
Ce qu’un lac de données ne garantit pas
Un lac stocke des fichiers. Il ne vérifie ni leur contenu ni leur structure à l’entrée. Un changement de format dans une application source peut donc passer inaperçu jusqu’au jour où un traitement échoue. Deux écritures simultanées sur les mêmes fichiers ne bénéficient pas non plus des garanties transactionnelles d’une base de données.
Conserver « au cas où » a aussi une limite juridique. Pour les données personnelles, l’article 5 du RGPD, règlement (UE) 2016/679, exige des finalités déterminées et une durée de conservation limitée à ce qu’elles nécessitent (paragraphe 1, points b et e).
Un exemple concret : les positions des véhicules d’un réseau de transport
Prenons un opérateur de transport public. Ses véhicules émettent leur position à intervalles rapprochés, ses valideurs de titres enregistrent chaque passage. L’entrepôt de données n’en retient que des agrégats : la fréquentation par ligne et par jour, la ponctualité du mois.
Le data lake conserve les positions et les validations telles qu’elles sont émises. Plus tard, une équipe veut étudier la formation des retards arrêt par arrêt, question que personne n’avait posée à la conception de l’entrepôt. Elle lit les positions brutes et leur applique la structure dont elle a besoin. L’étude n’est possible que si ces fichiers ont été décrits dans le catalogue, changements de format compris.
Le choix entre lac, entrepôt et lakehouse, puis la construction de l’ensemble, sont traités dans notre page plateforme data.