Aller au contenu
Cabinet d'expertise en transformation technologique · ARDIANE Group Innover, sécuriser, réussir

Lexique

Data lake : définition, fonctionnement et limites du lac de données

Domaine

Data

L'essentiel

Un data lake, ou lac de données, est un espace de stockage centralisé qui conserve des données de toute nature (extractions de bases, fichiers, journaux, images) dans leur format d'origine, sans leur imposer de structure à l'entrée. La structure est appliquée au moment de la lecture, par l'usage qui en a besoin.

Sommaire de la page

Définition du data lake

Un data lake, en français lac de données, est un espace de stockage centralisé qui conserve des données de toute nature dans leur format d’origine : extractions de bases, fichiers, journaux d’événements, documents, images, relevés de capteurs. Rien n’est modélisé à l’entrée. La structure est appliquée plus tard, au moment de la lecture, par l’usage qui en a besoin. C’est le principe du schéma à la lecture.

Le terme est attribué à James Dixon, qui l’emploie dans un billet de blog d’octobre 2010. Il y compare le magasin de données (data mart) à de l’eau en bouteille, nettoyée et conditionnée, et le lac à une étendue d’eau dans un état plus naturel, où chacun vient observer, plonger ou prélever.

À quoi sert un data lake

Un entrepôt de données garde ce qui a été prévu : des données structurées, modélisées pour des questions connues d’avance. Le data lake part de l’hypothèse inverse. Il conserve la donnée brute sans attendre de savoir à quoi elle servira. Trois usages en découlent.

  • Accueillir ce qu’un entrepôt n’est pas conçu pour recevoir : textes, images, enregistrements, journaux applicatifs.
  • Donner aux équipes de data science un historique détaillé, non agrégé, pour explorer les données et entraîner des modèles.
  • Servir de zone d’arrivée d’où partent les traitements qui alimentent les entrepôts et les tableaux de bord.

Stockage, zones et catalogue : l’anatomie d’un lac de données

Le socle est un stockage de grande capacité. Le billet de 2010 raisonnait sur Apache Hadoop. Le stockage objet d’un fournisseur de cloud ou d’une infrastructure interne peut tenir le même rôle.

Les données y sont rangées par zones : une zone brute, copie fidèle des sources, puis une ou plusieurs zones où elles sont nettoyées et préparées. Le nom et le nombre de ces zones varient d’une organisation à l’autre.

Deux éléments décident de ce que le lac devient. Le catalogue décrit chaque jeu de données : origine, contenu, propriétaire, date de chargement. Les droits d’accès disent qui peut lire quoi. Sans eux, le lac glisse vers le marécage décrit plus bas.

Data lake, entrepôt, lakehouse, data swamp : ne pas confondre

L’entrepôt de données impose son schéma à l’écriture : la donnée est contrôlée et modélisée avant d’être chargée. Le lac reporte ce travail à la lecture.

Le lakehouse reprend le stockage du lac et lui ajoute une couche de gestion des tables. Notre fiche sur le lakehouse compare les trois architectures.

Le data swamp, ou marécage de données, n’est pas une architecture. C’est l’état d’un lac où les fichiers s’accumulent sans description, sans propriétaire et sans règle de conservation.

Le data mesh, enfin, répartit les responsabilités sur les données. Il ne dit rien de la manière de les stocker.

Ce qu’un lac de données ne garantit pas

Un lac stocke des fichiers. Il ne vérifie ni leur contenu ni leur structure à l’entrée. Un changement de format dans une application source peut donc passer inaperçu jusqu’au jour où un traitement échoue. Deux écritures simultanées sur les mêmes fichiers ne bénéficient pas non plus des garanties transactionnelles d’une base de données.

Conserver « au cas où » a aussi une limite juridique. Pour les données personnelles, l’article 5 du RGPD, règlement (UE) 2016/679, exige des finalités déterminées et une durée de conservation limitée à ce qu’elles nécessitent (paragraphe 1, points b et e).

Un exemple concret : les positions des véhicules d’un réseau de transport

Prenons un opérateur de transport public. Ses véhicules émettent leur position à intervalles rapprochés, ses valideurs de titres enregistrent chaque passage. L’entrepôt de données n’en retient que des agrégats : la fréquentation par ligne et par jour, la ponctualité du mois.

Le data lake conserve les positions et les validations telles qu’elles sont émises. Plus tard, une équipe veut étudier la formation des retards arrêt par arrêt, question que personne n’avait posée à la conception de l’entrepôt. Elle lit les positions brutes et leur applique la structure dont elle a besoin. L’étude n’est possible que si ces fichiers ont été décrits dans le catalogue, changements de format compris.

Le choix entre lac, entrepôt et lakehouse, puis la construction de l’ensemble, sont traités dans notre page plateforme data.

FAQ

Questions fréquentes

Une autre question ? Posez-la-nous

Qu'est-ce qu'un data lake ?

Un data lake, ou lac de données, est un espace de stockage centralisé où une organisation conserve ses données dans leur format d'origine, qu'elles soient structurées ou non : extractions de bases, fichiers, journaux, documents, images. Aucun modèle n'est imposé à l'entrée. La structure est définie au moment de la lecture, par chaque usage.

Quelle est la différence entre un data lake et un entrepôt de données ?

L'entrepôt de données (data warehouse) reçoit des données structurées, conformes à un modèle défini avant le chargement, et sert d'abord le pilotage. Le data lake accepte tout type de données à l'état brut et reporte la structuration au moment de la lecture, ce qui convient à l'exploration et à la data science. Les deux peuvent coexister dans une même plateforme, le lac alimentant l'entrepôt.

Que signifie schéma à la lecture ?

Le schéma à la lecture (schema on read) consiste à stocker une donnée telle qu'elle arrive et à ne lui donner une structure (colonnes, types, règles) qu'au moment où un traitement la lit. Il s'oppose au schéma à l'écriture de l'entrepôt de données, où la structure est vérifiée avant le chargement. Avec le schéma à la lecture, le chargement gagne en simplicité, et le contrôle se trouve reporté sur chaque lecteur.

Qu'est-ce qu'un data swamp ?

Un data swamp, ou marécage de données, est un data lake devenu inexploitable : les fichiers s'y sont accumulés sans description, sans propriétaire et sans règle de conservation. Les données existent, mais plus personne ne sait ce qu'elles contiennent ni si elles sont fiables. Un catalogue tenu à jour et des responsables désignés pour chaque jeu de données préviennent cette dérive.

Un projet à faire aboutir ?

Un premier échange suffit pour situer votre enjeu, identifier les bons interlocuteurs et vous dire franchement ce que nous pouvons apporter.