Lac de données vs entrepôt de données

Avec l'essor du concept de lac de données ces dernières années, l'industrie n'a cessé de débattre de la comparaison entre l'entrepôt de données et le lac de données. Certains affirment que le lac de données est la plateforme big data de nouvelle génération. Les principaux fournisseurs cloud proposent également leurs propres solutions de lac de données. Certains produits d'entrepôt de données cloud ajoutent même la fonctionnalité de liaison avec le lac de données. Mais quelle est exactement la différence entre un entrepôt de données et un lac de données ?

Dans le précédent article, nous avons présenté ce qu'est un lac de données, l'architecture de base d'un lac de données et un cadre de lac de données basé sur le cloud. Cet article analyse la différence entre le lac de données et l'entrepôt de données, et présente la nouvelle direction de l'intégration et de l'évolution des deux — l'unification lac-entrepôt.

1. Qu'est-ce qu'un entrepôt de données

Le concept d'entrepôt de données est issu du domaine des bases de données, traitant principalement des scénarios complexes de requête et d'analyse orientées données. Avec le développement des technologies big data, de nombreuses technologies issues des bases de données — langage SQL, optimiseur de requêtes, etc. — ont été empruntées pour former l'entrepôt de données big data, devenu la référence grâce à ses puissantes capacités d'analyse. Ces dernières années, la combinaison de l'entrepôt de données et des technologies cloud natif a donné naissance à l'entrepôt de données cloud, qui résout le problème de l'approvisionnement en ressources pour le déploiement d'entrepôts de données en entreprise. En tant que capacité de plateforme de haut niveau (niveau entreprise) du big data, l'entrepôt de données cloud attire une attention croissante grâce à son caractère prêt à l'emploi, son extensibilité illimitée et la simplicité de son exploitation et de sa maintenance.

Un entrepôt de données est une collection stratégique qui fournit une prise en charge de tous les types de données pour les processus décisionnels à tous les niveaux de l'entreprise. Il s'agit d'un référentiel de données unique créé à des fins de rapports analytiques et d'aide à la décision. Il fournit des orientations pour l'amélioration des processus métier, la surveillance des délais, des coûts et de la qualité, ainsi que le contrôle pour les entreprises nécessitant de la business intelligence.

L'essence de l'entrepôt de données repose sur trois éléments :
(1) Un système de stockage intégré, où les données sont fournies de manière abstraite (par exemple via des tables ou des vues), sans exposer le système de fichiers.
(2) Les données doivent être nettoyées et transformées, généralement par la méthode ETL/ELT.
(3) L'accent est mis sur la modélisation et la gestion des données pour la prise de décision en business intelligence.

Au regard de ces critères, tant les entrepôts de données traditionnels (comme Teradata) que les systèmes émergents d'entrepôt de données cloud (AWS Redshift, Google BigQuery, Alibaba Cloud MaxCompute) incarnent l'essence de la conception des entrepôts de données. Aucun d'entre eux n'expose le système de fichiers vers l'extérieur : c'est une interface de service qui gère les entrées et sorties de données. Cette conception présente plusieurs avantages :

(1) Le moteur comprend profondément les données, et le stockage comme le calcul peuvent être optimisés en profondeur.
(2) Gestion du cycle de vie des données, système de traçabilité complet.
(3) Gestion et gouvernance fines des données.
(4) Capacités complètes de gestion des métadonnées, facilitant la construction d'un centre de données de niveau entreprise.

C'est pourquoi, dès le début de la construction de la plateforme big data Feitian d'Alibaba, l'architecture d'entrepôt de données a été adoptée — il s'agit de la plateforme big data MaxCompute. MaxCompute (anciennement ODPS) n'est pas seulement la plateforme big data de l'écosystème Alibaba, mais aussi un service de calcul big data en ligne sur Alibaba Cloud, sûr, fiable, performant, économique et extensible à la demande du Go à l'Eo. En tant qu'entrepôt de données cloud de niveau entreprise en mode SaaS, MaxCompute est largement utilisé dans l'écosystème Alibaba et par des milliers de clients sur Alibaba Cloud, couvrant Internet, la nouvelle finance, le nouveau commerce de détail et le gouvernement numérique.

Grâce à l'architecture d'entrepôt de données de MaxCompute, la direction d'Alibaba a progressivement développé des capacités de gestion telles que le « système de sécurité des données », la « qualité des données », la « gouvernance des données » et l'« étiquetage des données », formant finalement la plateforme intermédiaire de données d'Alibaba. On peut dire qu'en tant que pionnier du concept de plateforme intermédiaire de données, Alibaba a tiré parti de l'architecture d'entrepôt de données pour bâtir cette plateforme.

2. De la base de données à l'entrepôt de données, puis au lac de données : la tendance évolutive

Les données d'une base de données ont des exigences d'alignement. La base de données est orientée application, et chaque application peut nécessiter une base de données. Si une entreprise possède des dizaines d'applications, il y aura des dizaines de bases de données. Comment connecter et analyser des dizaines de bases de données ? C'est impossible.

On est ensuite passé de la base de données à l'entrepôt de données. L'entrepôt de données n'est orienté vers aucune application spécifique, mais il est connecté aux bases de données. Si vous devez planifier quotidiennement des tâches ETL par lots, agréger différentes applications et données, et effectuer des analyses de connexion selon certains modèles paradigmatiques pour obtenir une vue d'ensemble des données sur une période donnée, la condition préalable est que de nombreuses bases de données alimentent l'entrepôt de données.

Avec l'augmentation du volume de données et l'évolution des types de données, de nombreuses données non structurées — vidéos, fichiers audio, documents — occupent une part de plus en plus importante du volume total. L'entrepôt de données classique peine à les prendre en charge, et de plus en plus d'entreprises souhaitent conserver les données brutes dans leur état initial. Sous l'impulsion de ce besoin, le concept de lac de données a commencé à prendre forme : il permet de conserver les données dans leur état d'origine afin que les entreprises puissent mener des analyses multidimensionnelles. Les données peuvent facilement entrer dans le lac de données, et les utilisateurs peuvent différer la collecte, le nettoyage et la normalisation des données jusqu'à ce que les besoins métiers se manifestent. Dans les entrepôts de données traditionnels, en raison des exigences du paradigme de modélisation, les modifications métier ne peuvent pas être effectuées à la légère, car elles impliquent de nombreuses modifications des données sous-jacentes. En comparaison, les lacs de données sont plus flexibles et peuvent s'adapter plus rapidement aux évolutions des applications de données de la couche supérieure.

3. Lac de données vs entrepôt de données

Le lac de données stocke les données dans leur format d'origine, afin que toute donnée puisse être conservée sous sa forme la plus brute, qu'il s'agisse de données structurées ou non structurées. Cela garantit que les données peuvent être exploitées sans perdre aucun détail. Toutes les données en temps réel et les données par lots sont agrégées dans le lac de données, puis les données pertinentes en sont extraites pour l'apprentissage automatique ou l'analyse de données.

La conception « lac de données d'abord » offre une flexibilité maximale aux données entrant dans le lac en ouvrant le stockage de fichiers sous-jacent. Les données qui entrent dans le lac de données peuvent être structurées, semi-structurées, voire des journaux bruts entièrement non structurés. De plus, le stockage ouvert apporte également une plus grande flexibilité aux moteurs de la couche supérieure. Les différents moteurs peuvent lire et écrire librement les données stockées dans le lac selon leurs propres scénarios, en suivant simplement des conventions de compatibilité assez souples. Cependant, l'accès direct au système de fichiers rend difficile la mise en œuvre de nombreuses fonctions de niveau supérieur, telles que la gestion fine des permissions (à une granularité inférieure à celle des fichiers), la gestion unifiée des fichiers, et les mises à niveau des interfaces de lecture-écriture sont également très complexes (chaque accès nécessite une mise à niveau complète du moteur).

La conception « entrepôt de données d'abord » accorde une attention particulière aux exigences de croissance de niveau entreprise, telles que l'efficacité de l'utilisation des données, la gestion des données à grande échelle et la sécurité/conformité. Les données entrent dans l'entrepôt via une interface de service unifiée mais ouverte. Elles possèdent généralement un schéma prédéfini, et les utilisateurs accèdent aux fichiers du système de stockage distribué par l'intermédiaire de l'interface de service de données ou du moteur de calcul. La conception « entrepôt de données d'abord » permet d'obtenir de meilleures performances (en stockage comme en calcul), un système de sécurité en boucle fermée et des capacités de gouvernance des données en abstrayant les interfaces d'accès aux données, la gestion des autorisations et les données elles-mêmes. Ces capacités sont essentielles pour l'exploitation à long terme du big data en entreprise — nous appelons cela la croissance.

4. Intégration du lac et de l'entrepôt

L'intégration du lac et de l'entrepôt signifie que les deux systèmes — l'entrepôt de données et le lac de données — sont interconnectés afin que les données et les ressources de calcul puissent circuler librement entre le lac et l'entrepôt, créant ainsi un écosystème technologique big data complet et cohérent.

Solution d'intégration lac-entrepôt d'Alibaba Cloud :

En s'appuyant sur l'architecture d'entrepôt de données existante, Alibaba Cloud MaxCompute intègre les lacs de données open source et les lacs de données cloud, réalisant ainsi l'architecture globale d'intégration lac-entrepôt. Dans cette architecture, bien que plusieurs systèmes de stockage sous-jacents coexistent, une couche d'accès au stockage unifiée et une gestion unifiée des métadonnées fournissent une interface d'encapsulation intégrée aux moteurs de la couche supérieure. Les utilisateurs peuvent ainsi interroger conjointement les tables de l'entrepôt de données et du lac de données. L'architecture globale dispose également de capacités unifiées en matière de sécurité, de gestion et de gouvernance des données.

Grâce à la technologie d'intégration lac-entrepôt de MaxCompute, DataWorks peut encapsuler davantage les deux systèmes du lac et de l'entrepôt, masquer les informations hétérogènes des clusters et construire une plateforme intermédiaire big data intégrée, permettant à un ensemble de données et un ensemble de tâches d'être orchestrés de manière transparente entre le lac et l'entrepôt. Les entreprises peuvent utiliser les capacités intégrées de la plateforme intermédiaire de données lac-entrepôt pour optimiser la structure de gestion des données et tirer pleinement parti des avantages respectifs du lac de données et de l'entrepôt de données. Le lac de données sert de stockage centralisé des données brutes, exploitant sa flexibilité et son ouverture. Grâce à l'intégration lac-entrepôt, les données et tâches de production à haute fréquence sont acheminées de manière transparente vers l'entrepôt de données pour obtenir de meilleures performances et un meilleur coût, ainsi qu'une série d'optimisations de gouvernance des données orientées production. Trouvez le meilleur équilibre entre efficacité et performance.

En résumé, l'intégration lac-entrepôt de MaxCompute offre aux entreprises une solution de plateforme de données plus flexible, plus efficace et plus économique. Elle convient aussi bien aux entreprises qui construisent de nouvelles plateformes big data qu'aux entreprises disposant déjà de plateformes big data et souhaitant moderniser leur architecture. Les investissements existants peuvent être protégés et les rendements des actifs concrétisés.