Hologres accélère la lecture et l'écriture des données stockées dans OSS grâce aux tables externes, ce qui améliore l'efficacité des requêtes et simplifie le traitement des données.
Informations générales
À mesure que le stockage objet arrive à maturité, les solutions de data lake évoluent vers des architectures cloud natives. Dans l'architecture lakehouse d'Alibaba Cloud, OSS sert de stockage unifié pour le data lake, offrant une base sécurisée, économique, hautement fiable et évolutive.
La solution de data lake en temps réel se concentre sur le traitement des données en flux continu et en temps réel au sein de l'architecture lakehouse. Hologres prend en charge l'écriture, la mise à jour et l'analyse en temps réel. En s'intégrant à DLF, HMS, OSS et à diverses fonctionnalités de l'écosystème, Hologres utilise des tables externes pour accélérer la lecture et l'écriture des données dans OSS sans migration de données. Les tables externes mappent les champs plutôt que de stocker les données, ce qui réduit les coûts de développement et d'exploitation (O&M) et brise les silos de données.
Le tableau suivant répertorie les services Alibaba Cloud utilisés dans la solution de data lake en temps réel.
|
Service |
Description |
Référence |
|
DLF |
Un service entièrement géré pour la création de data lakes et de lakehouses cloud. DLF fournit une gestion centralisée des métadonnées, une gestion centralisée des autorisations et de la sécurité, ainsi que des capacités pratiques d'ingestion et d'exploration des données. |
|
|
HMS |
Un composant central d'Apache Hive qui gère les métadonnées des tables Hive et Spark, y compris les emplacements de stockage, les schémas de table, les noms de table, les noms de colonne, les types de données et les informations de partition. HMS prend en charge les requêtes de données Hive et Spark. |
|
|
OSS |
OSS est le stockage unifié pour les data lakes cloud dans DLF. Il s'agit d'un service sécurisé, économique et hautement fiable capable de stocker de grandes quantités de données et tous les types de fichiers. OSS offre une durabilité des données de 99,9999999999 % et constitue la norme de facto pour le stockage des data lakes. |
|
|
OSS-HDFS (JindoFS) est un service de stockage de data lake cloud native qui s'intègre aux moteurs de calcul de l'écosystème Hadoop. Il est entièrement compatible avec les API HDFS et POSIX, et surpasse OSS natif pour les charges de travail ETL basées sur Hive/Spark. |
Architecture
La figure suivante illustre l'architecture recommandée du data lake Hologres. Elle couvre l'intégralité du cycle de vie des données, de la collecte et du stockage à la gestion et à l'application, fournissant une solution lakehouse de bout en bout avec une mise à l'échelle automatique flexible.
Gestion unifiée des métadonnées
Prend en charge les services de métadonnées DLF et HMS.
Permet le mappage en un clic vers des catalogues externes via des bases de données externes.
Prend en charge la découverte automatique et l'actualisation des modifications de métadonnées dans le data lake.
Permet la création de bases de données et de tables dans le data lake via des instructions DDL. Paimon est pris en charge.
Ressources de calcul et modèles unifiés
Utilise Dynamic Table pour la stratification et le traitement des données du lakehouse.
Prend en charge l'analyse OLAP haute performance et la rétroalimentation (write-back) des données du data lake.
Utilise des instances d'entrepôt virtuel (virtual warehouse) pour l'élasticité et l'isolation des ressources.
Prend en charge les tâches serverless sans coût de possession et avec une facturation au paiement à l'utilisation.
S'intègre aux outils BI grand public.
Prise en charge des formats de lakehouse ouverts
Prend en charge les requêtes accélérées des tables de lac Paimon, Iceberg, Hudi, Delta, ORC et Parquet.
Prend en charge la rétroalimentation (write-back) aux formats Paimon, Iceberg, ORC et Parquet.
Remarques sur l'utilisation
Hologres propose les méthodes suivantes pour mapper des sources de données externes.
|
Méthode de mappage |
Syntaxe |
Description |
Source de données prise en charge |
Exigence de version |
Scénario |
|
CREATE EXTERNAL DATABASE |
Crée une base de données externe sur une instance Hologres pour charger les métadonnées depuis une source de données externe. Cela permet une gestion centralisée des données internes et externes dans l'architecture lakehouse. |
|
V3.0 |
Mappe une base de données entière et toutes ses tables depuis un catalogue d'une source de données externe vers Hologres. |
|
|
FOREIGN TABLE |
Crée plusieurs tables externes dans un schéma Hologres en une seule fois pour mapper automatiquement les tables d'une source de données externe. |
|
V0.8 |
Mappe toutes les tables d'une base de données ou d'un schéma d'une source de données externe vers un schéma Hologres. |
|
|
Crée manuellement une table externe dans Hologres pour mapper une table ou des champs spécifiques d'une source de données externe. |
|
V0.8 |
Mappe des tables ou des champs spécifiques vers Hologres. |
Formats de table et formats de fichier
Formats de table
|
Format de table |
Version prise en charge |
Méthode de compression prise en charge |
|
Hudi |
Lecture des données prise en charge dans Hologres V1.3 et versions ultérieures |
|
|
Delta Lake |
Lecture des données prise en charge dans Hologres V1.3 et versions ultérieures |
|
|
Apache Paimon |
|
|
|
Iceberg |
Lecture des données depuis les tables Iceberg V1 et V2 basées sur DLF 1.0 et HMS prise en charge dans Hologres V3.0 |
|
Formats de fichier
|
Format de fichier |
Version prise en charge |
Méthode de compression prise en charge |
|
CSV |
Lecture et écriture des données prises en charge dans Hologres V1.3 et versions ultérieures |
COMPRESSION_CODEC
|
|
Parquet |
Lecture et écriture des données prises en charge dans Hologres V1.3 et versions ultérieures |
|
|
ORC |
Lecture et écriture des données prises en charge dans Hologres V1.3 et versions ultérieures |
|
|
SequenceFile |
Lecture et écriture des données prises en charge dans Hologres V1.3 et versions ultérieures |
|
Mappages des types de données
Pour les mappages des types de données de DLF vers Hologres, consultez Vue d'ensemble des types de données.
Vue d'ensemble des fonctionnalités
-
Dans Hologres V1.1 et versions ultérieures, vous pouvez lire les données ORC, Parquet, CSV et SequenceFile depuis OSS. Dans Hologres V1.3 et versions ultérieures, vous pouvez écrire des données dans ces formats vers OSS, et lire les tables Apache Hudi ou Delta Lake dans OSS.
RemarqueVous pouvez consulter la version de votre instance Hologres sur la page des détails de l'instance dans la console Hologres. Si la version de votre instance est antérieure à V1.1, mettez-la à niveau dans la console ou contactez le groupe DingTalk Hologres. Pour effectuer une mise à niveau manuelle, consultez Mises à niveau des instances. Pour rejoindre le groupe DingTalk, consultez Obtenir une assistance en ligne pour Hologres.
Dans Hologres V1.3.25 et versions ultérieures, la fonctionnalité de catalogue multiple DLF isole les métadonnées entre les instances de test, de développement et interdépartementales, contribuant ainsi à garantir la sécurité de votre activité. Catalogue.
Dans Hologres V1.3.26 et versions ultérieures, vous pouvez lire et écrire des données dans OSS-HDFS. Hologres s'intègre aux moteurs de calcul de l'écosystème Hadoop pour accélérer l'analyse en temps réel des données dans OSS-HDFS, prenant en charge les requêtes fédérées entre les data lakes pour les charges de travail Big Data et IA.
Dans Hologres V2.1.0 et versions ultérieures, vous pouvez lire les tables externes Apache Paimon. Apache Paimon est une plateforme de stockage de lac unifiée pour le traitement des flux et des lots, prenant en charge les écritures à haut débit et les requêtes à faible latence, permettant un flux de données en temps réel dans les data lakes. Les utilisateurs peuvent intégrer le traitement des data lakes en temps réel et hors ligne à l'aide d'Apache Paimon. Apache Paimon.
-
Dans Hologres V2.2 et versions ultérieures, la nouvelle architecture de table externe permet à HQE de lire directement les fichiers ORC et Parquet avec une accélération par cache basé sur SSD, améliorant les performances de plus de 5 fois. Vous pouvez utiliser HMS pour accéder aux données dans OSS et OSS-HDFS. Accéder aux données OSS avec Hive Metastore.
RemarqueSi votre instance Hologres est en version V2.1 ou antérieure, contactez le support technique Hologres pour effectuer une mise à niveau.
-
Dans Hologres V3.0 et versions ultérieures, les fonctionnalités suivantes sont ajoutées :
Les bases de données externes prennent en charge le mappage des métadonnées au niveau du catalogue pour les sources de données DLF et MaxCompute, améliorant ainsi les capacités de gestion des métadonnées et des données des data lakes. CREATE EXTERNAL DATABASE.
Les schémas externes et les tables externes vous permettent de créer des bases de données et des tables dans un catalogue DLF pour la rétroalimentation agrégée des données. CREATE EXTERNAL SCHEMA et CREATE EXTERNAL TABLE.
Écritures haute performance dans les tables append-only Apache Paimon pour le transfert de données entre les lacs et les entrepôts.
L'optimisation du vecteur de suppression Paimon améliore les performances des requêtes lorsque des suppressions importantes surviennent avant la compaction.
Les lecteurs Delta Lake reconstruits améliorent considérablement les performances de lecture.
Les lectures de data lake basées sur Iceberg élargissent l'écosystème du data lake.
Le mappage des métadonnées HMS accélère les requêtes de données dans les clusters EMR. Consultez Utiliser HMS pour accéder aux données dans les data lakes OSS (bêta).
Sécurité renforcée : l'accès DLF 2.0 utilise par défaut le rôle lié au service, avec un accès via rôle RAM en option.