E-MapReduce:Gérer les catalogues de données

Présentation des catalogues

EMR Serverless Spark propose un système de gestion flexible des catalogues, prenant en charge divers types tels que Paimon, Iceberg et StarRocks. Outre le type standard de catalogue de données, le système prend également en charge un catalogue intégré et des catalogues personnalisés. Cette section décrit les types de catalogues disponibles dans EMR Serverless Spark, ainsi que leur configuration et leur utilisation.

-- Switch to the custom catalog
USE <catalogName>;

-- Or reference the table directly
SELECT * FROM <catalogName>.db.tbl;

Ajouter un catalogue de données

1. Accédez à la page Data Catalogs.

   1. Connectez-vous à la console EMR.

   2. Dans le volet de navigation de gauche, choisissez EMR Serverless > Spark.

   3. Sur la page Spark, cliquez sur le nom de l'espace de travail cible.

   4. Sur la page EMR Serverless Spark, cliquez sur Catalog dans le volet de navigation de gauche.

      Remarque

      La page Data Catalogs affiche les bases de données et les tables du catalogue de données Data Lake Formation que vous avez sélectionné lors de la création de l'espace de travail.

2. Cliquez sur Add Catalog.

3. Dans la boîte de dialogue Add Catalog, sélectionnez un type de catalogue, configurez les paramètres requis, puis cliquez sur Add. Les types de catalogues suivants sont pris en charge.

Catalogue de données DLF

Le DLF Catalog est un service permettant de gérer et d'interroger les métadonnées d'un lac de données. En sélectionnant un catalogue de données DLF existant ou en en créant un nouveau, vous pouvez accéder rapidement aux métadonnées de votre lac de données.

Pour créer un nouveau catalogue de données DLF, cliquez sur Create Catalog afin d'accéder à la console Data Lake Formation. Pour plus d'informations, consultez Gérer les métadonnées.

Catalogue de données Hive Metastore (HMS)

Le service External Hive Metastore est un service de métadonnées indépendant, généralement utilisé pour gérer les métadonnées des tables Hive. Vous pouvez configurer ce service pour intégrer les métadonnées d'un Hive Metastore externe dans votre environnement actuel.

Assurez-vous qu'une connexion réseau existe entre EMR Serverless Spark et le VPC où se trouve le Hive Metastore externe.

Pour ajouter un Hive Metastore externe, consultez Se connecter à un Hive Metastore externe.

Catalogue de données StarRocks

StarRocks est une base de données analytique haute performance. L'ajout d'un catalogue de données StarRocks enregistre les métadonnées d'une instance StarRocks dans EMR Serverless Spark. Une fois le catalogue ajouté, vous pouvez lire et écrire des données StarRocks directement depuis vos tâches et sessions sans configurer les paramètres de connexion pour chaque tâche. Assurez-vous qu'une connexion réseau existe entre EMR Serverless Spark et le VPC où se trouve l'instance StarRocks.

Après avoir ajouté le catalogue, vous pouvez utiliser un identifiant en trois parties dans SQL pour lire et écrire des données dans StarRocks. Par exemple : SELECT * FROM <catalogName>.<dbName>.<tableName>;

Pour savoir comment lire et écrire des données StarRocks dans vos tâches, consultez Lire et écrire des données StarRocks.

Catalogue de données Hologres

Hologres est un entrepôt de données en temps réel qui prend en charge les écritures en temps réel à haut débit et l'analyse en temps réel de données à grande échelle. L'ajout d'un catalogue de données Hologres enregistre les métadonnées d'une instance Hologres dans EMR Serverless Spark. Une fois le catalogue ajouté, vous pouvez lire et écrire des données Hologres directement depuis vos tâches et sessions sans configurer les paramètres de connexion pour chaque tâche. Assurez-vous qu'une connexion réseau existe entre EMR Serverless Spark et le VPC où se trouve l'instance Hologres.

Après avoir ajouté le catalogue, vous pouvez utiliser un identifiant en trois parties dans SQL pour lire et écrire des données dans Hologres. Chaque catalogue est strictement lié à une seule base de données Hologres, et l'accès inter-bases de données n'est pas pris en charge. Autrement dit, vous ne pouvez pas utiliser un seul catalogue pour accéder à plusieurs bases de données Hologres. La structure logique du catalogue est cohérente avec celle de Hologres :

Pour savoir comment lire et écrire des données Hologres dans vos tâches, consultez Lire et écrire des données Hologres.

Catalogue de données Fluss

Fluss est un système de stockage de flux columnaires haute performance qui prend en charge les lectures et écritures en streaming inférieures à la seconde pour l'analyse en temps réel et l'IA. Après avoir ajouté un catalogue de données Fluss, vos tâches EMR Serverless Spark peuvent accéder aux données du cluster Fluss sans authentification, sans avoir besoin de configurer les informations de connexion pour chaque tâche et session.

Consulter les bases de données et les tables

1. Sur la page Catalog, cliquez sur l'ID d'un catalogue de données.

   Toutes les bases de données du catalogue de données s'affichent.

2. Dans la colonne Actions, cliquez sur Table.

   Toutes les tables de la base de données sélectionnée s'affichent.

3. Dans la colonne Actions, cliquez sur Field.

   Le schéma et les détails des colonnes de la table sélectionnée s'affichent.

Utiliser un catalogue de données dans SQL

Après avoir ajouté un catalogue de données, vous pouvez accéder à ses bases de données et tables par le nom du catalogue dans le développement SQL et les sessions interactives, sans spécifier les informations de connexion dans chaque tâche.

-- Switch the default catalog
USE <catalogName>;

-- Switch the default catalog and database
USE <catalogName>.<dbName>;

SELECT * FROM <catalogName>.<dbName>.<tableName>;

-- Hologres: the second part is a schema. The default schema is public.
SELECT * FROM <hologresCatalog>.public.<tableName>;

-- You can also switch the catalog and schema first, and then reference the table by name.
USE <hologresCatalog>;
USE public;
SELECT * FROM <tableName>;

SELECT
  d.user_id,
  d.user_name,
  o.order_id,
  o.amount
FROM dlf_catalog.user_db.dim_user AS d
JOIN hologres_catalog.public.orders AS o
  ON d.user_id = o.user_id;

Utiliser un catalogue de données dans PySpark

Dans PySpark, utilisez des identifiants en trois parties pour lire et écrire des tables dans un catalogue de données.

# Read a table
df = spark.table("<catalogName>.<dbName>.<tableName>")

# Write to a table
(
    df.write
      .mode("append")
      .saveAsTable("<catalogName>.<dbName>.<tableName>")
)

Vous pouvez également lire des tables provenant de différents catalogues de données, puis les joindre.

dim_user = spark.table("dlf_catalog.user_db.dim_user")
orders = spark.table("hologres_catalog.public.orders")

result = orders.join(dim_user, on="user_id", how="inner")
result.show()

Avant d'écrire des données, assurez-vous que la source de données cible prend en charge le mode d'écriture et que votre compte dispose des autorisations d'écriture.

Supprimer un catalogue de données

1. Sur la page Catalog, localisez le catalogue de données que vous souhaitez supprimer.

2. Cliquez sur Delete dans la colonne Actions et confirmez l'opération comme indiqué.

Après la suppression, les sessions en cours d'exécution peuvent encore utiliser la configuration précédente. Redémarrez les sessions et vérifiez que le catalogue n'est plus accessible.

FAQ