E-MapReduce:Intégrer Paimon avec Spark

Vous pouvez stocker les métadonnées dans un système de fichiers tel que HDFS ou un service de stockage d'objets tel qu'OSS. Vous pouvez également synchroniser les métadonnées vers DLF et Hive afin de rendre Paimon accessible à d'autres services.

Le paramètre spark.sql.catalog.paimon.warehouse spécifie le chemin racine de l'entrepôt de données. Le système crée automatiquement ce chemin s'il n'existe pas. Si le chemin existe déjà, vous pouvez accéder aux tables qu'il contient.

1. Connectez-vous au nœud maître de votre cluster via SSH. Pour plus d'informations, consultez la rubrique Se connecter à un cluster.

2. Sélectionnez un catalogue à configurer selon le type de métadonnées. Exécutez la commande correspondante pour démarrer Spark SQL.

   Catalogue de système de fichiers

   Un catalogue de système de fichiers stocke les métadonnées dans un système de fichiers ou un stockage d'objets.

   spark-sql --conf spark.sql.catalog.paimon=org.apache.paimon.spark.SparkCatalog \
   --conf spark.sql.catalog.paimon.metastore=filesystem \
   --conf spark.sql.catalog.paimon.warehouse=oss://<yourBucketName>/warehouse \
   --conf spark.sql.extensions=org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions

   Remarque

   • spark.sql.catalog.paimon : définit un catalogue nommé paimon.

   • spark.sql.catalog.paimon.metastore : spécifie le type de metastore pour le catalogue. La valeur filesystem indique que les métadonnées sont stockées dans le système de fichiers.

   • spark.sql.catalog.paimon.warehouse : configure l'emplacement de l'entrepôt de données. Remplacez <yourBucketName> par le nom de votre compartiment OSS. Pour plus d'informations sur la création d'un compartiment, consultez la rubrique Créer un compartiment.

   Catalogue DLF

   Un catalogue DLF synchronise les métadonnées vers DLF.

   Important

   Lors de la création du cluster, définissez Metadata sur DLF Unified Metadata.

   spark-sql --conf spark.sql.catalog.paimon=org.apache.paimon.spark.SparkCatalog \
   --conf spark.sql.catalog.paimon.metastore=dlf \
   --conf spark.sql.catalog.paimon.warehouse=oss://<yourBucketName>/warehouse \
   --conf spark.sql.extensions=org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions

   Remarque

   • spark.sql.catalog.paimon : définit un catalogue nommé paimon.

   • spark.sql.catalog.paimon.metastore : spécifie le type de metastore pour le catalogue. La valeur dlf indique que les métadonnées sont synchronisées vers Data Lake Formation (DLF).

   • spark.sql.catalog.paimon.warehouse : configure l'emplacement de l'entrepôt de données. Remplacez <yourBucketName> par le nom de votre compartiment OSS. Pour plus d'informations sur la création d'un compartiment, consultez la rubrique Créer un compartiment.

   Catalogue Hive

   Un catalogue Hive synchronise les métadonnées vers Hive Metastore. Les tables créées dans le catalogue Hive peuvent être interrogées directement depuis Hive. Pour plus d'informations sur l'interrogation de Paimon depuis Hive, consultez la rubrique Intégrer Paimon avec Hive.

   spark-sql --conf spark.sql.catalog.paimon=org.apache.paimon.spark.SparkCatalog \
   --conf spark.sql.catalog.paimon.metastore=hive \
   --conf spark.sql.catalog.paimon.uri=thrift://master-1-1:9083 \
   --conf spark.sql.catalog.paimon.warehouse=oss://<yourBucketName>/warehouse \
   --conf spark.sql.extensions=org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions

   Remarque

   • spark.sql.catalog.paimon : définit un catalogue nommé paimon.

   • spark.sql.catalog.paimon.metastore : spécifie le type de metastore pour le catalogue. La valeur hive indique que les métadonnées sont synchronisées vers Hive Metastore.

   • spark.sql.catalog.paimon.uri : adresse et port du service Hive Metastore. La valeur thrift://master-1-1:9083 signifie que Spark SQL se connecte au service Hive Metastore exécuté sur l'hôte master-1-1 et écoutant sur le port 9083 pour récupérer les métadonnées.

   • spark.sql.catalog.paimon.warehouse : configure l'emplacement de l'entrepôt de données. Remplacez <yourBucketName> par le nom de votre compartiment OSS. Pour plus d'informations sur la création d'un compartiment, consultez la rubrique Créer un compartiment.

1. Connectez-vous au nœud maître de votre cluster via SSH. Pour plus d'informations, consultez la rubrique Se connecter à un cluster.

2. Exécutez la commande suivante pour configurer le catalogue et démarrer Spark SQL.

   spark-sql --conf spark.sql.catalog.spark_catalog=org.apache.paimon.spark.SparkGenericCatalog \
   --conf spark.sql.extensions=org.apache.paimon.spark.extensions.PaimonSparkSessionExtensions

   Remarque

   • spark.sql.catalog.spark_catalog : définit un catalogue nommé spark_catalog.

   • Le chemin racine de l'entrepôt pour spark_catalog est spécifié par le paramètre spark.sql.warehouse.dir. Dans la plupart des cas, inutile de modifier ce paramètre.

-- Create a database.
CREATE DATABASE IF NOT EXISTS paimon.ss_paimon_db;

-- Create a Paimon table.
CREATE TABLE paimon.ss_paimon_db.paimon_tbl (id INT, name STRING) USING paimon;

-- Write data to the Paimon table.
INSERT INTO paimon.ss_paimon_db.paimon_tbl VALUES (1, "apple"), (2, "banana"), (3, "cherry");

-- Query the write result.
SELECT * FROM paimon.ss_paimon_db.paimon_tbl ORDER BY id;

-- Drop the database.
DROP DATABASE paimon.ss_paimon_db CASCADE;

-- Create databases.
CREATE DATABASE IF NOT EXISTS ss_paimon_db;
CREATE DATABASE IF NOT EXISTS ss_parquet_db;

-- Create a Paimon table and a Parquet table.
CREATE TABLE ss_paimon_db.paimon_tbl (id INT, name STRING) USING paimon;
CREATE TABLE ss_parquet_db.parquet_tbl USING parquet AS SELECT 3, "cherry";

-- Write data to the Paimon table.
INSERT INTO ss_paimon_db.paimon_tbl VALUES (1, "apple"), (2, "banana");
INSERT INTO ss_paimon_db.paimon_tbl SELECT * FROM ss_parquet_db.parquet_tbl;

-- Query the write result.
SELECT * FROM ss_paimon_db.paimon_tbl ORDER BY id;

-- Drop the databases.
DROP DATABASE ss_paimon_db CASCADE;
DROP DATABASE ss_parquet_db CASCADE;