MaxCompute:Table externe Paimon

Syntaxe

Pour obtenir des détails sur la syntaxe de création de tables externes dans différents formats, consultez la section Tables externes OSS.

CREATE EXTERNAL TABLE  [if NOT EXISTS] <mc_oss_extable_name>
(
  <col_name> <data_type>,
  ...
)
[COMMENT <table_comment>]
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
  'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>';

Paramètres courants

Pour plus d'informations sur les paramètres courants, consultez la section Paramètres de syntaxe de base.

Étape 1 : Prérequis

1. Vous avez créé un projet MaxCompute.

2. Vous avez préparé un bucket OSS et un répertoire. Pour plus d'informations, consultez les sections Créer un bucket et Gérer les répertoires.

   Assurez-vous que votre bucket se trouve dans la même région que votre projet MaxCompute.

3. Accordez les autorisations.

   1. Vous disposez des autorisations nécessaires pour accéder à OSS. Vous pouvez accéder à une table externe OSS en utilisant un compte Alibaba Cloud, un utilisateur RAM ou un rôle RAM. Pour plus d'informations sur l'octroi des autorisations, consultez la section Autorisation STS pour OSS.

   2. Vous disposez de l'autorisation CreateTable dans le projet MaxCompute. Pour plus d'informations sur les autorisations liées aux tables, consultez la section Autorisations MaxCompute.

Étape 2 : Préparer les données dans Flink

Créez un catalogue Paimon et une table Paimon, puis insérez des données dans la table.

1. Créer un catalogue de système de fichiers Paimon

   1. Connectez-vous à la console Realtime Compute for Apache Flink et sélectionnez une région dans le coin supérieur gauche.

   2. Cliquez sur le nom de l'espace de travail cible, puis dans le volet de navigation de gauche, sélectionnez Data Management.

   3. Sur la page catalog list , cliquez sur Create Catalog . Dans la boîte de dialogue Create Catalog , sélectionnez Apache Paimon, cliquez sur Next , puis configurez les paramètres suivants :

      Parameter	Required	Description
      metastore	Yes	Type de metastore. Dans cet exemple, sélectionnez filesystem.
      catalog name	Yes	Nom personnalisé du catalogue, par exemple paimon-catalog.
      warehouse	Yes	Répertoire warehouse dans OSS. Dans cet exemple, le répertoire est oss://paimon-fs/paimon-test/.
      fs.oss.endpoint	Yes	Endpoint du service OSS. Par exemple, l'endpoint pour la région Chine (Hangzhou) est oss-cn-hangzhou-internal.aliyuncs.com.
      fs.oss.accessKeyId	Yes	AccessKey ID utilisé pour accéder à OSS.
      fs.oss.accessKeySecret	Yes	AccessKey Secret utilisé pour accéder à OSS.

2. Créer une table Paimon

   1. Connectez-vous à la console Realtime Compute for Apache Flink et sélectionnez une région dans le coin supérieur gauche.

   2. Cliquez sur le nom de l'espace de travail cible, puis dans le volet de navigation de gauche, sélectionnez Development > Data Query.

   3. Dans l'onglet Query Script, cliquez sur pour créer un nouveau script de requête.

      Saisissez et exécutez les commandes suivantes :

      CREATE TABLE `paimon_catalog`.`default`.test_tbl (
          id BIGINT,
          data STRING,
          dt STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);
      
      INSERT INTO `paimon-catalog`.`default`.test_tbl VALUES (1,'CCC','2024-07-18'), (2,'DDD','2024-07-18');

3. Pour les jobs SQL qui se terminent automatiquement, tels que ceux exécutant une instruction INSERT INTO ... VALUES ..., effectuez les opérations suivantes :

   1. Cliquez sur le nom de l'espace de travail cible. Dans le volet de navigation de gauche, choisissez O&M > Deployments.

   2. Sur la page Deployments, cliquez sur le job cible pour ouvrir la page deployment details.

   3. Dans la section Parameters, cliquez sur Edit. Ensuite, dans la section Other Configuration, définissez execution.checkpointing.checkpoints-after-tasks-finish.enabled: true et enregistrez vos modifications.

      Pour plus d'informations sur la configuration des paramètres d'exécution d'un job, consultez la section Configurer les informations de déploiement du job.

Étape 3 : Créer une table externe Paimon

Exécutez l'instruction SQL suivante dans MaxCompute pour créer une table externe Paimon :

CREATE EXTERNAL TABLE oss_extable_paimon_pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING )
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH serdeproperties (
    'odps.properties.rolearn'='acs:ram::<uid>:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-<your region>-internal.aliyuncs.com/<table_path>'
;

Dans l'instruction ci-dessus, table_path correspond au chemin d'accès à la table Paimon que vous avez créée dans Flink, par exemple paimon-fs/paimon-test/default.db/test_tbl. Pour trouver ce chemin, procédez comme suit :

1. Connectez-vous à la console Realtime Compute for Apache Flink et sélectionnez une région dans le coin supérieur gauche.

2. Cliquez sur le nom de l'espace de travail cible, puis dans le volet de navigation de gauche, sélectionnez Data Management.

3. Sur la page Catalogs, sous le catalogue cible, cliquez sur default. Sur la page default, recherchez la table cible et cliquez sur View dans la colonne Actions.

4. Dans l'onglet Table Schema, copiez la valeur du paramètre path depuis la section Properties. Pour table_path, saisissez le chemin sans le préfixe oss://.

Étape 4 : Charger les données de partition

Si la table externe OSS que vous avez créée est une table partitionnée, vous devez charger ses partitions. Pour plus d'informations, consultez la section Tables externes OSS.

MSCK REPAIR TABLE oss_extable_paimon_pt ADD PARTITIONS;

Étape 5 : Interroger la table externe Paimon

Exécutez les commandes suivantes dans MaxCompute pour interroger la table externe Paimon oss_extable_paimon_pt.

SET odps.sql.common.table.planner.ext.hive.bridge = true;
SET odps.sql.hive.compatible = true;
SELECT * FROM oss_extable_paimon_pt WHERE dt='2024-07-18';

Le résultat suivant est renvoyé :

+------------+------------+------------+
| id         | data       | dt         | 
+------------+------------+------------+
| 1          | CCC        | 2024-07-18 | 
| 2          | DDD        | 2024-07-18 | 
+------------+------------+------------+

Erreur kSIGABRT lors de la lecture d'une table externe Paimon

• Message d'erreur :

  ODPS-0123144: Fuxi job failed - kSIGABRT(errCode:6) at Odps/*****_SQL_0_1_0_job_0/M1@f01b17437.cloud.eo166#3. 
    Detail error msg: CRASH_CORE, maybe caused by jvm crash, please check your java udf/udaf/udtf. 
    | fatalInstance: Odps/*****_SQL_0_1_0_job_0/M1#0_0 

• Cause :

  Cette erreur se produit lorsque vous lisez une colonne TIMESTAMP_NTZ en mode JNI.

• Solution :

  Désactivez le pont JNI en exécutant la commande suivante avant votre requête : SET odps.sql.common.table.jni.disable.native=true;