:Tables externes Paimon

CREATE EXTERNAL TABLE [IF NOT EXISTS] <mc_oss_extable_name>
(
<col_name> <data_type>,
...
)
[PARTITIONED BY (<col_name> <data_type>, ...)]
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH SERDEPROPERTIES (
    'odps.properties.rolearn'='acs:ram::xxxxxxxxxxxxx:role/aliyunodpsdefaultrole'
)
LOCATION '<oss_location>'
USING 'paimon_maxcompute_connector.jar';

Étape 1 : Préparer les données dans Flink

Créez un catalogue Paimon et une table Paimon, puis insérez des données dans la table. Si vous disposez déjà d'une table Paimon contenant des données dans Realtime Compute for Apache Flink, vous pouvez ignorer cette étape.

1. Connectez-vous à la console Realtime Compute for Apache Flink et créez un catalogue Paimon. Pour plus de détails, consultez la section Créer un catalogue Paimon.

2. Créez une table Paimon. Pour plus de détails, consultez la section Gérer les tables Paimon.

   1. Sur la page Metadata Management, accédez au catalogue Paimon que vous avez créé, sélectionnez la base de données default et cliquez sur Create Table.

   2. Dans la boîte de dialogue Add Table, sélectionnez le connecteur Apache Paimon, saisissez l'instruction suivante, puis cliquez sur OK. Cet exemple crée une table nommée test_tbl.

      CREATE TABLE `catalogname`.`default`.test_tbl (
          dt STRING,
          id BIGINT,
          data STRING,
          PRIMARY KEY (dt, id) NOT ENFORCED
      ) PARTITIONED BY (dt);

   3. Sur la page SQL Editor, créez, déployez et exécutez une tâche SQL contenant l'instruction suivante. Pour plus d'informations sur la création et l'exécution d'une tâche SQL, consultez la rubrique Vue d'ensemble du développement de tâches.

      INSERT INTO `catalogname`.`default`.test_tbl VALUES ('2023-04-21', 1, 'AAA'), ('2023-04-21', 2, 'BBB'), ('2023-04-22', 1, 'CCC'), ('2023-04-22', 2, 'DDD');

      Remarque

      • Assurez-vous que la version du moteur pour la tâche SQL est vvr-8.0.1-flink-1.17 ou ultérieure.

      • Si votre tâche SQL subit une rétropression (par exemple, lors de l'exécution d'instructions INSERT INTO ... VALUES ...), accédez à la page Job O&M, modifiez les Execution Parameters, et dans la section Other Configurations, définissez execution.checkpointing.checkpoints-after-tasks-finish.enabled: true. Pour plus de détails sur la configuration des paramètres d'exécution d'une tâche, consultez la rubrique Configurer les informations de déploiement des tâches.

Étape 2 : Télécharger le connecteur Paimon

Utilisez l'une des méthodes suivantes pour télécharger le connecteur Paimon vers votre projet MaxCompute.

ADD JAR <path_to_paimon_maxcompute_connector.jar>;

Étape 3 : Créer une table externe Paimon

Se connecter à l'aide du client local (odpscmd) ou utilisez un autre outil capable d'exécuter du SQL MaxCompute pour créer une table externe Paimon MaxCompute. Cette rubrique utilise oss_extable_paimon_1pt à titre d'exemple.

CREATE EXTERNAL TABLE oss_extable_paimon_1pt
(
    id BIGINT,
    data STRING
)
PARTITIONED BY (dt STRING)
STORED BY 'org.apache.paimon.hive.PaimonStorageHandler'
WITH SERDEPROPERTIES (
    'odps.properties.rolearn'='acs:ram::124*********:role/aliyunodpsdefaultrole'
)
LOCATION 'oss://oss-cn-beijing-internal.aliyuncs.com/paimon_flink/test_db_y.db/test_tbl/'
USING 'paimon_maxcompute_connector.jar'
;

Étape 4 : Lire la table externe Paimon

1. Connectez-vous à l'aide du client MaxCompute (odpscmd) ou d'un autre outil capable d'exécuter du SQL MaxCompute, puis exécutez les commandes suivantes :

   SET odps.sql.common.table.planner.ext.hive.bridge = true;
   SET odps.sql.hive.compatible = true;

2. Exécutez la commande suivante pour interroger la table externe Paimon MaxCompute oss_extable_paimon_1pt.

   SELECT * FROM oss_extable_paimon_1pt;

   Le résultat suivant est renvoyé :

   +------------+------------+------------+
   | id         | data       | dt         |
   +------------+------------+------------+
   | 1          | AAA        | 2023-04-21 |
   | 2          | BBB        | 2023-04-21 |
   +------------+------------+------------+

   Remarque

   Si les partitions ne s'affichent pas dans le résultat, exécutez la commande suivante pour les ajouter :

   MSCK REPAIR TABLE oss_extable_paimon_1pt ADD PARTITIONS;