Realtime Compute for Apache Flink:Gérer les catalogues Paimon

Créer un catalogue Filesystem

Option 1 : Utiliser la console (recommandée)

1. Accédez à la page Catalogs.

   1. Connectez-vous au Management Portal. Recherchez l'espace de travail cible et cliquez sur Console dans la colonne Actions.

   2. Dans le volet de navigation de gauche, cliquez sur Catalogs.

2. Cliquez sur Create Catalog, sélectionnez Apache Paimon, puis cliquez sur Next.

3. Définissez metastore sur filesystem et configurez les autres paramètres du catalogue.

Option 2 : Utiliser SQL

Exécutez la commande suivante dans l'éditeur SQL depuis Development > Scripts :

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'filesystem',
  'warehouse' = '<warehouse>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

• Paramètres généraux

  Élément de configuration	Description	Obligatoire	Remarques
  my-catalog	Le nom du catalogue Paimon.	Oui	Saisissez un nom personnalisé.
  type	Le type du catalogue.	Oui	Définissez sur paimon.
  metastore	Le type du metastore.	Oui	Valeurs valides : filesystem : stocke les métadonnées dans OSS. dlf : stocke les métadonnées dans DLF.

• Paramètres OSS

  Élément de configuration	Description	Obligatoire	Remarques
  warehouse	Le répertoire de l'entrepôt de données dans OSS.	Oui	Le format est oss://<bucket>/<object>, où : bucket : le nom de votre bucket OSS. object : le chemin où vos données sont stockées. Consultez les noms de vos buckets et objets dans la console OSS.
  fs.oss.endpoint	Le point de terminaison du service OSS.	Oui	Si Flink et DLF se trouvent dans la même région, utilisez le point de terminaison VPC. Sinon, utilisez le point de terminaison du réseau public. Ce paramètre est requis si le bucket OSS spécifié pour l'entrepôt (warehouse) ne se trouve pas dans la même région que l'espace de travail Flink, ou si vous utilisez un bucket OSS appartenant à un autre compte Alibaba Cloud. Régions et points de terminaison et Créer une AccessKey.
  fs.oss.accessKeyId	L'AccessKey ID du compte Alibaba Cloud ou de l'utilisateur RAM disposant des autorisations de lecture et d'écriture sur OSS.	Oui
  fs.oss.accessKeySecret	L'AccessKey Secret du compte Alibaba Cloud ou de l'utilisateur RAM disposant des autorisations de lecture et d'écriture sur OSS.	Oui

• OSS-HDFS (VVR 11.8 ou ultérieur)

  Pour utiliser OSS-HDFS comme stockage pour le catalogue Filesystem Paimon, utilisez l'exemple SQL suivant :

  CREATE CATALOG `my_catalog` WITH (
    'type' = 'paimon',
    'metastore' = 'filesystem',
    'warehouse' = 'dls://<bucket>.<dls-endpoint>/<warehouse-path>',
    'fs.oss.endpoint' = '<dls-endpoint>',
    'fs.oss.accessKeyId' = '<access-key-id>',
    'fs.oss.accessKeySecret' = '<access-key-secret>',
    'fs.dls.client.mode.enabled' = 'false',
    'fs.dls.data.endpoint' = '<oss-data-endpoint>'
  );

  Le tableau suivant décrit les paramètres.

  Paramètre	Description	Obligatoire	Remarques
  warehouse	Le répertoire de l'entrepôt dans OSS-HDFS.	Oui	Format : dls://<bucket>.<dls-endpoint>/<warehouse-path>. Le <dls-endpoint> est identique à fs.oss.endpoint.
  fs.oss.endpoint	Le point de terminaison du service OSS-HDFS.	Oui	Dans la console OSS, accédez à la section « Overview > Access Ports » du bucket cible et vérifiez le HDFS Service Endpoint.
  fs.oss.accessKeyId	L'AccessKey ID du compte Alibaba Cloud ou de l'utilisateur RAM disposant des autorisations de lecture et d'écriture sur OSS-HDFS.	Oui	—
  fs.oss.accessKeySecret	L'AccessKey Secret correspondant à l'AccessKey ID.	Oui	—
  fs.dls.client.mode.enabled	Indique s'il faut activer le mode client DLS.	Oui	Définissez sur false.
  fs.dls.data.endpoint	Le point de terminaison des données utilisé par DLS pour accéder aux données OSS sous-jacentes.	Oui	Dans la console OSS, accédez à la section « Overview > Access Ports » du bucket cible et vérifiez le OSS internal Endpoint. Vous pouvez également consulter la documentation « Régions et points de terminaison ».

Créer un catalogue DLF

Gérer les bases de données

Exécutez les commandes suivantes dans l'éditeur SQL à partir de Development > Scripts.

• Créer une base de données

  Une base de données default est créée automatiquement. Pour créer d'autres bases de données :

  -- Replace my-catalog with the name of your Paimon catalog.
  USE CATALOG `my-catalog`;
  
  -- Replace my_db with a custom database name in English.
  CREATE DATABASE `my_db`;

• Supprimer une base de données

  Important

  La base de données default ne peut pas être supprimée d'un catalogue DLF. En revanche, vous pouvez la supprimer d'un catalogue Filesystem.

  -- Replace my-catalog with the name of your Paimon catalog.
  USE CATALOG `my-catalog`;
  
  -- Replace my_db with the name of the database that you want to delete.
  DROP DATABASE `my_db`; -- Deletes a database only if it contains no tables.
  DROP DATABASE `my_db` CASCADE; -- Deletes the database and all tables in it.
  

Consulter ou supprimer un catalogue

1. Dans le Management Portal, cliquez sur Console dans la colonne Actions pour l'espace de travail cible.

2. Sur la page Catalogs, consultez ou supprimez un catalogue Apache Paimon.

   • Sur la page Catalog List, consultez le nom et le type du catalogue. Pour afficher les bases de données et les tables d'un catalogue, cliquez sur View dans la colonne Actions.

   • Sur la page Catalog List, cliquez sur Delete dans la colonne Actions pour le catalogue à supprimer.

     Remarque

     La suppression d'un catalogue retire uniquement son enregistrement Flink. Les fichiers de données sous-jacents ne sont pas affectés. Réenregistrez le catalogue pour restaurer l'accès.

     Vous pouvez également, dans l'éditeur SQL depuis Development > Scripts, saisir DROP CATALOG <catalog name>;, sélectionner le code, puis cliquer sur Run.