Realtime Compute for Apache Flink:Paimon カタログの管理

Filesystem カタログの作成

オプション 1: コンソールを使用 (推奨)

1. [カタログ] ページに移動します。

   1. 管理ポータルにログインします。対象のワークスペースを見つけ、[操作] 列の [コンソール] をクリックします。

   2. 左側のナビゲーションウィンドウで、[カタログ] をクリックします。

2. [カタログの作成] をクリックし、[Apache Paimon] を選択してから [次へ] をクリックします。

3. metastore を filesystem に設定し、他のカタログ設定を構成します。

オプション 2: SQL を使用

[開発] > [スクリプト] の SQL エディターで、次のコマンドを実行します：

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'filesystem',
  'warehouse' = '<warehouse>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

• 一般パラメーター

  設定項目	説明	必須	備考
  my-catalog	Paimon カタログの名前。	はい	カスタム名を入力します。
  type	カタログのタイプ。	はい	paimon に設定します。
  metastore	メタストアのタイプ。	はい	有効な値： filesystem: メタデータを OSS に保存します。 dlf: メタデータを DLF に保存します。

• OSS パラメーター

  設定項目	説明	必須	備考
  warehouse	OSS 内のデータウェアハウスディレクトリ。	はい	フォーマットは oss://<bucket>/<object> です。各パラメーターの説明は次のとおりです。 bucket: ご利用の OSS バケットの名前。 object: データが保存されているパス。 OSS コンソールでバケットとオブジェクト名を確認します。
  fs.oss.endpoint	OSS サービスのエンドポイント。	はい	Flink と DLF が同じリージョンにある場合は、VPC エンドポイントを使用します。それ以外の場合は、パブリックネットワークエンドポイントを使用します。 このパラメーターは、warehouse に指定された OSS バケットが Flink ワークスペースと同じリージョンにない場合、または別の Alibaba Cloud アカウントに属する OSS バケットを使用する場合に必要です。 詳細については、「リージョンとエンドポイント」および「AccessKey の作成」をご参照ください。
  fs.oss.accessKeyId	OSS に対する読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。	はい
  fs.oss.accessKeySecret	OSS に対する読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey Secret。	はい

• OSS-HDFS (VVR 11.8 以降)

  Paimon Filesystem カタログのストレージとして OSS-HDFS を使用するには、次の SQL 例を使用します。

  CREATE CATALOG `my_catalog` WITH (
    'type' = 'paimon',
    'metastore' = 'filesystem',
    'warehouse' = 'dls://<bucket>.<dls-endpoint>/<warehouse-path>',
    'fs.oss.endpoint' = '<dls-endpoint>',
    'fs.oss.accessKeyId' = '<access-key-id>',
    'fs.oss.accessKeySecret' = '<access-key-secret>',
    'fs.dls.client.mode.enabled' = 'false',
    'fs.dls.data.endpoint' = '<oss-data-endpoint>'
  );

  次の表にパラメーターを説明します。

  パラメーター	説明	必須	備考
  warehouse	OSS-HDFS のウェアハウスディレクトリ。	はい	フォーマット: dls://<bucket>.<dls-endpoint>/<warehouse-path>。<dls-endpoint> は fs.oss.endpoint と同じです。
  fs.oss.endpoint	OSS-HDFS サービスのエンドポイント。	はい	OSS コンソールで、対象バケットの [概要] > [アクセスポート] セクションに移動し、HDFS サービスエンドポイントを確認します。
  fs.oss.accessKeyId	OSS-HDFS に対する読み取りおよび書き込み権限を持つ Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID。	はい	—
  fs.oss.accessKeySecret	AccessKey ID に対応する AccessKey Secret。	はい	—
  fs.dls.client.mode.enabled	DLS クライアントモードを有効にするかどうかを指定します。	はい	false に設定します。
  fs.dls.data.endpoint	DLS が基盤となる OSS データにアクセスするために使用するデータエンドポイント。	はい	OSS コンソールで、対象バケットの [概要] > [アクセスポート] セクションに移動し、OSS 内部エンドポイントを確認します。「リージョンとエンドポイント」のドキュメントも参照できます。

DLF カタログの作成

データベースの管理

[開発] > [スクリプト] の SQL エディターで、次のコマンドを実行します。

• データベースの作成

  default データベースは自動的に作成されます。さらにデータベースを作成するには、次のようにします。

  -- my-catalog をご利用の Paimon カタログの名前に置き換えます。
  USE CATALOG `my-catalog`;
  
  -- my_db を英語のカスタムデータベース名に置き換えます。
  CREATE DATABASE `my_db`;

• データベースの削除

  重要

  default データベースは DLF カタログからは削除できません。ただし、Filesystem カタログからは削除できます。

  -- my-catalog をご利用の Paimon カタログの名前に置き換えます。
  USE CATALOG `my-catalog`;
  
  -- my_db を削除したいデータベースの名前に置き換えます。
  DROP DATABASE `my_db`; -- テーブルが含まれていない場合にのみデータベースを削除します。
  DROP DATABASE `my_db` CASCADE; -- データベースとその中のすべてのテーブルを削除します。
  

カタログの表示または削除

1. 管理ポータルで、対象のワークスペースの [操作] 列にある [コンソール] をクリックします。

2. [カタログ] ページで、Apache Paimon カタログを表示または削除します。

   • [カタログリスト] ページで、カタログ名とタイプを表示します。カタログ内のデータベースとテーブルを表示するには、[操作] 列の [表示] をクリックします。

   • [カタログリスト] ページで、削除するカタログの [操作] 列にある [削除] をクリックします。

     説明

     カタログを削除しても、Flink の登録が削除されるだけです。基盤となるデータファイルは影響を受けません。アクセスを復元するには、カタログを再登録してください。

     別の方法として、[開発] > [スクリプト] の SQL エディターで DROP CATALOG <catalog name>; を入力し、コードを選択して [実行] をクリックすることもできます。