Data Lake Formation:Flink SQL を使用して DLF の Iceberg カタログにアクセスする

前提条件

• Realtime Compute for Apache Flink ワークスペースを作成済みであること。手順については、「Realtime Compute for Apache Flink の有効化」をご参照ください。

• エンジンバージョンが Ververica Runtime (VVR) 11.2.0 以降のセッションクラスターを作成済みであること。「セッションクラスターの作成」をご参照ください。

エンジン要件

VVR 11.2.0 以降のバージョンのみがサポートされています。

Flink での DLF カタログの登録

1. Realtime Compute for Apache Flink 管理コンソールにログインします。

2. ワークスペースの [アクション] 列で、[コンソール] をクリックします。

3. 左側のナビゲーションメニューで、[開発] > [スクリプト] をクリックします。

4. 新しいスクリプトを作成します。SQL エディターで、次の SQL 文をコピーして貼り付けます。右下隅で [環境] をクリックし、VVR 11.2.0 以降のセッションクラスターを選択して、SQL 文を実行し、Iceberg REST を介して DLF カタログを登録します。

   CREATE CATALOG `catalog_name` 
    WITH (
       'type' = 'iceberg',
       'catalog-type' = 'rest',
       'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg',
       'warehouse' = 'iceberg_test',
       'rest.signing-region' = 'cn-hangzhou',
       'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
   );

   次の表にオプションを説明します。

   オプション	説明	必須	例
   type	タイプ。これを iceberg に設定します。	はい	iceberg
   catalog-type	カタログタイプ。これを rest に設定します。	はい	rest
   token.provider	トークンプロバイダー。これを dlf に設定します。	はい	dlf
   uri	Iceberg REST を介して DLF カタログにアクセスするために使用される URI。詳細については、「Iceberg REST」をご参照ください。	はい	http://ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg
   warehouse	DLF カタログの名前。	はい	iceberg_test
   rest.signing-region	DLF のリージョン ID。詳細については、「エンドポイント」をご参照ください。	はい	ap-southeast-1
   io-impl	これを org.apache.iceberg.rest.DlfFileIO に設定します。	はい	org.apache.iceberg.rest.DlfFileIO