Data Lake Formation:Flink SQL による DLF へのアクセス

前提条件

• Realtime Compute for Apache Flink のフルマネージドワークスペースが必要です。作成していない場合は、「Realtime Compute for Apache Flink の有効化」をご参照ください。

• Realtime Compute for Apache Flink ワークスペースと DLF が同じリージョンにあることを確認してください。また、ワークスペースの VPC を DLF ホワイトリストに追加する必要があります。詳細については、「VPC ホワイトリストの設定」をご参照ください。

制限事項

Ververica Runtime (VVR) 11.1.0 以降のバージョンのみが、DLF カタログへの接続をサポートしています。

DLF カタログの作成

詳細については、「 DLF の概要 」をご参照ください。

Flink でのカタログの登録

1. Realtime Compute コンソールにログインします。

2. フルマネージドワークスペースのリストで、対象ワークスペースの名前をクリックしてコンソールを開きます。

3. UI を使用するか、SQL コマンドを実行してカタログを登録できます。

   UI

   1. 左側のナビゲーションペインで、[Catalogs] をクリックします。

   2. [Catalog List] ページで、[Create Catalog] をクリックします。

   3. [Apache Paimon] を選択し、[Next] をクリックします。

   4. [metastore] を [rest] に設定します。[catalog name] で、目的の DLF カタログを選択します。[OK] をクリックしてカタログを作成します。

   SQL コマンド

   スクリプトエディターで、次の SQL ステートメントを入力して実行し、カタログを作成します。

   CREATE CATALOG `flink_catalog_name` 
   WITH (
     'type' = 'paimon',
     'metastore' = 'rest',
     'token.provider' = 'dlf',
     'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com',
     'warehouse' = 'dlf_test'
   );

   次の表で各パラメーターを説明します。

   パラメーター	説明	必須	例
   type	カタログのタイプ。このパラメーターは paimon に固定されます。	はい	paimon
   metastore	メタストアのタイプ。このパラメーターは rest に固定されます。	はい	rest
   token.provider	トークンプロバイダー。このパラメーターは dlf に固定されます。	はい	dlf
   uri	DLF REST Catalog Server にアクセスするための URI です。形式は http://[region-id]-vpc.dlf.aliyuncs.com です。リージョン ID の詳細については、「エンドポイント」をご参照ください。	はい	http://cn-hangzhou-vpc.dlf.aliyuncs.com
   warehouse	ウェアハウスとして使用する基盤となる DLF カタログの名前。	はい	dlf_test

一般的なエラー