本文為您介紹如何在阿里雲Realtime ComputeFlink版上實現Flink SQL 以Iceberg REST與DLF Catalog對接。
前提條件
已建立Flink全託管工作空間。如未建立,詳情請參見開通Realtime ComputeFlink版。
已建立VVR 11.2.0及以上引擎版本的Session叢集。如未建立,請參見步驟一:建立Session叢集。
使用限制
僅Realtime Compute引擎VVR 11.2.0及以上版本支援以 Iceberg REST 對接 DLF Catalog。
建立Catalog
這裡僅用於建立與DLF Catalog的映射串連,建立或刪除Catalog僅影響映射關係,不會對DLF中的實際資料產生影響。
通過Iceberg REST 在DLF Catalog建立的表均為Iceberg表。
單擊目標工作空間操作列下的控制台,進入對應的工作空間。
在左側導覽列,單擊。
在資料查詢文本編輯地區,輸入以下SQL,單擊頁面右下角的執行環境,選擇對應版本的Session叢集(VVR 11.2.0及以上引擎版本),執行SQL,即可以Iceberg REST建立DLF Catalog。
CREATE CATALOG `catalog_name` WITH ( 'type' = 'iceberg', 'catalog-type' = 'rest', 'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg', 'warehouse' = 'iceberg_test', 'rest.signing-region' = 'cn-hangzhou', 'io-impl' = 'org.apache.iceberg.rest.DlfFileIO' );參數說明如下:
參數
描述
是否必填
樣本
type
類型,固定為iceberg。從自訂Jar自動解析,請勿更改。
是
iceberg
catalog-type
Catalog類型,固定為rest。
是
rest
token.provider
Token提供方,固定為dlf。
是
dlf
uri
訪問DLF Rest Catalog的URI,詳見Iceberg REST。
是
http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg
warehouse
DLF Catalog名稱。
是
iceberg_test
rest.signing-region
DLF的Region ID,詳見服務存取點。
是
cn-hangzhou
io-impl
固定值:org.apache.iceberg.rest.DlfFileIO
是
org.apache.iceberg.rest.DlfFileIO
Iceberg查詢
在資料查詢文本編輯地區,運行以下SQL,可查詢Iceberg Catalog下的庫表資訊。
SELECT * FROM catalog_name.database_name.table_name;