Paimon資料管理配置 - Realtime Compute for Apache Flink

為了確保在Realtime Compute開發控制台中更加高效且靈活地管理和操作Paimon表（合并小檔案、資料排序等特定任務等），您需要提前配置相關工具包。本文為您介紹如何在Realtime Compute開發控制台中完成這一配置過程，助力您更輕鬆管理Paimon表資料。

使用限制

僅Realtime Compute引擎VVR 8.0.5及以上版本支援Paimon表。

在營運中心 > 作業營運頁面單擊部署作業 > JAR作業，填寫相關配置項。

配置項說明如下：

配置項	說明	本文樣本
部署模式	流模式或批模式，您需要根據具體功能進行選擇。	批模式
部署名稱	填寫對應的JAR作業名稱。	test
引擎版本	選擇Realtime Compute引擎VVR 8.0.5及以上版本。	vvr-8.0.5-flink-1.17
JAR URI	上傳paimon-flink-action JAR包。	選擇步驟2上傳的paimon-flink-action。
Entry Point Class	程式的入口類。	不填寫。
Entry Point Main Arguments	傳入參數，在主方法裡面調用該參數。部分Paimon action預設採用輕量化執行模式，不會啟動Flink作業。Realtime ComputeFlink版要求JAR作業中的程式必須啟動Flink作業，因此需在參數中增加`--force_start_flink_job true`。 action所需的`catalog_conf`參數填寫方式，請參見配置catalog_conf參數。	根據具體功能填寫，詳見相關功能文檔。例如實現資料排序功能，詳情請參見消費作業最佳化。
附加依賴檔案	指定要附加的依賴檔案的路徑或檔案名稱。	選擇步驟2上傳的paimon-ali-vvr（VVR 8.x版本）或paimon-flink-1.20（VVR 11.x版本）。

Paimon action通過catalog_conf參數訪問目標Catalog，需根據Catalog類型填寫對應參數。

需填寫包括AccessKey在內的DLF Catalog參數，配置方式請參見Flink DataStream訪問DLF。參數說明如下。

參數	說明	樣本
`type`	Catalog類型，從自訂JAR自動解析，請勿更改。	paimon
`metastore`	metastore類型，固定為rest。	rest
`uri`	DLF REST Catalog Server的VPC存取點，格式為`http://[region-id]-vpc.dlf.aliyuncs.com`。詳情請參見地區與服務存取點。	http://cn-hangzhou-vpc.dlf.aliyuncs.com
`warehouse`	DLF Catalog名稱。	dlf_test
`token.provider`	Token提供方，固定為dlf。	dlf
`dlf.access-key-id`	阿里雲帳號或RAM使用者的AccessKey ID。	無
`dlf.access-key-secret`	阿里雲帳號或RAM使用者的AccessKey Secret。	無

需填寫warehouse與OSS AccessKey參數，配置方式請參見管理Paimon Catalog。參數說明如下。

配置項	說明	是否必填	備忘
`warehouse`	OSS服務中所指定的數倉目錄。	是	格式為`oss://<bucket>/<object>`。bucket為OSS Bucket名稱，object為資料存放路徑，可在OSS管理主控台查看。
`fs.oss.endpoint`	OSS服務的串連地址。	是	如果Flink工作空間與OSS Bucket位於同一地區，則使用VPC網路Endpoint，否則使用公網Endpoint。當warehouse指定的OSS Bucket與Flink工作空間不在同一地區，或使用其他帳號下的OSS Bucket時需要填寫。擷取方法請參見地區和Endpoint。
`fs.oss.accessKeyId`	擁有讀寫OSS許可權的阿里雲帳號或RAM使用者的AccessKey ID。	是	擷取方法請參見建立AccessKey。
`fs.oss.accessKeySecret`	擁有讀寫OSS許可權的阿里雲帳號或RAM使用者的AccessKey Secret。	是	擷取方法請參見建立AccessKey。

重要

fs.oss.endpoint、fs.oss.accessKeyId、fs.oss.accessKeySecret需配置在Flink作業的運行參數中，配置在catalog_conf中可能不會生效。