Paimon数据管理配置 - 实时计算Flink版

为了确保在实时计算开发控制台中更加高效且灵活地管理和操作Paimon表（合并小文件、数据排序等特定任务等），您需要提前配置相关工具包。本文为您介绍如何在实时计算开发控制台中完成这一配置过程，助力您更轻松管理Paimon表数据。

使用限制

仅实时计算引擎VVR 8.0.5及以上版本支持Paimon表。

在运维中心 > 作业运维页面单击部署作业 > JAR作业，填写相关配置项。

配置项说明如下：

配置项	说明	本文示例
部署模式	流模式或批模式，您需要根据具体功能进行选择。	批模式
部署名称	填写对应的JAR作业名称。	test
引擎版本	选择实时计算引擎VVR 8.0.5及以上版本。	vvr-8.0.5-flink-1.17
JAR URI	上传paimon-flink-action JAR包。	选择步骤2上传的paimon-flink-action。
Entry Point Class	程序的入口类。	不填写。
Entry Point Main Arguments	传入参数，在主方法里面调用该参数。部分Paimon action默认采用轻量化执行模式，不会启动Flink作业。实时计算Flink版要求JAR作业中的程序必须启动Flink作业，因此需在参数中增加`--force_start_flink_job true`。 action所需的`catalog_conf`参数填写方式，请参见配置catalog_conf参数。	根据具体功能填写，详见相关功能文档。例如实现数据排序功能，详情请参见消费作业优化。
附加依赖文件	指定要附加的依赖文件的路径或文件名。	选择步骤2上传的paimon-ali-vvr（VVR 8.x版本）或paimon-flink-1.20（VVR 11.x版本）。

Paimon action通过catalog_conf参数访问目标Catalog，需根据Catalog类型填写对应参数。

需填写包括AccessKey在内的DLF Catalog参数，配置方式请参见Flink DataStream访问DLF。参数说明如下。

参数	说明	示例
`type`	Catalog类型，从自定义JAR自动解析，请勿更改。	paimon
`metastore`	metastore类型，固定为rest。	rest
`uri`	DLF REST Catalog Server的VPC接入点，格式为`http://[region-id]-vpc.dlf.aliyuncs.com`。详情请参见地域与服务接入点。	http://cn-hangzhou-vpc.dlf.aliyuncs.com
`warehouse`	DLF Catalog名称。	dlf_test
`token.provider`	Token提供方，固定为dlf。	dlf
`dlf.access-key-id`	阿里云账号或RAM用户的AccessKey ID。	无
`dlf.access-key-secret`	阿里云账号或RAM用户的AccessKey Secret。	无

需填写warehouse与OSS AccessKey参数，配置方式请参见管理Paimon Catalog。参数说明如下。

配置项	说明	是否必填	备注
`warehouse`	OSS服务中所指定的数仓目录。	是	格式为`oss://<bucket>/<object>`。bucket为OSS Bucket名称，object为数据存放路径，可在OSS管理控制台查看。
`fs.oss.endpoint`	OSS服务的连接地址。	是	如果Flink工作空间与OSS Bucket位于同一地域，则使用VPC网络Endpoint，否则使用公网Endpoint。当warehouse指定的OSS Bucket与Flink工作空间不在同一地域，或使用其他账号下的OSS Bucket时需要填写。获取方法请参见地域和Endpoint。
`fs.oss.accessKeyId`	拥有读写OSS权限的阿里云账号或RAM用户的AccessKey ID。	是	获取方法请参见创建AccessKey。
`fs.oss.accessKeySecret`	拥有读写OSS权限的阿里云账号或RAM用户的AccessKey Secret。	是	获取方法请参见创建AccessKey。

重要

fs.oss.endpoint、fs.oss.accessKeyId、fs.oss.accessKeySecret需配置在Flink作业的运行参数中，配置在catalog_conf中可能不会生效。