Flink CDC Pipeline模块 - 实时计算Flink版

本文向您介绍Flink CDC数据摄入作业支持的全局配置项。您可以在pipeline模块中配置以下选项。

Pipeline配置参数

您可以在Flink CDC数据摄入作业的 pipeline模块中配置以下选项，仅对该作业生效。

参数	说明	是否必填	数据类型	默认值	备注
name	Flink CDC数据摄入作业名称。	否	STRING	Flink CDC Pipeline Job	无。
schema.change.behavior	Schema变更行为配置。	否	STRING	LENIENT	可配置的值如下，详见表结构变更同步配置。 `LENIENT`（默认值） `EXCEPTION` `EVOLVE` `TRY_EVOLVE` `IGNORE`
schema-operator.rpc-timeout	Schema变更超时时间。	否	DURATION	3min	表结构变更协调过程的超时时间。
local-time-zone	作业执行的本地时区。	否	STRING	系统时区	时区配置会影响Transform模块运算逻辑。
user-defined-function	作业中注册的UDF函数。	否	LIST	无	在此处注册自定义函数。详见自定义函数。
transform.allow.trimming.pk-columns	是否允许Transform规则减少上游的主键约束。	否	BOOLEAN	false	开启此选项后，允许Transform规则删除来自上游的主键约束。重要减少上游的主键约束可能导致多条数据被合并，导致数据丢失。需要确保设置的新主键（如果存在）也具备唯一性。
transform.decimal.precision.mode	控制 Transform 模块使用的 Decimal 精度上限。	否	STRING	UP_TO_19	目前可选的取值包括： UP_TO_19：表达式的返回 Decimal 类型最高精度为 19。这是 VVR 11.6 及更早版本的默认行为。 UP_TO_38：表达式的返回 Decimal 类型最高精度为 38。说明仅 VVR 11.7 及更高版本支持。
sink.partitioning.strategy	配置数据变更事件分发到 Sink 下游子任务的分区策略。	否	STRING	SINK_DEFINED	可配置的值： SINK_DEFINED：使用 Sink 自定义的分区策略，为默认值。Paimon、Fluss、MaxCompute Sink 仅支持 SINK_DEFINED。 PRIMARY_KEY：按表 ID 和主键值分区，相同主键的事件路由到同一子任务。 TABLE_ID：按表 ID 分区，同一张表的所有事件路由到同一子任务。说明仅 VVR 11.8 及更高版本支持。
transform.async-execution.enabled	是否为 Post-Transform 开启有序异步执行（公测中）。	否	BOOLEAN	false	实验性功能。开启后，Transform 计算在线程池中异步执行，同时保持事件输出顺序。适合包含高延迟 UDF 或 AI 模型调用的 Transform。说明仅 VVR 11.9 及更高版本支持。重要开启/关闭此参数后生成的 Checkpoint / Savepoint 状态彼此不兼容。启用此参数后，不支持动态调整并发度。
transform.async-execution.timeout	单条 Post-Transform 事件异步执行的超时时间（公测中）。	否	DURATION	5min	实验性功能。仅当开启异步 Transform 时生效；必须大于 0。说明仅 VVR 11.9 及更高版本支持。
transform.async-execution.capacity	每个异步 Post-Transform 子任务允许同时处理最大在途事件数（公测中）。	否	INTEGER	100	实验性功能。仅当开启异步 Transform 时生效；必须大于 0。数值越大，并发能力和内存占用通常越高。说明仅 VVR 11.9 及更高版本支持。
transform.async-execution.worker-threads	每个异步 Post-Transform 子任务使用的工作线程数（公测中）。	否	INTEGER	16	实验性功能。仅当开启异步 Transform 时生效；必须大于 0。总线程数会随 Transform 并行度增长。说明仅 VVR 11.9 及更高版本支持。