Realtime Compute for Apache Flink:Flink CDC pipeline module

Parámetro

Descripción

Obligatorio

Tipo de dato

Valor predeterminado

Nota

name

Nombre del trabajo de ingestión de datos de Flink CDC.

No

STRING

Flink CDC Pipeline Job

-

schema.change.behavior

Estrategia para gestionar los cambios de esquema.

No

STRING

LENIENT

Los valores válidos se enumeran a continuación. Para obtener más información, consulte Schema evolution configurations.

• LENIENT (predeterminado)

• EXCEPTION

• EVOLVE

• TRY_EVOLVE

• IGNORE

schema-operator.rpc-timeout

Tiempo máximo de espera de SchemaOperator para que se complete la aplicación de un evento de cambio de esquema en sentido descendente.

No

DURATION

3min

Periodo de tiempo límite para el proceso de coordinación de cambios de esquema.

local-time-zone

Zona horaria local para la ejecución del trabajo.

No

STRING

Zona horaria del sistema

Esta configuración afecta los cálculos relacionados con la hora en el módulo transform.

user-defined-function

Funciones definidas por el usuario (UDF) que se registrarán para el trabajo.

No

LIST

-

Para obtener más información, consulte User-defined functions.

transform.allow.trimming.pk-columns

Permite que las reglas de transformación reduzcan las restricciones de clave principal ascendentes.

No

BOOLEAN

false

Eliminar las restricciones de PK ascendentes puede provocar la fusión de varias entradas de datos y causar pérdida de información. Antes de usar esta configuración, asegúrese de que la nueva PK (si está definida) sea única.

transform.decimal.precision.mode

Especifica la precisión máxima de Decimal que utiliza el módulo Transform.

No

STRING

UP_TO_19

Valores válidos:

• UP_TO_19: La precisión máxima del tipo Decimal devuelta por las expresiones es 19. Este es el comportamiento predeterminado en VVR 11.6 y versiones anteriores.

• UP_TO_38: La precisión máxima del tipo Decimal devuelta por las expresiones es 38.

sink.partitioning.strategy

Especifica la estrategia de particionamiento que distribuye los eventos de cambio de datos a las subtareas descendentes del sink.

No

STRING

SINK_DEFINED

Valores válidos:

• SINK_DEFINED: Utiliza la estrategia de particionamiento definida por el sink. Es el valor predeterminado. Los sinks Paimon, Fluss y MaxCompute solo admiten SINK_DEFINED.

• PRIMARY_KEY: Particiona los eventos por ID de tabla y valor de clave principal. Los eventos con la misma clave principal se enrutan a la misma subtarea.

• TABLE_ID: Particiona los eventos por ID de tabla. Todos los eventos de la misma tabla se enrutan a la misma subtarea.

transform.async-execution.enabled

Especifica si se debe habilitar la ejecución asíncrona ordenada para Post-Transform (vista previa pública).

No

BOOLEAN

false

Función experimental.

Si se habilita este parámetro, los cálculos de Transform se ejecutan de forma asíncrona en un pool de hilos, mientras se conserva el orden de salida de los eventos. Esta opción es adecuada para transformaciones que incluyen llamadas a UDF o modelos de IA con alta latencia.

transform.async-execution.timeout

Tiempo límite para procesar de forma asíncrona un solo evento de Post-Transform (vista previa pública).

No

DURATION

5min

Función experimental.

Este parámetro solo surte efecto cuando la transformación asíncrona está habilitada. El valor debe ser mayor que 0.

transform.async-execution.capacity

Número máximo de eventos en tránsito que cada subtarea asíncrona de Post-Transform puede procesar simultáneamente (vista previa pública).

No

INTEGER

100

Función experimental.

Este parámetro solo surte efecto cuando la transformación asíncrona está habilitada. El valor debe ser mayor que 0. Un valor más alto generalmente ofrece mayor concurrencia, pero consume más memoria.

transform.async-execution.worker-threads

Número de hilos de trabajo que utiliza cada subtarea asíncrona de Post-Transform (vista previa pública).

No

INTEGER

16

Función experimental.

Este parámetro solo surte efecto cuando la transformación asíncrona está habilitada. El valor debe ser mayor que 0. El número total de hilos aumenta conforme al paralelismo de Transform.