pipeline モジュールには、Flink CDC データインジェストジョブのグローバル設定が含まれます。
パラメーター
以下の pipeline パラメーターは、現在の Flink CDC データインジェジェストジョブにのみ適用されます。
|
パラメーター |
説明 |
必須 |
データ型 |
デフォルト値 |
備考 |
|
|
Flink CDC データインジェストジョブの名前です。 |
任意 |
文字列 |
Flink CDC Pipeline Job |
- |
|
|
スキーマ変更を処理する戦略です。 |
任意 |
文字列 |
|
有効な値は以下のとおりです。詳細については、「スキーマ進化の設定」をご参照ください。
|
|
|
SchemaOperator が、ダウンストリームでのスキーマ変更イベントの適用完了を待機するタイムアウト期間です。 |
任意 |
期間 |
3 min |
スキーマ変更の調整プロセスのタイムアウト期間です。 |
|
|
ジョブ実行時のローカルタイムゾーンです。 |
任意 |
文字列 |
システムタイムゾーン |
この設定は、 |
|
|
ジョブに登録するユーザー定義関数 (UDF) です。 |
任意 |
リスト |
- |
詳細については、「ユーザー定義関数」をご参照ください。 |
|
transform.allow.trimming.pk-columns |
変換ルールによって上流のプライマリキー制約を削減することを許可するかどうかを指定します。 |
任意 |
ブール値 |
false |
上流のプライマリキー制約を削除すると、複数のデータエントリが統合され、データ損失が発生する可能性があります。この設定を使用する前に、新しいプライマリキー (定義されている場合) の一意性を確保してください。 |
|
transform.decimal.precision.mode |
変換モジュールで使用される 10 進数の最大精度を指定します。 |
任意 |
文字列 |
UP_TO_19 |
有効な値:
説明
Ververica Runtime (VVR) 11.7 以降でのみサポートされます。 |
|
sink.partitioning.strategy |
データ変更イベントをシンクのダウンストリームサブタスクに配信するパーティショニング戦略を指定します。 |
任意 |
文字列 |
SINK_DEFINED |
有効な値:
説明
Ververica Runtime (VVR) 11.8 以降でのみサポートされます。 |
|
transform.async-execution.enabled |
Post-Transform の順序付き非同期実行を有効にするかどうかを指定します (パブリックプレビュー)。 |
任意 |
ブール値 |
false |
実験的機能です。 このパラメーターを有効にすると、イベント出力順序を保持しながら、変換計算がスレッドプールで非同期に実行されます。このオプションは、高レイテンシの UDF または AI モデル呼び出しを含む変換に適しています。 説明
Ververica Runtime (VVR) 11.9 以降でのみサポートされます。 重要
このパラメーターを有効にした状態で生成されたチェックポイントおよびセーブポイントの状態は、無効にした状態で生成されたものとは互換性がありません。 このパラメーターを有効にした後、並列度の動的調整はサポートされません。 |
|
transform.async-execution.timeout |
単一の Post-Transform イベントを非同期に処理するタイムアウト期間です (パブリックプレビュー)。 |
任意 |
期間 |
5 min |
実験的機能です。 このパラメーターは、非同期変換が有効な場合にのみ有効です。値は 0 より大きい必要があります。 説明
Ververica Runtime (VVR) 11.9 以降でのみサポートされます。 |
|
transform.async-execution.capacity |
各非同期 Post-Transform サブタスクが同時に処理できるインフライトイベントの最大数です (パブリックプレビュー)。 |
任意 |
整数 |
100 |
実験的機能です。 このパラメーターは、非同期変換が有効な場合にのみ有効です。値は 0 より大きい必要があります。値が大きいほど並行性が高くなりますが、より多くのメモリを消費します。 説明
Ververica Runtime (VVR) 11.9 以降でのみサポートされます。 |
|
transform.async-execution.worker-threads |
各非同期 Post-Transform サブタスクで使用されるワーカースレッド数です (パブリックプレビュー)。 |
任意 |
整数 |
16 |
実験的機能です。 このパラメーターは、非同期変換が有効な場合にのみ有効です。値は 0 より大きい必要があります。スレッドの総数は変換の並列度に応じて増加します。 説明
Ververica Runtime (VVR) 11.9 以降でのみサポートされます。 |