Realtime Compute for Apache Flink:Flink CDC pipeline module

Parametre

Açıklama

Gerekli

Veri türü

Varsayılan değer

Not

name

Flink CDC veri alımı işinin adı.

Hayır

STRING

Flink CDC Pipeline Job

-

schema.change.behavior

Şema değişikliklerini işleme stratejisi.

Hayır

STRING

LENIENT

Geçerli değerler aşağıda listelenmiştir. Daha fazla bilgi için bkz. Şema evrimi yapılandırmaları.

• LENIENT (varsayılan)

• EXCEPTION

• EVOLVE

• TRY_EVOLVE

• IGNORE

schema-operator.rpc-timeout

SchemaOperator'ün aşağı akış şema değişikliği olayı uygulamasının tamamlanmasını beklemesi için geçen zaman aşımı süresi.

Hayır

DURATION

3min

Şema değişikliği koordinasyon süreci için zaman aşımı süresi.

local-time-zone

İş yürütme için yerel saat dilimi.

Hayır

STRING

Sistem saat dilimi

Bu ayar, transform modülündeki zamanla ilgili hesaplamaları etkiler.

user-defined-function

İş için kaydedilecek kullanıcı tanımlı işlevler (UDF'ler).

Hayır

LIST

-

Daha fazla bilgi için bkz. Kullanıcı tanımlı işlevler.

transform.allow.trimming.pk-columns

Transform kurallarının yukarı akış birincil anahtar kısıtlamalarını azaltmasına izin verir

Hayır

BOOLEAN

false

Yukarı akış PK kısıtlamalarının kaldırılması birden çok veri girişinin birleşmesine ve potansiyel olarak veri kaybına neden olabilir. Bu ayarı kullanmadan önce yeni PK'nın (tanımlanmışsa) benzersizliğini doğrulayın.

transform.decimal.precision.mode

Transform modülü tarafından kullanılan maksimum Decimal hassasiyetini belirtir.

Hayır

STRING

UP_TO_19

Geçerli değerler:

• UP_TO_19: İfadeler tarafından döndürülen Decimal türünün maksimum hassasiyeti 19'dur. Bu, VVR 11.6 ve önceki sürümlerdeki varsayılan davranıştır.

• UP_TO_38: İfadeler tarafından döndürülen Decimal türünün maksimum hassasiyeti 38'dir.

sink.partitioning.strategy

Veri değişikliği olaylarını sink'in aşağı akış alt görevlerine dağıtan bölümleme stratejisini belirtir.

Hayır

STRING

SINK_DEFINED

Geçerli değerler:

• SINK_DEFINED: Sink tarafından tanımlanan bölümleme stratejisini kullanır. Bu varsayılan değerdir. Paimon, Fluss ve MaxCompute sink'leri yalnızca SINK_DEFINED'i destekler.

• PRIMARY_KEY: Olayları tablo ID'sine ve birincil anahtar değerine göre böler. Aynı birincil anahtara sahip olaylar aynı alt göreve yönlendirilir.

• TABLE_ID: Olayları tablo ID'sine göre böler. Aynı tabloya ait tüm olaylar aynı alt göreve yönlendirilir.

transform.async-execution.enabled

Post-Transform için sıralı eşzamansız yürütmeyi etkinleştirip etkinleştirmeyeceğinizi belirtir (genel ön izleme).

Hayır

BOOLEAN

false

Deneysel özellik.

Bu parametre etkinleştirildiğinde, Transform hesaplamaları olay çıktı sırasını koruyarak bir iş parçacığı havuzunda eşzamansız olarak çalışır. Bu seçenek, yüksek gecikme süreli UDF veya AI modeli çağrıları içeren Transform'lar için uygundur.

transform.async-execution.timeout

Tek bir Post-Transform olayının eşzamansız olarak işlenmesi için geçen zaman aşımı süresi (genel ön izleme).

Hayır

DURATION

5min

Deneysel özellik.

Bu parametre yalnızca eşzamansız Transform etkinleştirildiğinde etkili olur. Değer 0'dan büyük olmalıdır.

transform.async-execution.capacity

Her eşzamansız Post-Transform alt görevinin eşzamanlı olarak işleyebileceği maksimum uçuşta olan olay sayısı (genel ön izleme).

Hayır

INTEGER

100

Deneysel özellik.

Bu parametre yalnızca eşzamansız Transform etkinleştirildiğinde etkili olur. Değer 0'dan büyük olmalıdır. Daha büyük bir değer genellikle daha yüksek eşzamanlılık sağlar ancak daha fazla bellek tüketir.

transform.async-execution.worker-threads

Her eşzamansız Post-Transform alt görevi tarafından kullanılan iş parçacığı sayısı (genel ön izleme).

Hayır

INTEGER

16

Deneysel özellik.

Bu parametre yalnızca eşzamansız Transform etkinleştirildiğinde etkili olur. Değer 0'dan büyük olmalıdır. Toplam iş parçacığı sayısı Transform paralelliği ile birlikte artar.