Tüm Ürünler
Search
Belge Merkezi

Realtime Compute for Apache Flink:StarRocks YAML connector

Son Güncelleme:Oct 04, 2026

Bu konu, YAML tabanlı veri alımı işlerinde verileri eşzamanlamak için StarRocks bağlayıcısının nasıl kullanılacağını açıklar.

Arka Plan

StarRocks, gerçek zamanlı analitik için tasarlanmış bir MPP (Massively Parallel Processing) veri ambarıdır. MySQL protokolü ile uyumludur, dağıtık mimari kullanır ve esnek küme ölçeklendirme ile paralel hesaplamayı destekler. StarRocks YAML bağlayıcısı, upstream veri kayıtlarını ve şema değişikliklerini StarRocks'a yazar; hem StarRocks topluluk sürümünü hem de Alibaba Cloud'un tamamen yönetilen EMR Serverless StarRocks hizmetini destekler. Aşağıdaki tabloda StarRocks YAML bağlayıcısının desteklediği özellikler açıklanmaktadır.


Kategori


Açıklama


Desteklenen türler


Veri alımı hedefi (sink)


Çalıştırma modu


Akış modu ve toplu iş modu


Veri formatı


JSON


Bağlayıcıya özel ölçümler


Yok


API türleri


YAML


Hedef tablolarda güncelleme/silme desteği


Evet

Not

YAML bağlayıcısı şu anda yalnızca en az bir kez (at-least-once) semantiğini destekler. sink.semantic: exactly-once değerini açıkça ayarlarsanız bu ayar hata vermeden otomatik olarak at-least-once değerine geçersiz kılınır. Tam olarak bir kez (exactly-once) semantiği için bkz. StarRocks SQL connector.

Özellikler

  • Otomatik veritabanı ve tablo oluşturma.

    Upstream veritabanı veya tablo downstream StarRocks örneğinde yoksa bağlayıcı bunları otomatik olarak oluşturur. Otomatik tablo oluşturma seçeneklerini yapılandırmak için table.create.properties.* parametresini kullanabilirsiniz.

  • Şema değişikliği eşzamanlaması.

    StarRocks bağlayıcısı, CreateTableEvent, AddColumnEvent ve DropColumnEvent olaylarını otomatik olarak downstream veritabanına uygular.

  • VVR 11,1 ve sonraki sürümler uyumlu sütun türü değişikliklerini destekler. Daha fazla bilgi için bkz. ALTER TABLE | StarRocks.

Kullanım notları

  • Eşzamanlanan her tablonun bir birincil anahtarı olmalıdır. Birincil anahtarı olmayan tablolar için downstream'e veri yazmak amacıyla transform bloğunda bir anahtar belirtmeniz gerekir. Örnek:

    transform:
      - source-table: ...
        primary-keys: id, ...
  • Otomatik olarak oluşturulan tablolar için bucket anahtarı birincil anahtarla aynıdır ve tabloda bölümleme (partition) anahtarı bulunamaz.

  • Şema değişiklikleri eşzamanlanırken yeni sütunlar yalnızca mevcut sütunların sonuna eklenebilir. Varsayılan Lenient şema değişikliği modunda diğer konumlara yapılan eklemeler otomatik olarak sona taşınır.

  • 2.5.7'den eski bir StarRocks sürümü kullanıyorsanız bucket sayısını table.create.num-buckets parametresiyle açıkça belirtmeniz gerekir. StarRocks 2.5.7 ve sonraki sürümler uygun bir bucket sayısını otomatik olarak belirleyebilir.

  • StarRocks 3.2 veya sonraki bir sürüm kullanıyorsanız şema değişikliklerini hızlandırmak için table.create.properties.fast_schema_evolution seçeneğini etkinleştirmenizi öneririz.

  • Ververica Runtime (VVR) 11,9 veya sonraki sürümleri ve StarRocks 3.3.2 veya sonraki sürümleri kullanıyorsanız upstream sütun yeniden adlandırma olaylarını downstream tabloya eşzamanlayabilirsiniz.

  • EMR Serverless StarRocks'a veri almak için CDC YAML kullanıldığında akış sorunları oluşabilir. Aşağıdaki geçici çözümlerden birini kullanabilirsiniz:

    • Flink SQL StarRocks bağlayıcısını kullanın ve sink.version=V1 parametresini ayarlayın.

    • FE parametresi emr_internal_redirect değerini etkinleştirin.

    • SLB yerine bir StarRocks Private Zone alan adı kullanın.

Sözdizimi

source:
  ...

sink:
  type: starrocks
  name: StarRocks Sink
  jdbc-url: jdbc:mysql://127.0.0.1:9030
  load-url: 127.0.0.1:8030
  username: root
  password: pass
  sink.buffer-flush.interval-ms: 5000   # Set the data flush interval.

Yapılandırma

Parametre

Açıklama

Tür

Gerekli

Varsayılan

Açıklamalar

type

Hedef bağlayıcı türünü belirtir.

String

Evet

—

starrocks olarak ayarlayın.

name

Hedefin görünen adı.

String

Hayır

—

—

jdbc-url

Veritabanı bağlantısı için JDBC URL'si.

String

Evet

—

Virgül (,) ile ayrılmış birden çok adresi destekler. Örnek: jdbc:mysql://fe_host1:fe_query_port1,fe_host2:fe_query_port2,fe_host3:fe_query_port3.

load-url

Stream Load için bir FE düğümünün HTTP URL'si.

String

Evet

—

Noktalı virgül (;) ile ayrılmış birden çok adresi destekler. Örnek: fe_host1:fe_http_port1;fe_host2:fe_http_port2.

username

StarRocks bağlantısı için kullanıcı adı.

String

Evet

—

Bu kullanıcının hedef tabloda en az SELECT ve INSERT izinlerine sahip olması gerekir. Gerekli izinleri StarRocks GRANT komutuyla verebilirsiniz.

password

StarRocks bağlantısı için parola.

String

Evet

—

—

sink.semantic

Veri yazma işlemleri için teslim semantiği.

String

Hayır

at-least-once

Yalnızca at-least-once desteklenir. Bu parametreyi açıkça exactly-once olarak ayarlamak hataya neden olmaz ancak değer otomatik olarak at-least-once değerine sıfırlanır. Exactly-once semantiğini kullanmak için Flink SQL StarRocks bağlayıcısını kullanın. Daha fazla bilgi için bu konunun SQL bölümüne bakın.

sink.label-prefix

Stream Load işleri için etiket ön eki.

String

Hayır

—

Değer yalnızca İngilizce harfler, rakamlar, kısa çizgi (-) ve alt çizgi (_) içerebilir. Diğer karakterler yüklemenin başarısız olmasına neden olabilir.

sink.connect.timeout-ms

HTTP bağlantısı kurma zaman aşımı.

Integer

Hayır

30000

Birim: milisaniye. Değer 100 ile 60000 arasında olmalıdır.

sink.wait-for-continue.timeout-ms

Sunucudan 100 Continue yanıtı bekleme zaman aşımı.

Integer

Hayır

30000

Birim: milisaniye. Değer 3000 ile 600000 arasında olmalıdır.

sink.buffer-flush.max-bytes

Bir flush işlemi tetiklenmeden önce bellek önbelleğinin maksimum boyutu (bayt cinsinden).

Long

Hayır

%94371840

Birim: bayt. Değer 64 MB ile 10 GB arasında olmalıdır.

Not
  • Bu önbellek boyutu tüm tablolar tarafından paylaşılır. Arabellek dolduğunda bağlayıcı flush işlemi için birkaç tablo seçer.

  • Daha büyük bir değer ayarlamak aktarım hızını artırabilir ancak alım gecikmesini de artırabilir.

sink.buffer-flush.max-rows

Bir flush işlemi tetiklenmeden önce bellek önbelleğindeki maksimum satır sayısı.

Long

Hayır

500000

Değer 1.000 ile 5.000.000 arasında olmalıdır.

sink.buffer-flush.interval-ms

Her tablonun arabelleği için flush işlemleri arasındaki zaman aralığı.

Long

Hayır

300000

Birim: milisaniye.

Not

Az miktarda veri eşzamanlayan işler için verilerin kalıcı hale gelmeden önceki uzun gecikmeleri önlemek üzere bu değeri düşürün.

sink.max-retries

Maksimum yeniden deneme sayısı.

Long

Hayır

3

Değer 0 ile 1000 arasında olmalıdır.

sink.scan-frequency.ms

Bağlayıcının arabelleği flush edip etmeyeceğini kontrol etme sıklığı.

Long

Hayır

50

Birim: milisaniye.

sink.io.thread-count

Stream Load için kullanılan iş parçacığı sayısı.

Integer

Hayır

2

—

sink.at-least-once.use-transaction-stream-load

Veri alımı için Stream Load transaction interface'in kullanılıp kullanılmayacağını belirtir.

Boolean

Hayır

true

Bu seçenek yalnızca veritabanı destekliyorsa etkili olur.

sink.ignore.update-before

Güncelleme işlemlerinde update-before kayıtlarının yoksayılıp yoksayılmayacağını belirtir.

Boolean

Hayır

true

Transform modülü aracılığıyla birincil anahtar değiştirildiğinde (örneğin, primary-keys upstream'ten farklı bir birincil anahtar belirttiğinde) sink.ignore.update-before değerini false olarak ayarlayın. Aksi takdirde eski birincil anahtara karşılık gelen satırlar silinmez ve bu da eski verilere neden olur.

Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir.

sink.ignore.delete

Silme kayıtlarının yoksayılıp yoksayılmayacağını belirtir.

Boolean

Hayır

false

Bu parametreyi true olarak ayarlarsanız silme kayıtları filtrelenir ve StarRocks'a yazılmaz. Hedefte geçmiş verileri korumak ve yalnızca ekleme ile güncelleme işlemlerini eşzamanlamak için bu ayarı kullanın.

Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir.

sink.properties.*

Hedef için ek özellikler.

String

Hayır

—

Desteklenen özellikler için bkz. STREAM LOAD.

table.create.num-buckets

Otomatik olarak oluşturulan tablolar için bucket sayısı.

Integer

Hayır

—

table.create.properties.*

Otomatik tablo oluşturma için ek özellikler.

String

Hayır

—

Örneğin hızlı şema değişikliğini etkinleştirmek için 'table.create.properties.fast_schema_evolution' = 'true' değerini iletebilirsiniz. Ayrıntılar için bkz. StarRocks belgeleri.

table.schema-change.timeout

Şema değişikliği işlemleri için zaman aşımı.

Duration

Hayır

30 min

Saniye cinsinden tam sayı olmalıdır.

Not

Bir şema değişikliği işlemi bu sınırı aşarsa iş başarısız olur.

unicode-char.max-bytes

Her Unicode karakter için ayrılan bayt sayısı.

Integer

Hayır

3

CDC'de VARCHAR türünün uzunluğu karakter cinsinden ölçülürken StarRocks'ta VARCHAR türünün uzunluğu bayt cinsinden ölçülür.

Çoğu durumda bir Unicode karakter UTF-8 kodlamasından sonra 3 baytı aşmaz. Ancak bazı nadir karakterler ve emoji simgeleri 4 veya daha fazla bayt kaplayabilir.

sink.socket.time

StarRocks'a veri flush etmek için HTTP istemcisi zaman aşımı.

Long

Hayır

-1

StarRocks'a veri flush edilirken Stream Load istekleri göndermek için milisaniye cinsinden HTTP istemcisi zaman aşımı. -1 değeri sistem varsayılanını kullanır yani zaman aşımı yoktur.

Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir.

sink.close.eof-timeout-ms

Hedefi kapatma zaman aşımı.

Long

Hayır

60000

İş kapatıldığında flush kuyruğunun bitmesini beklemek için milisaniye cinsinden zaman aşımı. Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir.

Yerleşik katalog kullanma

VVR 11,5 ve sonraki sürümler, Data Management sayfasında oluşturulan yerleşik bir StarRocks kataloğunu doğrudan bir Flink CDC veri alımı işinde başvurmanıza olanak tanır. Bu durum manuel olarak ayarlamanız gereken özellik sayısını azaltarak yapılandırmayı basitleştirir.

sink:
  type: starrocks
  using.built-in-catalog: starrocks_catalog

Veri alımı işleri aşağıdaki StarRocks katalog seçeneklerini otomatik olarak yeniden kullanabilir:

  • jdbc-url

  • http-url

  • username

  • password

  • table.num-buckets

Bu değerleri geçersiz kılmak için öncelikli olan ilgili YAML seçeneklerini açıkça ayarlayabilirsiniz.

Tür eşleme

Not

StarRocks tüm CDC YAML türlerini desteklemez. Desteklenmeyen bir türü hedefe yazmak işin başarısız olmasına neden olur. Desteklenmeyen verileri dönüştürmek için bir transform içinde CAST yerleşik işlevini kullanabilir veya sonuç tablosundan kaldırmak için bir projeksiyon ifadesi kullanabilirsiniz. Daha fazla bilgi için bkz. Flink CDC veri alımı işi geliştirme.

CDC türü

StarRocks türü

Açıklamalar

TINYINT

TINYINT

—

SMALLINT

SMALLINT

INT

INT

BIGINT

BIGINT

FLOAT

FLOAT

DOUBLE

DOUBLE

BOOLEAN

BOOLEAN

DATE

DATE

TIMESTAMP

DATETIME

TIMESTAMP_LTZ

DATETIME

DECIMAL(p, s)

DECIMAL(p, s)

StarRocks birincil anahtar için DECIMAL türünü desteklemediğinden bağlayıcı upstream DECIMAL birincil anahtar sütununu eşzamanlanan StarRocks şemasında otomatik olarak VARCHAR türüne dönüştürür.

CHAR(n)

(n <= 85)

CHAR(n × 3)

CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar.

Not

StarRocks CHAR türünün maksimum uzunluğu 255'tir. Bu nedenle yalnızca uzunluğu 85'e kadar olan CDC CHAR türleri StarRocks CHAR türüne eşlenir.

Not

Her Unicode karakter için daha fazla bayt ayırmak amacıyla unicode-char.max-bytes parametresini ayarlayabilirsiniz.

CHAR(n)

(n > 85)

VARCHAR(n × 3)

CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar.

Not

CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı uzunluğu 3 ile çarpar. Sonuç StarRocks CHAR türü için 255 bayt sınırını aştığından VARCHAR türüne eşlenir.

Not

Her Unicode karakter için daha fazla bayt ayırmak amacıyla unicode-char.max-bytes parametresini ayarlayabilirsiniz.

VARCHAR(n)

VARCHAR(n × 3)

CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar.

Not

Her Unicode karakter için daha fazla bayt ayırmak amacıyla unicode-char.max-bytes parametresini ayarlayabilirsiniz.

BINARY(n)

BINARY(n+2)

Veri bütünlüğünü sağlamak için iki bayt dolgu eklenir.

VARBINARY(n)

VARBINARY(n+1)

Veri bütünlüğünü sağlamak için bir bayt dolgu eklenir.

Şema değişikliği

CDC YAML işlem hattı işi şema değişikliklerini işlemek için farklı stratejiler kullanır. Bu stratejiler işlem hattı düzeyindeki schema.change.behavior parametresiyle yapılandırılabilir. Geçerli değerler IGNORE, LENIENT, TRY_EVOLVE, EVOLVE ve EXCEPTION şeklindedir. Varsayılan değer: LENIENT. Bir olayın uygulanıp uygulanmayacağı ayrıca hedefin include.schema.changes ve exclude.schema.changes parametrelerinden de etkilenir.

LENIENT ve EVOLVE stratejileri şema değişikliklerini içerir. Aşağıdaki bölümlerde farklı şema değişikliği olaylarının nasıl ele alındığı açıklanmaktadır.

Not

Aşağıdaki açıklamalar normal bire bir eşzamanlama için geçerlidir. Çoktan bire yönlendirme için önce birleştirilmiş şema türetilir ardından olaylar normalize edilir. Herhangi bir shard tablosundaki bir silme işleminin doğrudan birleştirilmiş hedef tabloyu sildiğini varsaymayın.

Desteklenen olaylar

  • CREATE TABLE EVENT

    Not

    Downstream StarRocks tablosu zaten varsa bağlayıcı tabloyu yeniden oluşturmaya çalışmaz. Downstream tablo şemasının upstream şema ile uyumlu olduğundan emin olun.

  • ADD COLUMN EVENT

    Not

    StarRocks birincil anahtar sütunlarının tabloda ilk sırada görünmesini gerektirir. Yeni sütunlar bunlardan sonra eklenmelidir.

  • RENAME COLUMN EVENT

    Not

    Ververica Runtime (VVR) 11,9 veya sonraki sürümleri ve StarRocks 3.3.2 veya sonraki sürümleri gerektirir.

  • DROP COLUMN EVENT

  • TRUNCATE TABLE EVENT

  • DROP TABLE EVENT

LENIENT (varsayılan)

LENIENT modunda şema değişiklikleri şu şekilde ele alınır:

  • Boş bırakılabilir bir sütun ekleme: İlgili sütun hedef tablo şemasının sonuna otomatik olarak eklenir ve yeni sütunun verileri otomatik olarak eşzamanlanır.

  • Boş bırakılamaz bir sütun ekleme: İlgili sütun hedef tablo şemasının sonuna otomatik olarak eklenir ve boş bırakılabilir olarak ayarlanır. Sütun eklenmeden önce var olan veriler için değer otomatik olarak NULL olarak ayarlanır.

  • Bir sütun silme: Sütun hedef tablodan silinmez. Orijinal sütun boş bırakılamaz ise boş bırakılabilir olarak değiştirilir. Zaten boş bırakılabilir ise değişiklik yapılmaz.

  • Bir sütunu yeniden adlandırma: Bu işlem eskisini korurken yeni bir sütun eklemek olarak değerlendirilir. Yeniden adlandırılan boş bırakılabilir sütun hedef tablonun sonuna eklenir. Orijinal sütun boş bırakılamaz ise boş bırakılabilir olarak değiştirilir.

  • Sütunları yeniden sıralama: Yoksayılır. Değişiklik downstream tabloya eşzamanlanmaz.

  • Bir sütun türünü değiştirme: LENIENT modu tarafından otomatik olarak yoksayılmaz. Değişiklik yine de StarRocks'a iletilir ve yalnızca uyumlu değişim yolları desteklenir. İzin verilen yollar için bkz. ALTER TABLE. VVR 11,1 ve sonraki sürümler için desteklenen kapsam mevcut belgelerde açıklananla aynıdır.

  • Bir tabloyu silme veya tabloyu kısaltma (truncate): Varsayılan olarak dışlanır. Değişiklik downstream'e eşzamanlanmaz.

Önemli

Drop-table ve truncate-table olaylarının varsayılan olarak dışlanması exclude.schema.changes yapılandırılmadığında YAML ayrıştırıcısının eklediği varsayılan bir giriştir. Koşulsuz koruma değildir. Dışlama listesini açıkça yapılandırmak (boş liste dahil) bu iki varsayılan dışlamayı değiştirir. Bu nedenle yasaklamak istediğiniz olayları listede tutun. LENIENT ayrıca başarısız DDL yürütmelerinin yoksayılacağını garanti etmez.

EVOLVE

EVOLVE modunda şema değişiklikleri şu şekilde ele alınır:

  • Bir sütun ekleme: Desteklenir. StarRocks yürütücüsü upstream ekleme konumunu yoksayar ve sütunu mevcut sütunların sonuna ekler.

  • Bir sütun silme: Desteklenir. Sütun hedef tablodan fiilen silinir.

  • Bir sütunu yeniden adlandırma: Desteklenir (StarRocks 3.3.2 veya sonraki sürümler gerektirir). Downstream sütunun adı değiştirilir.

  • Bir sütun türünü değiştirme: Desteklenir. Yalnızca uyumlu değişim yolları desteklenir.

  • Sütunları yeniden sıralama: Desteklenir. Birincil anahtar sütunları yine de ilk sırada gelmeli ve orijinal sıralarını korumalıdır.

  • Bir tabloyu silme veya tabloyu kısaltma (truncate): Olaylar dışlanmadığında fiilen yürütülür.

Uyarı

EVOLVE modunda hedef tabloyu silmeden durumsuz bir yeniden başlatma gerçekleştirirseniz upstream verileri ile hedef tablo şeması tutarsız hale gelebilir ve bu da işin başarısız olmasına neden olur. Bu durumda downstream tablo şemasını manuel olarak ayarlamanız gerekir.

Kod örnekleri

Aşağıdaki örneklerde yaygın senaryolar için yapılandırmalar gösterilmektedir.

Tek bir tabloyu eşzamanlama

Tek bir MySQL tablosunu StarRocks'a eşzamanlayın. Hedef veritabanı ve tablo yoksa bağlayıcı otomatik olarak bir birincil anahtar tablosu oluşturur.

pipeline:
          name: MySQL to StarRocks Pipeline
      source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.test_source_table
        server-id: 5401-5499
        # (Optional) Synchronize data from newly added tables during the incremental phase without restarting the job.
        scan.binlog.newly-added-table.enabled: true
        # (Optional) Synchronize table and column comments to the destination.
        include-comments.enabled: true
        # (Optional) Deserialize binlogs only for captured tables to improve read performance.
        scan.only.deserialize.captured.tables.changelog.enabled: true
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
       
        # (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
        sink.buffer-flush.interval-ms: 5000
        # (Optional) If the upstream character set is utf8mb4, set this parameter to 4 to prevent text truncation. Default: 3.
        unicode-char.max-bytes: 4
        # (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7. Later versions can infer the value automatically.
        table.create.num-buckets: 8
        # (Optional) The number of replicas for automatically created tables. Configure this value based on your cluster.
        table.create.properties.replication_num: 3
        # (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
        table.create.properties.fast_schema_evolution: true
        # Note: If you use a transform to change the primary key, you must also set sink.ignore.update-before: false.
        # Otherwise, rows associated with the old primary key remain in the destination.
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Tüm bir veritabanını eşzamanlama

Bir MySQL veritabanındaki tüm tabloları aynı anda StarRocks'a eşzamanlayın. Bağlayıcı hedef veritabanını ve birincil anahtar tablolarını otomatik olarak oluşturur. Bu nedenle her tabloyu önceden oluşturmanız gerekmez.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        # Use a regular expression to match all tables in the database. To match multiple databases, separate patterns with commas.
        tables: test_db.\.*
        server-id: 5401-5499
        # (Optional) Synchronize data from newly added tables during the incremental phase without restarting the job.
        scan.binlog.newly-added-table.enabled: true
        # (Optional) Synchronize table and column comments to the destination.
        include-comments.enabled: true
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
        sink.buffer-flush.interval-ms: 5000
        # (Optional) If the upstream character set is utf8mb4, set this parameter to 4 to prevent text truncation. Default: 3.
        unicode-char.max-bytes: 4
        # (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7. Later versions can infer the value automatically.
        table.create.num-buckets: 8
        # (Optional) The number of replicas for automatically created tables. Configure this value based on your cluster.
        table.create.properties.replication_num: 3
        # (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
        table.create.properties.fast_schema_evolution: true
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Tam veritabanı eşzamanlaması sırasında belirli tabloları hariç tutma

Tüm bir veritabanını eşzamanlarken geçici veya hassas tablolar gibi hedefe eşzamanlamak istemediğiniz tabloları atlamak için düzenli ifade kullanın.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.\.*
        # Tables that match this regular expression are not synchronized.
        tables.exclude: test_db.tmp_.\*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Optional) The load interface version. V2 requires StarRocks 2.4 or later. For EMR Serverless StarRocks, use V1 if streaming issues occur.
        sink.version: V2
        # (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
        sink.buffer-flush.interval-ms: 5000
        # (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7.
        table.create.num-buckets: 8
        # (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
        table.create.properties.fast_schema_evolution: true
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Belirtilen veritabanlarına ve tablolara eşzamanlama

Hedef StarRocks veritabanı veya tablo adının upstream adından farklı olması gerekiyorsa (örneğin bir ODS katmanı veritabanına yazarken) yeniden adlandırmak için bir rota kullanın.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.\.*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
        sink.buffer-flush.interval-ms: 5000
        # (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7.
        table.create.num-buckets: 8
      
      route:
        # Synchronize all tables in the MySQL test_db database to the StarRocks test_db2 database without changing table names.
        # <> is a placeholder that is replaced by the matched source table name.
        - source-table: test_db.\.*
          sink-table: test_db2.<>
          replace-symbol: <>
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Shard edilmiş tabloları birleştirme

Birleşik sorgulama ve analitik için aynı şemaya sahip birden çok shard edilmiş tabloyu tek bir StarRocks tablosunda birleştirin.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        # Match all sharded tables, such as user_0 and user_1.
        tables: test_db.user\.*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
        sink.buffer-flush.interval-ms: 5000
        # (Optional) For merged tables, explicitly specify the number of buckets based on the total data volume.
        table.create.num-buckets: 8
      
      route:
        # Merge all sharded tables into the StarRocks test_db.user table.
        - source-table: test_db.user\.*
          sink-table: test_db.user
      
      pipeline:
        name: MySQL to StarRocks Pipeline

EVOLVE modunu etkinleştirme

Varsayılan olarak LENIENT modu bir sütun silme, tablo silme veya tabloyu kısaltma (truncate) gibi şema değişikliklerini hedefe eşzamanlamaz. Katı şema eşzamanlaması gerekiyorsa EVOLVE modunu etkinleştirin. Bu modun önemli sınırlamaları vardır. Kullanmadan önce aşağıdaki notları inceleyin.

Sınırlamalar ve kullanım notları

  • Sütun yeniden adlandırma desteklenmez. Upstream'te bir sütun yeniden adlandırma olayı oluşursa iş başarısız olur.

  • Bir sütun veya tablo silme ya da tabloyu kısaltma (truncate) hedefe uygulanır. Yanlışlıkla gerçekleşen bir upstream işlemi hedef tabloyu doğrudan etkiler. Varsayılan LENIENT modu drop-table veya truncate-table olaylarını eşzamanlamadığı için daha güvenlidir.

  • İşi durumsuz olarak yeniden başlatır ve hedef tabloyu silmezseniz upstream ile hedef şeması uyuşmazlığı işin başarısız olmasına neden olabilir. Downstream tablo şemasını manuel olarak ayarlamanız gerekir.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.test_source_table
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
      
      pipeline:
        name: MySQL to StarRocks Pipeline
        # Enable EVOLVE mode to strictly synchronize schema changes. The job fails on unsupported changes, such as column renaming.
        schema.change.behavior: evolve