All Products
Search
Document Center

Realtime Compute for Apache Flink:Konektor StarRocks YAML

Last Updated:Sep 24, 2026

Topik ini menjelaskan cara menggunakan konektor StarRocks untuk menyinkronkan data dalam pekerjaan ingesti data berbasis YAML.

Latar Belakang

StarRocks adalah gudang data MPP (Massively Parallel Processing) yang dirancang untuk analitik real-time. StarRocks kompatibel dengan protokol MySQL, menggunakan arsitektur terdistribusi, serta mendukung penskalaan klaster elastis dan komputasi paralel. Konektor StarRocks YAML menulis catatan data hulu dan perubahan skema ke StarRocks, serta mendukung edisi komunitas StarRocks maupun EMR Serverless StarRocks yang dikelola sepenuhnya dari Alibaba Cloud. Tabel berikut menjelaskan fitur yang didukung oleh konektor StarRocks YAML.

Kategori

Deskripsi

Jenis yang didukung

Sink ingesti data

Mode eksekusi

mode streaming dan mode batch

Format data

JSON

Metrik khusus konektor

Tidak ada

Jenis API

YAML

Dukungan untuk pembaruan/penghapusan di tabel sink

Ya

Catatan

Konektor YAML saat ini hanya mendukung semantik at-least-once. Meskipun Anda secara eksplisit mengatur sink.semantic: exactly-once, nilainya akan ditimpa menjadi at-least-once tanpa menampilkan error. Untuk semantik exactly-once, lihat konektor StarRocks SQL.

Fitur

  • Pembuatan database dan tabel otomatis.

    Jika database atau tabel hulu tidak ada di instans StarRocks hilir, konektor akan membuatnya secara otomatis. Anda dapat menggunakan parameter table.create.properties.* untuk mengonfigurasi opsi pembuatan tabel otomatis.

  • Sinkronisasi perubahan skema.

    Konektor StarRocks secara otomatis menerapkan event CreateTableEvent, AddColumnEvent, dan DropColumnEvent ke database hilir.

  • VVR 11.1 dan versi lebih baru mendukung perubahan tipe kolom yang kompatibel. Untuk informasi selengkapnya, lihat ALTER TABLE | StarRocks.

Catatan penggunaan

  • Setiap tabel yang disinkronkan harus memiliki kunci primer. Untuk tabel tanpa kunci primer, Anda harus menentukannya di blok transform agar data dapat ditulis ke hilir. Contohnya:

    transform:
      - source-table: ...
        primary-keys: id, ...
  • Untuk tabel yang dibuat secara otomatis, kunci bucket sama dengan kunci primer, dan tabel tidak boleh memiliki kunci partisi.

  • Saat menyinkronkan perubahan skema, kolom baru hanya dapat ditambahkan di akhir kolom yang sudah ada. Dalam mode perubahan skema Lenient bawaan, penyisipan di posisi lain secara otomatis dipindahkan ke akhir.

  • Jika Anda menggunakan versi StarRocks sebelum 2.5.7, Anda harus secara eksplisit menentukan jumlah bucket dengan parameter table.create.num-buckets. StarRocks 2.5.7 dan versi lebih baru dapat secara otomatis menentukan jumlah bucket yang sesuai.

  • Jika Anda menggunakan StarRocks 3.2 atau versi lebih baru, kami menyarankan Anda mengaktifkan opsi table.create.properties.fast_schema_evolution untuk mempercepat perubahan skema.

  • Jika Anda menggunakan Ververica Runtime (VVR) 11.9 atau versi lebih baru dan StarRocks 3.3.2 atau versi lebih baru, Anda dapat menyinkronkan event penggantian nama kolom hulu ke tabel hilir.

  • Masalah streaming dapat terjadi saat Anda menggunakan CDC YAML untuk ingesti data ke EMR Serverless StarRocks. Anda dapat menggunakan salah satu solusi berikut:

    • Gunakan konektor StarRocks Flink SQL dan atur parameter sink.version=V1.

    • Aktifkan parameter FE emr_internal_redirect.

    • Gunakan nama domain StarRocks Private Zone alih-alih SLB.

Sintaks

source:
  ...

sink:
  type: starrocks
  name: StarRocks Sink
  jdbc-url: jdbc:mysql://127.0.0.1:9030
  load-url: 127.0.0.1:8030
  username: root
  password: pass
  sink.buffer-flush.interval-ms: 5000   # Atur interval flush data.

Konfigurasi

Parameter

Deskripsi

Tipe

Wajib

Bawaan

Keterangan

type

Menentukan jenis konektor sink.

String

Ya

—

Atur ke starrocks.

name

Nama tampilan sink.

String

Tidak

—

—

jdbc-url

URL JDBC untuk koneksi database.

String

Ya

—

Mendukung beberapa alamat yang dipisahkan koma (,). Contoh: jdbc:mysql://fe_host1:fe_query_port1,fe_host2:fe_query_port2,fe_host3:fe_query_port3.

load-url

URL HTTP node FE untuk Stream Load.

String

Ya

—

Mendukung beberapa alamat yang dipisahkan titik koma (;). Contoh: fe_host1:fe_http_port1;fe_host2:fe_http_port2.

username

Username untuk koneksi StarRocks.

String

Ya

—

User ini harus memiliki izin SELECT dan INSERT minimal pada tabel target. Anda dapat memberikan izin yang diperlukan dengan perintah StarRocks GRANT.

password

Password untuk koneksi StarRocks.

String

Ya

—

—

sink.semantic

Semantik pengiriman untuk penulisan data.

String

Tidak

at-least-once

Hanya at-least-once yang didukung. Mengatur parameter ini secara eksplisit ke exactly-once tidak menyebabkan error, tetapi nilainya secara otomatis diatur ulang ke at-least-once. Untuk menggunakan semantik exactly-once, gunakan konektor StarRocks Flink SQL. Untuk informasi selengkapnya, lihat bagian SQL pada topik ini.

sink.label-prefix

Awalan label untuk pekerjaan Stream Load.

String

Tidak

—

Nilai hanya boleh berisi huruf Inggris, angka, tanda hubung (-), dan garis bawah (_). Karakter lain dapat menyebabkan gagalnya proses load.

sink.connect.timeout-ms

Timeout untuk membuat koneksi HTTP.

Integer

Tidak

30000

Unit: milidetik. Nilai harus antara 100 dan 60000.

sink.wait-for-continue.timeout-ms

Timeout untuk menunggu respons 100 Continue dari server.

Integer

Tidak

30000

Unit: milidetik. Nilai harus antara 3000 dan 600000.

sink.buffer-flush.max-bytes

Ukuran maksimum cache di memori, dalam byte, sebelum flush dipicu.

Long

Tidak

94371840

Unit: byte. Nilai harus antara 64 MB dan 10 GB.

Catatan
  • Ukuran cache ini dibagi oleh semua tabel. Saat buffer penuh, konektor memilih beberapa tabel untuk di-flush.

  • Mengatur nilai yang lebih besar dapat meningkatkan throughput tetapi dapat meningkatkan latensi ingesti.

sink.buffer-flush.max-rows

Jumlah maksimum baris dalam cache di memori sebelum flush dipicu.

Long

Tidak

500000

Nilai harus antara 1.000 dan 5.000.000.

sink.buffer-flush.interval-ms

Interval waktu antar flush untuk buffer setiap tabel.

Long

Tidak

300000

Satuan: milidetik.

Catatan

Untuk pekerjaan yang menyinkronkan data dalam jumlah kecil, kurangi nilai ini untuk menghindari penundaan lama sebelum data dipersistensikan.

sink.max-retries

Jumlah maksimum percobaan ulang.

Long

Tidak

3

Nilai harus antara 0 dan 1000.

sink.scan-frequency.ms

Frekuensi konektor memeriksa apakah buffer perlu di-flush.

Long

Tidak

50

Unit: milidetik.

sink.io.thread-count

Jumlah thread yang digunakan untuk Stream Load.

Integer

Tidak

2

—

sink.at-least-once.use-transaction-stream-load

Menentukan apakah akan menggunakan antarmuka transaksi Stream Load untuk ingesti data.

Boolean

Tidak

true

Opsi ini hanya berlaku jika database mendukungnya.

sink.ignore.update-before

Menentukan apakah akan mengabaikan catatan update-before dalam operasi pembaruan.

Boolean

Tidak

true

Saat kunci primer diubah melalui modul Transform (misalnya, saat primary-keys menentukan kunci primer yang berbeda dari hulu), atur sink.ignore.update-before ke false. Jika tidak, baris yang sesuai dengan kunci primer lama tidak dihapus, sehingga menghasilkan data usang.

Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini.

sink.ignore.delete

Menentukan apakah akan mengabaikan catatan penghapusan.

Boolean

Tidak

false

Jika Anda mengatur parameter ini ke true, catatan penghapusan difilter dan tidak ditulis ke StarRocks. Gunakan pengaturan ini untuk menyimpan data historis di sink dan hanya menyinkronkan operasi insert dan update.

Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini.

sink.properties.*

Properti tambahan untuk sink.

String

Tidak

—

Untuk properti yang didukung, lihat STREAM LOAD.

table.create.num-buckets

Jumlah bucket untuk tabel yang dibuat secara otomatis.

Integer

Tidak

—

table.create.properties.*

Properti tambahan untuk pembuatan tabel otomatis.

String

Tidak

—

Sebagai contoh, Anda dapat mengirimkan 'table.create.properties.fast_schema_evolution' = 'true' untuk mengaktifkan perubahan skema cepat. Untuk detailnya, lihat dokumentasi StarRocks.

table.schema-change.timeout

Timeout untuk operasi perubahan skema.

Duration

Tidak

30 min

Harus berupa bilangan bulat dalam satuan detik.

Catatan

Jika operasi perubahan skema melebihi batas ini, pekerjaan akan gagal.

unicode-char.max-bytes

Jumlah byte yang dialokasikan untuk setiap karakter Unicode.

Integer

Tidak

3

Dalam CDC, panjang tipe VARCHAR diukur dalam karakter, sedangkan dalam StarRocks, panjang tipe VARCHAR diukur dalam byte.

Dalam kebanyakan kasus, karakter Unicode tidak melebihi 3 byte setelah dikodekan UTF-8. Namun, beberapa karakter langka dan simbol emoji dapat menempati 4 byte atau lebih.

sink.socket.time

Timeout klien HTTP untuk flushing data ke StarRocks.

Long

Tidak

-1

Timeout klien HTTP, dalam milidetik, untuk mengirim permintaan Stream Load saat data di-flush ke StarRocks. Nilai -1 menggunakan default sistem, artinya tidak ada timeout.

Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini.

sink.close.eof-timeout-ms

Timeout untuk menutup sink.

Long

Tidak

60000

Timeout, dalam milidetik, untuk menunggu antrian flush selesai saat pekerjaan ditutup. Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini.

Gunakan katalog bawaan

VVR 11.5 dan versi lebih baru memungkinkan Anda mereferensikan katalog StarRocks bawaan yang dibuat di halaman Data Management secara langsung dalam pekerjaan ingesti data Flink CDC. Hal ini menyederhanakan konfigurasi dengan mengurangi jumlah properti yang perlu Anda atur secara manual.

sink:
  type: starrocks
  using.built-in-catalog: starrocks_catalog

Pekerjaan ingesti data dapat secara otomatis menggunakan kembali opsi katalog StarRocks berikut:

  • jdbc-url

  • http-url

  • username

  • password

  • table.num-buckets

Untuk mengganti nilai-nilai ini, Anda dapat mengatur opsi YAML yang sesuai secara eksplisit, yang akan memiliki prioritas lebih tinggi.

Pemetaan tipe

Catatan

StarRocks tidak mendukung semua tipe CDC YAML. Menulis tipe yang tidak didukung ke sink menyebabkan pekerjaan gagal. Anda dapat menggunakan fungsi bawaan CAST dalam transform untuk mengonversi data yang tidak didukung, atau menggunakan pernyataan proyeksi untuk menghapusnya dari tabel hasil. Untuk informasi selengkapnya, lihat Mengembangkan pekerjaan ingesti data Flink CDC.

Tipe CDC

Tipe StarRocks

Keterangan

TINYINT

TINYINT

—

SMALLINT

SMALLINT

INT

INT

BIGINT

BIGINT

FLOAT

FLOAT

DOUBLE

DOUBLE

BOOLEAN

BOOLEAN

DATE

DATE

TIMESTAMP

DATETIME

TIMESTAMP_LTZ

DATETIME

DECIMAL(p, s)

DECIMAL(p, s)

Karena StarRocks tidak mendukung DECIMAL sebagai kunci primer, konektor secara otomatis mengonversi kolom kunci primer DECIMAL hulu menjadi VARCHAR dalam skema StarRocks yang disinkronkan.

CHAR(n)

(n <= 85)

CHAR(n × 3)

CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte.

Catatan

Panjang maksimum tipe CHAR StarRocks adalah 255. Oleh karena itu, hanya tipe CHAR CDC dengan panjang hingga 85 yang dipetakan ke tipe CHAR StarRocks.

Catatan

Anda dapat mengatur parameter unicode-char.max-bytes untuk mengalokasikan lebih banyak byte untuk setiap karakter Unicode.

CHAR(n)

(n > 85)

VARCHAR(n × 3)

CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte.

Catatan

CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3. Karena hasilnya melebihi batas 255 byte untuk tipe CHAR StarRocks, maka dipetakan ke VARCHAR.

Catatan

Anda dapat mengatur parameter unicode-char.max-bytes untuk mengalokasikan lebih banyak byte untuk setiap karakter Unicode.

VARCHAR(n)

VARCHAR(n × 3)

CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte.

Catatan

Anda dapat mengatur parameter unicode-char.max-bytes untuk mengalokasikan lebih banyak byte untuk setiap karakter Unicode.

BINARY(n)

BINARY(n+2)

Dua byte padding ditambahkan untuk memastikan integritas data.

VARBINARY(n)

VARBINARY(n+1)

Satu byte padding ditambahkan untuk memastikan integritas data.

Perubahan skema

Pekerjaan pipeline CDC YAML menggunakan strategi berbeda untuk menangani perubahan skema, yang dapat dikonfigurasi dengan parameter tingkat pipeline schema.change.behavior. Nilai yang valid adalah IGNORE, LENIENT, TRY_EVOLVE, EVOLVE, dan EXCEPTION. Nilai bawaan: LENIENT. Apakah suatu event diterapkan juga dipengaruhi oleh parameter sink include.schema.changes dan exclude.schema.changes.

Strategi LENIENT dan EVOLVE melibatkan perubahan skema. Bagian berikut menjelaskan cara menangani berbagai event perubahan skema.

Catatan

Deskripsi berikut berlaku untuk sinkronisasi satu-ke-satu reguler. Untuk routing banyak-ke-satu, skema gabungan diturunkan terlebih dahulu dan event kemudian dinormalisasi. Jangan mengasumsikan bahwa operasi drop pada tabel shard apa pun secara langsung menjatuhkan tabel tujuan gabungan.

Event yang didukung

  • CREATE TABLE EVENT

    Catatan

    Jika tabel StarRocks hilir sudah ada, konektor tidak mencoba membuatnya lagi. Pastikan skema tabel hilir kompatibel dengan skema hulu.

  • ADD COLUMN EVENT

    Catatan

    StarRocks mengharuskan kolom kunci primer muncul di awal tabel. Kolom baru apa pun harus ditambahkan setelahnya.

  • RENAME COLUMN EVENT

    Catatan

    Membutuhkan Ververica Runtime (VVR) 11.9 atau versi lebih baru, dan StarRocks 3.3.2 atau versi lebih baru.

  • DROP COLUMN EVENT

  • TRUNCATE TABLE EVENT

  • DROP TABLE EVENT

LENIENT (bawaan)

Dalam mode LENIENT, perubahan skema ditangani sebagai berikut:

  • Menambahkan kolom nullable: Kolom yang sesuai secara otomatis ditambahkan di akhir skema tabel sink, dan data kolom baru disinkronkan secara otomatis.

  • Menambahkan kolom non-nullable: Kolom yang sesuai secara otomatis ditambahkan di akhir skema tabel sink dan diatur menjadi nullable. Untuk data yang sudah ada sebelum kolom ditambahkan, nilainya secara otomatis diatur ke NULL.

  • Menghapus kolom: Kolom tidak dihapus dari tabel sink. Jika kolom asli bersifat non-nullable, maka diubah menjadi nullable. Jika sudah nullable, tidak ada perubahan yang dilakukan.

  • Mengganti nama kolom: Operasi ini diperlakukan sebagai penambahan kolom baru sambil mempertahankan kolom lama. Kolom yang diganti namanya dan bersifat nullable ditambahkan di akhir tabel sink. Jika kolom asli bersifat non-nullable, maka diubah menjadi nullable.

  • Mengubah urutan kolom: Diabaikan. Perubahan tidak disinkronkan ke tabel hilir.

  • Mengubah tipe kolom: Tidak secara otomatis diabaikan oleh mode LENIENT. Perubahan tetap diteruskan ke StarRocks, dan hanya jalur perubahan yang kompatibel yang didukung. Untuk jalur yang diizinkan, lihat ALTER TABLE. Untuk VVR 11.1 dan versi lebih baru, cakupan yang didukung tetap sama seperti yang dijelaskan dalam dokumentasi yang ada.

  • Menghapus tabel atau memotong tabel: Diexklusi secara bawaan. Perubahan tidak disinkronkan ke hilir.

Penting

Mengecualikan event drop-table dan truncate-table secara bawaan adalah entri default yang ditambahkan parser YAML saat exclude.schema.changes tidak dikonfigurasi. Ini bukan perlindungan tanpa syarat. Secara eksplisit mengonfigurasi daftar eksklusi, termasuk daftar kosong, menggantikan dua eksklusi default ini, jadi pertahankan event yang ingin Anda larang. LENIENT juga tidak menjamin bahwa eksekusi DDL yang gagal diabaikan.

EVOLVE

Dalam mode EVOLVE, perubahan skema ditangani sebagai berikut:

  • Menambahkan kolom: Didukung. Pelaksana StarRocks mengabaikan posisi penyisipan hulu dan menambahkan kolom di akhir kolom yang sudah ada.

  • Menghapus kolom: Didukung. Kolom benar-benar dihapus dari tabel sink.

  • Mengganti nama kolom: Didukung (membutuhkan StarRocks 3.3.2 atau versi lebih baru). Nama kolom hilir diubah.

  • Mengubah tipe kolom: Didukung. Hanya jalur perubahan yang kompatibel yang didukung.

  • Mengubah urutan kolom: Didukung. Kolom kunci primer tetap harus berada di awal dan mempertahankan urutan aslinya.

  • Menghapus tabel atau memotong tabel: Benar-benar dieksekusi ketika event tidak diexklusi.

Peringatan

Dalam mode EVOLVE, jika Anda melakukan restart tanpa status tanpa menghapus tabel sink, data hulu dan skema tabel sink mungkin menjadi tidak konsisten, yang menyebabkan pekerjaan gagal. Anda harus menyesuaikan skema tabel hilir secara manual.

Contoh kode

Contoh berikut menunjukkan konfigurasi untuk skenario umum.

Sinkronisasi satu tabel

Sinkronkan satu tabel MySQL ke StarRocks. Jika database dan tabel tujuan tidak ada, konektor secara otomatis membuat tabel kunci primer.

pipeline:
          name: MySQL to StarRocks Pipeline
      source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.test_source_table
        server-id: 5401-5499
        # (Opsional) Sinkronkan data dari tabel yang baru ditambahkan selama fase inkremental tanpa me-restart pekerjaan.
        scan.binlog.newly-added-table.enabled: true
        # (Opsional) Sinkronkan komentar tabel dan kolom ke tujuan.
        include-comments.enabled: true
        # (Opsional) Hanya deserialisasi binlog untuk tabel yang ditangkap untuk meningkatkan performa baca.
        scan.only.deserialize.captured.tables.changelog.enabled: true
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
       
        # (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
        sink.buffer-flush.interval-ms: 5000
        # (Opsional) Jika set karakter hulu adalah utf8mb4, atur parameter ini ke 4 untuk mencegah pemotongan teks. Bawaan: 3.
        unicode-char.max-bytes: 4
        # (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7. Versi yang lebih baru dapat menginferensi nilai secara otomatis.
        table.create.num-buckets: 8
        # (Opsional) Jumlah replika untuk tabel yang dibuat secara otomatis. Konfigurasikan nilai ini berdasarkan klaster Anda.
        table.create.properties.replication_num: 3
        # (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
        table.create.properties.fast_schema_evolution: true
        # Catatan: Jika Anda menggunakan transform untuk mengubah kunci primer, Anda juga harus mengatur sink.ignore.update-before: false.
        # Jika tidak, baris yang terkait dengan kunci primer lama tetap ada di tujuan.
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Sinkronisasi seluruh database

Sinkronkan semua tabel dalam database MySQL ke StarRocks secara bersamaan. Konektor secara otomatis membuat database tujuan dan tabel kunci primer, sehingga Anda tidak perlu membuat setiap tabel terlebih dahulu.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        # Gunakan ekspresi reguler untuk mencocokkan semua tabel dalam database. Untuk mencocokkan beberapa database, pisahkan pola dengan koma.
        tables: test_db.\.*
        server-id: 5401-5499
        # (Opsional) Sinkronkan data dari tabel yang baru ditambahkan selama fase inkremental tanpa me-restart pekerjaan.
        scan.binlog.newly-added-table.enabled: true
        # (Opsional) Sinkronkan komentar tabel dan kolom ke tujuan.
        include-comments.enabled: true
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
        sink.buffer-flush.interval-ms: 5000
        # (Opsional) Jika set karakter hulu adalah utf8mb4, atur parameter ini ke 4 untuk mencegah pemotongan teks. Bawaan: 3.
        unicode-char.max-bytes: 4
        # (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7. Versi yang lebih baru dapat menginferensi nilai secara otomatis.
        table.create.num-buckets: 8
        # (Opsional) Jumlah replika untuk tabel yang dibuat secara otomatis. Konfigurasikan nilai ini berdasarkan klaster Anda.
        table.create.properties.replication_num: 3
        # (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
        table.create.properties.fast_schema_evolution: true
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Mengecualikan tabel tertentu saat sinkronisasi seluruh database

Saat menyinkronkan seluruh database, gunakan ekspresi reguler untuk melewati tabel yang tidak ingin Anda sinkronkan ke tujuan, seperti tabel temporary atau sensitif.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.\.*
        # Tabel yang cocok dengan ekspresi reguler ini tidak disinkronkan.
        tables.exclude: test_db.tmp_.\*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Opsional) Versi antarmuka load. V2 membutuhkan StarRocks 2.4 atau versi lebih baru. Untuk EMR Serverless StarRocks, gunakan V1 jika terjadi masalah streaming.
        sink.version: V2
        # (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
        sink.buffer-flush.interval-ms: 5000
        # (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7.
        table.create.num-buckets: 8
        # (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
        table.create.properties.fast_schema_evolution: true
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Sinkronisasi ke database dan tabel tertentu

Jika nama database atau tabel StarRocks tujuan harus berbeda dari nama hulu, seperti saat menulis ke database lapisan ODS, gunakan route untuk mengganti namanya.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.\.*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
        sink.buffer-flush.interval-ms: 5000
        # (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7.
        table.create.num-buckets: 8
      
      route:
        # Sinkronkan semua tabel dalam database test_db MySQL ke database test_db2 StarRocks tanpa mengubah nama tabel.
        # <> adalah placeholder yang diganti dengan nama tabel sumber yang cocok.
        - source-table: test_db.\.*
          sink-table: test_db2.<>
          replace-symbol: <>
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Gabungkan tabel terpartisi

Gabungkan beberapa tabel terpartisi dengan skema identik menjadi satu tabel StarRocks untuk kueri dan analitik terpadu.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        # Cocokkan semua tabel terpartisi, seperti user_0 dan user_1.
        tables: test_db.user\.*
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
        # (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
        sink.buffer-flush.interval-ms: 5000
        # (Opsional) Untuk tabel gabungan, tentukan jumlah bucket secara eksplisit berdasarkan volume data total.
        table.create.num-buckets: 8
      
      route:
        # Gabungkan semua tabel terpartisi ke tabel StarRocks test_db.user.
        - source-table: test_db.user\.*
          sink-table: test_db.user
      
      pipeline:
        name: MySQL to StarRocks Pipeline

Aktifkan mode EVOLVE

Secara bawaan, mode LENIENT tidak menyinkronkan perubahan skema seperti menghapus kolom, menghapus tabel, atau memotong tabel ke tujuan. Jika Anda memerlukan sinkronisasi skema yang ketat, aktifkan mode EVOLVE. Mode ini memiliki batasan signifikan, jadi tinjau catatan berikut sebelum menggunakannya.

Batasan dan catatan penggunaan

  • Penggantian nama kolom tidak didukung. Pekerjaan gagal jika terjadi event penggantian nama kolom hulu.

  • Menghapus kolom atau tabel, atau memotong tabel, diterapkan ke tujuan. Operasi hulu yang tidak disengaja secara langsung memengaruhi tabel tujuan. Mode LENIENT bawaan lebih aman karena tidak menyinkronkan event drop-table atau truncate-table.

  • Jika Anda me-restart pekerjaan tanpa state dan tidak menghapus tabel sink, ketidaksesuaian skema hulu dan sink dapat menyebabkan pekerjaan gagal. Anda harus menyesuaikan skema tabel hilir secara manual.

source:
        type: mysql
        name: MySQL Source
        hostname: <yourHostname>
        port: 3306
        username: <yourUsername>
        password: ${secret_values.mysql_password}
        tables: test_db.test_source_table
        server-id: 5401-5499
      
      sink:
        type: starrocks
        name: StarRocks Sink
        jdbc-url: jdbc:mysql://<yourFeHostname>:9030
        load-url: <yourFeHostname>:8030
        username: <yourUsername>
        password: ${secret_values.starrocks_password}
      
      pipeline:
        name: MySQL to StarRocks Pipeline
        # Aktifkan mode EVOLVE untuk menyinkronkan perubahan skema secara ketat. Pekerjaan gagal pada perubahan yang tidak didukung, seperti penggantian nama kolom.
        schema.change.behavior: evolve