Topik ini menjelaskan cara menggunakan konektor StarRocks untuk menyinkronkan data dalam pekerjaan ingesti data berbasis YAML.
Latar Belakang
StarRocks adalah gudang data MPP (Massively Parallel Processing) yang dirancang untuk analitik real-time. StarRocks kompatibel dengan protokol MySQL, menggunakan arsitektur terdistribusi, serta mendukung penskalaan klaster elastis dan komputasi paralel. Konektor StarRocks YAML menulis catatan data hulu dan perubahan skema ke StarRocks, serta mendukung edisi komunitas StarRocks maupun EMR Serverless StarRocks yang dikelola sepenuhnya dari Alibaba Cloud. Tabel berikut menjelaskan fitur yang didukung oleh konektor StarRocks YAML.
|
Kategori |
Deskripsi |
|
Jenis yang didukung |
Sink ingesti data |
|
Mode eksekusi |
mode streaming dan mode batch |
|
Format data |
JSON |
|
Metrik khusus konektor |
Tidak ada |
|
Jenis API |
YAML |
|
Dukungan untuk pembaruan/penghapusan di tabel sink |
Ya |
Konektor YAML saat ini hanya mendukung semantik at-least-once. Meskipun Anda secara eksplisit mengatur sink.semantic: exactly-once, nilainya akan ditimpa menjadi at-least-once tanpa menampilkan error. Untuk semantik exactly-once, lihat konektor StarRocks SQL.
Fitur
-
Pembuatan database dan tabel otomatis.
Jika database atau tabel hulu tidak ada di instans StarRocks hilir, konektor akan membuatnya secara otomatis. Anda dapat menggunakan parameter
table.create.properties.*untuk mengonfigurasi opsi pembuatan tabel otomatis. -
Sinkronisasi perubahan skema.
Konektor StarRocks secara otomatis menerapkan event CreateTableEvent, AddColumnEvent, dan DropColumnEvent ke database hilir.
-
VVR 11.1 dan versi lebih baru mendukung perubahan tipe kolom yang kompatibel. Untuk informasi selengkapnya, lihat ALTER TABLE | StarRocks.
Catatan penggunaan
-
Setiap tabel yang disinkronkan harus memiliki kunci primer. Untuk tabel tanpa kunci primer, Anda harus menentukannya di blok
transformagar data dapat ditulis ke hilir. Contohnya:transform: - source-table: ... primary-keys: id, ... -
Untuk tabel yang dibuat secara otomatis, kunci bucket sama dengan kunci primer, dan tabel tidak boleh memiliki kunci partisi.
-
Saat menyinkronkan perubahan skema, kolom baru hanya dapat ditambahkan di akhir kolom yang sudah ada. Dalam mode perubahan skema Lenient bawaan, penyisipan di posisi lain secara otomatis dipindahkan ke akhir.
-
Jika Anda menggunakan versi StarRocks sebelum 2.5.7, Anda harus secara eksplisit menentukan jumlah bucket dengan parameter
table.create.num-buckets. StarRocks 2.5.7 dan versi lebih baru dapat secara otomatis menentukan jumlah bucket yang sesuai. -
Jika Anda menggunakan StarRocks 3.2 atau versi lebih baru, kami menyarankan Anda mengaktifkan opsi
table.create.properties.fast_schema_evolutionuntuk mempercepat perubahan skema. -
Jika Anda menggunakan Ververica Runtime (VVR) 11.9 atau versi lebih baru dan StarRocks 3.3.2 atau versi lebih baru, Anda dapat menyinkronkan event penggantian nama kolom hulu ke tabel hilir.
-
Masalah streaming dapat terjadi saat Anda menggunakan CDC YAML untuk ingesti data ke EMR Serverless StarRocks. Anda dapat menggunakan salah satu solusi berikut:
-
Gunakan konektor StarRocks Flink SQL dan atur parameter
sink.version=V1. -
Aktifkan parameter FE
emr_internal_redirect. -
Gunakan nama domain StarRocks Private Zone alih-alih SLB.
-
Sintaks
source:
...
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://127.0.0.1:9030
load-url: 127.0.0.1:8030
username: root
password: pass
sink.buffer-flush.interval-ms: 5000 # Atur interval flush data.
Konfigurasi
|
Parameter |
Deskripsi |
Tipe |
Wajib |
Bawaan |
Keterangan |
|
|
Menentukan jenis konektor sink. |
String |
Ya |
— |
Atur ke |
|
|
Nama tampilan sink. |
String |
Tidak |
— |
— |
|
|
URL JDBC untuk koneksi database. |
String |
Ya |
— |
Mendukung beberapa alamat yang dipisahkan koma ( |
|
|
URL HTTP node FE untuk Stream Load. |
String |
Ya |
— |
Mendukung beberapa alamat yang dipisahkan titik koma ( |
|
|
Username untuk koneksi StarRocks. |
String |
Ya |
— |
User ini harus memiliki izin SELECT dan INSERT minimal pada tabel target. Anda dapat memberikan izin yang diperlukan dengan perintah StarRocks GRANT. |
|
|
Password untuk koneksi StarRocks. |
String |
Ya |
— |
— |
|
|
Semantik pengiriman untuk penulisan data. |
String |
Tidak |
at-least-once |
Hanya |
|
|
Awalan label untuk pekerjaan Stream Load. |
String |
Tidak |
— |
Nilai hanya boleh berisi huruf Inggris, angka, tanda hubung ( |
|
|
Timeout untuk membuat koneksi HTTP. |
Integer |
Tidak |
30000 |
Unit: milidetik. Nilai harus antara 100 dan 60000. |
|
|
Timeout untuk menunggu respons 100 Continue dari server. |
Integer |
Tidak |
30000 |
Unit: milidetik. Nilai harus antara 3000 dan 600000. |
|
|
Ukuran maksimum cache di memori, dalam byte, sebelum flush dipicu. |
Long |
Tidak |
94371840 |
Unit: byte. Nilai harus antara 64 MB dan 10 GB. Catatan
|
|
|
Jumlah maksimum baris dalam cache di memori sebelum flush dipicu. |
Long |
Tidak |
500000 |
Nilai harus antara 1.000 dan 5.000.000. |
|
|
Interval waktu antar flush untuk buffer setiap tabel. |
Long |
Tidak |
300000 |
Satuan: milidetik. Catatan
Untuk pekerjaan yang menyinkronkan data dalam jumlah kecil, kurangi nilai ini untuk menghindari penundaan lama sebelum data dipersistensikan. |
|
|
Jumlah maksimum percobaan ulang. |
Long |
Tidak |
3 |
Nilai harus antara 0 dan 1000. |
|
|
Frekuensi konektor memeriksa apakah buffer perlu di-flush. |
Long |
Tidak |
50 |
Unit: milidetik. |
|
|
Jumlah thread yang digunakan untuk Stream Load. |
Integer |
Tidak |
2 |
— |
|
|
Menentukan apakah akan menggunakan antarmuka transaksi Stream Load untuk ingesti data. |
Boolean |
Tidak |
true |
Opsi ini hanya berlaku jika database mendukungnya. |
|
|
Menentukan apakah akan mengabaikan catatan update-before dalam operasi pembaruan. |
Boolean |
Tidak |
true |
Saat kunci primer diubah melalui modul Transform (misalnya, saat Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini. |
|
|
Menentukan apakah akan mengabaikan catatan penghapusan. |
Boolean |
Tidak |
false |
Jika Anda mengatur parameter ini ke Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini. |
|
|
Properti tambahan untuk sink. |
String |
Tidak |
— |
Untuk properti yang didukung, lihat STREAM LOAD. |
|
|
Jumlah bucket untuk tabel yang dibuat secara otomatis. |
Integer |
Tidak |
— |
|
|
|
Properti tambahan untuk pembuatan tabel otomatis. |
String |
Tidak |
— |
Sebagai contoh, Anda dapat mengirimkan |
|
|
Timeout untuk operasi perubahan skema. |
Duration |
Tidak |
30 min |
Harus berupa bilangan bulat dalam satuan detik. Catatan
Jika operasi perubahan skema melebihi batas ini, pekerjaan akan gagal. |
|
|
Jumlah byte yang dialokasikan untuk setiap karakter Unicode. |
Integer |
Tidak |
3 |
Dalam CDC, panjang tipe VARCHAR diukur dalam karakter, sedangkan dalam StarRocks, panjang tipe VARCHAR diukur dalam byte. Dalam kebanyakan kasus, karakter Unicode tidak melebihi 3 byte setelah dikodekan UTF-8. Namun, beberapa karakter langka dan simbol emoji dapat menempati 4 byte atau lebih. |
|
|
Timeout klien HTTP untuk flushing data ke StarRocks. |
Long |
Tidak |
-1 |
Timeout klien HTTP, dalam milidetik, untuk mengirim permintaan Stream Load saat data di-flush ke StarRocks. Nilai -1 menggunakan default sistem, artinya tidak ada timeout. Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini. |
|
|
Timeout untuk menutup sink. |
Long |
Tidak |
60000 |
Timeout, dalam milidetik, untuk menunggu antrian flush selesai saat pekerjaan ditutup. Hanya Ververica Runtime (VVR) 11.8 atau versi lebih baru yang mendukung parameter ini. |
Gunakan katalog bawaan
VVR 11.5 dan versi lebih baru memungkinkan Anda mereferensikan katalog StarRocks bawaan yang dibuat di halaman Data Management secara langsung dalam pekerjaan ingesti data Flink CDC. Hal ini menyederhanakan konfigurasi dengan mengurangi jumlah properti yang perlu Anda atur secara manual.
sink:
type: starrocks
using.built-in-catalog: starrocks_catalog
Pekerjaan ingesti data dapat secara otomatis menggunakan kembali opsi katalog StarRocks berikut:
-
jdbc-url
-
http-url
-
username
-
password
-
table.num-buckets
Untuk mengganti nilai-nilai ini, Anda dapat mengatur opsi YAML yang sesuai secara eksplisit, yang akan memiliki prioritas lebih tinggi.
Pemetaan tipe
StarRocks tidak mendukung semua tipe CDC YAML. Menulis tipe yang tidak didukung ke sink menyebabkan pekerjaan gagal. Anda dapat menggunakan fungsi bawaan CAST dalam transform untuk mengonversi data yang tidak didukung, atau menggunakan pernyataan proyeksi untuk menghapusnya dari tabel hasil. Untuk informasi selengkapnya, lihat Mengembangkan pekerjaan ingesti data Flink CDC.
|
Tipe CDC |
Tipe StarRocks |
Keterangan |
|
TINYINT |
TINYINT |
— |
|
SMALLINT |
SMALLINT |
|
|
INT |
INT |
|
|
BIGINT |
BIGINT |
|
|
FLOAT |
FLOAT |
|
|
DOUBLE |
DOUBLE |
|
|
BOOLEAN |
BOOLEAN |
|
|
DATE |
DATE |
|
|
TIMESTAMP |
DATETIME |
|
|
TIMESTAMP_LTZ |
DATETIME |
|
|
DECIMAL(p, s) |
DECIMAL(p, s) |
Karena StarRocks tidak mendukung DECIMAL sebagai kunci primer, konektor secara otomatis mengonversi kolom kunci primer DECIMAL hulu menjadi VARCHAR dalam skema StarRocks yang disinkronkan. |
|
CHAR(n) (n <= 85) |
CHAR(n × 3) |
CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte. Catatan
Panjang maksimum tipe CHAR StarRocks adalah 255. Oleh karena itu, hanya tipe CHAR CDC dengan panjang hingga 85 yang dipetakan ke tipe CHAR StarRocks. Catatan
Anda dapat mengatur parameter |
|
CHAR(n) (n > 85) |
VARCHAR(n × 3) |
CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte. Catatan
CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3. Karena hasilnya melebihi batas 255 byte untuk tipe CHAR StarRocks, maka dipetakan ke VARCHAR. Catatan
Anda dapat mengatur parameter |
|
VARCHAR(n) |
VARCHAR(n × 3) |
CDC mengukur panjang dalam karakter, sedangkan StarRocks menggunakan byte. Konektor mengalikan panjang dengan 3 untuk mengakomodasi karakter UTF-8 multi-byte. Catatan
Anda dapat mengatur parameter |
|
BINARY(n) |
BINARY(n+2) |
Dua byte padding ditambahkan untuk memastikan integritas data. |
|
VARBINARY(n) |
VARBINARY(n+1) |
Satu byte padding ditambahkan untuk memastikan integritas data. |
Perubahan skema
Pekerjaan pipeline CDC YAML menggunakan strategi berbeda untuk menangani perubahan skema, yang dapat dikonfigurasi dengan parameter tingkat pipeline schema.change.behavior. Nilai yang valid adalah IGNORE, LENIENT, TRY_EVOLVE, EVOLVE, dan EXCEPTION. Nilai bawaan: LENIENT. Apakah suatu event diterapkan juga dipengaruhi oleh parameter sink include.schema.changes dan exclude.schema.changes.
Strategi LENIENT dan EVOLVE melibatkan perubahan skema. Bagian berikut menjelaskan cara menangani berbagai event perubahan skema.
Deskripsi berikut berlaku untuk sinkronisasi satu-ke-satu reguler. Untuk routing banyak-ke-satu, skema gabungan diturunkan terlebih dahulu dan event kemudian dinormalisasi. Jangan mengasumsikan bahwa operasi drop pada tabel shard apa pun secara langsung menjatuhkan tabel tujuan gabungan.
Event yang didukung
-
CREATE TABLE EVENT
CatatanJika tabel StarRocks hilir sudah ada, konektor tidak mencoba membuatnya lagi. Pastikan skema tabel hilir kompatibel dengan skema hulu.
-
ADD COLUMN EVENT
CatatanStarRocks mengharuskan kolom kunci primer muncul di awal tabel. Kolom baru apa pun harus ditambahkan setelahnya.
-
ALTER COLUMN TYPE EVENT
CatatanUntuk jalur perubahan skema yang didukung, lihat dokumentasi resmi StarRocks.
-
RENAME COLUMN EVENT
CatatanMembutuhkan Ververica Runtime (VVR) 11.9 atau versi lebih baru, dan StarRocks 3.3.2 atau versi lebih baru.
-
DROP COLUMN EVENT
-
TRUNCATE TABLE EVENT
-
DROP TABLE EVENT
LENIENT (bawaan)
Dalam mode LENIENT, perubahan skema ditangani sebagai berikut:
-
Menambahkan kolom nullable: Kolom yang sesuai secara otomatis ditambahkan di akhir skema tabel sink, dan data kolom baru disinkronkan secara otomatis.
-
Menambahkan kolom non-nullable: Kolom yang sesuai secara otomatis ditambahkan di akhir skema tabel sink dan diatur menjadi nullable. Untuk data yang sudah ada sebelum kolom ditambahkan, nilainya secara otomatis diatur ke NULL.
-
Menghapus kolom: Kolom tidak dihapus dari tabel sink. Jika kolom asli bersifat non-nullable, maka diubah menjadi nullable. Jika sudah nullable, tidak ada perubahan yang dilakukan.
-
Mengganti nama kolom: Operasi ini diperlakukan sebagai penambahan kolom baru sambil mempertahankan kolom lama. Kolom yang diganti namanya dan bersifat nullable ditambahkan di akhir tabel sink. Jika kolom asli bersifat non-nullable, maka diubah menjadi nullable.
-
Mengubah urutan kolom: Diabaikan. Perubahan tidak disinkronkan ke tabel hilir.
-
Mengubah tipe kolom: Tidak secara otomatis diabaikan oleh mode LENIENT. Perubahan tetap diteruskan ke StarRocks, dan hanya jalur perubahan yang kompatibel yang didukung. Untuk jalur yang diizinkan, lihat ALTER TABLE. Untuk VVR 11.1 dan versi lebih baru, cakupan yang didukung tetap sama seperti yang dijelaskan dalam dokumentasi yang ada.
-
Menghapus tabel atau memotong tabel: Diexklusi secara bawaan. Perubahan tidak disinkronkan ke hilir.
Mengecualikan event drop-table dan truncate-table secara bawaan adalah entri default yang ditambahkan parser YAML saat exclude.schema.changes tidak dikonfigurasi. Ini bukan perlindungan tanpa syarat. Secara eksplisit mengonfigurasi daftar eksklusi, termasuk daftar kosong, menggantikan dua eksklusi default ini, jadi pertahankan event yang ingin Anda larang. LENIENT juga tidak menjamin bahwa eksekusi DDL yang gagal diabaikan.
EVOLVE
Dalam mode EVOLVE, perubahan skema ditangani sebagai berikut:
-
Menambahkan kolom: Didukung. Pelaksana StarRocks mengabaikan posisi penyisipan hulu dan menambahkan kolom di akhir kolom yang sudah ada.
-
Menghapus kolom: Didukung. Kolom benar-benar dihapus dari tabel sink.
-
Mengganti nama kolom: Didukung (membutuhkan StarRocks 3.3.2 atau versi lebih baru). Nama kolom hilir diubah.
-
Mengubah tipe kolom: Didukung. Hanya jalur perubahan yang kompatibel yang didukung.
-
Mengubah urutan kolom: Didukung. Kolom kunci primer tetap harus berada di awal dan mempertahankan urutan aslinya.
-
Menghapus tabel atau memotong tabel: Benar-benar dieksekusi ketika event tidak diexklusi.
Dalam mode EVOLVE, jika Anda melakukan restart tanpa status tanpa menghapus tabel sink, data hulu dan skema tabel sink mungkin menjadi tidak konsisten, yang menyebabkan pekerjaan gagal. Anda harus menyesuaikan skema tabel hilir secara manual.
Contoh kode
Contoh berikut menunjukkan konfigurasi untuk skenario umum.
Sinkronisasi satu tabel
Sinkronkan satu tabel MySQL ke StarRocks. Jika database dan tabel tujuan tidak ada, konektor secara otomatis membuat tabel kunci primer.
pipeline:
name: MySQL to StarRocks Pipeline
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.test_source_table
server-id: 5401-5499
# (Opsional) Sinkronkan data dari tabel yang baru ditambahkan selama fase inkremental tanpa me-restart pekerjaan.
scan.binlog.newly-added-table.enabled: true
# (Opsional) Sinkronkan komentar tabel dan kolom ke tujuan.
include-comments.enabled: true
# (Opsional) Hanya deserialisasi binlog untuk tabel yang ditangkap untuk meningkatkan performa baca.
scan.only.deserialize.captured.tables.changelog.enabled: true
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
sink.buffer-flush.interval-ms: 5000
# (Opsional) Jika set karakter hulu adalah utf8mb4, atur parameter ini ke 4 untuk mencegah pemotongan teks. Bawaan: 3.
unicode-char.max-bytes: 4
# (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7. Versi yang lebih baru dapat menginferensi nilai secara otomatis.
table.create.num-buckets: 8
# (Opsional) Jumlah replika untuk tabel yang dibuat secara otomatis. Konfigurasikan nilai ini berdasarkan klaster Anda.
table.create.properties.replication_num: 3
# (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
table.create.properties.fast_schema_evolution: true
# Catatan: Jika Anda menggunakan transform untuk mengubah kunci primer, Anda juga harus mengatur sink.ignore.update-before: false.
# Jika tidak, baris yang terkait dengan kunci primer lama tetap ada di tujuan.
pipeline:
name: MySQL to StarRocks Pipeline
Sinkronisasi seluruh database
Sinkronkan semua tabel dalam database MySQL ke StarRocks secara bersamaan. Konektor secara otomatis membuat database tujuan dan tabel kunci primer, sehingga Anda tidak perlu membuat setiap tabel terlebih dahulu.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
# Gunakan ekspresi reguler untuk mencocokkan semua tabel dalam database. Untuk mencocokkan beberapa database, pisahkan pola dengan koma.
tables: test_db.\.*
server-id: 5401-5499
# (Opsional) Sinkronkan data dari tabel yang baru ditambahkan selama fase inkremental tanpa me-restart pekerjaan.
scan.binlog.newly-added-table.enabled: true
# (Opsional) Sinkronkan komentar tabel dan kolom ke tujuan.
include-comments.enabled: true
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
sink.buffer-flush.interval-ms: 5000
# (Opsional) Jika set karakter hulu adalah utf8mb4, atur parameter ini ke 4 untuk mencegah pemotongan teks. Bawaan: 3.
unicode-char.max-bytes: 4
# (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7. Versi yang lebih baru dapat menginferensi nilai secara otomatis.
table.create.num-buckets: 8
# (Opsional) Jumlah replika untuk tabel yang dibuat secara otomatis. Konfigurasikan nilai ini berdasarkan klaster Anda.
table.create.properties.replication_num: 3
# (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
table.create.properties.fast_schema_evolution: true
pipeline:
name: MySQL to StarRocks Pipeline
Mengecualikan tabel tertentu saat sinkronisasi seluruh database
Saat menyinkronkan seluruh database, gunakan ekspresi reguler untuk melewati tabel yang tidak ingin Anda sinkronkan ke tujuan, seperti tabel temporary atau sensitif.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.\.*
# Tabel yang cocok dengan ekspresi reguler ini tidak disinkronkan.
tables.exclude: test_db.tmp_.\*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Opsional) Versi antarmuka load. V2 membutuhkan StarRocks 2.4 atau versi lebih baru. Untuk EMR Serverless StarRocks, gunakan V1 jika terjadi masalah streaming.
sink.version: V2
# (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
sink.buffer-flush.interval-ms: 5000
# (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7.
table.create.num-buckets: 8
# (Opsional) Untuk StarRocks 3.2 dan versi lebih baru, aktifkan opsi ini untuk mempercepat perubahan skema.
table.create.properties.fast_schema_evolution: true
pipeline:
name: MySQL to StarRocks Pipeline
Sinkronisasi ke database dan tabel tertentu
Jika nama database atau tabel StarRocks tujuan harus berbeda dari nama hulu, seperti saat menulis ke database lapisan ODS, gunakan route untuk mengganti namanya.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.\.*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
sink.buffer-flush.interval-ms: 5000
# (Opsional) Jumlah bucket untuk tabel yang dibuat secara otomatis. Parameter ini wajib untuk versi StarRocks sebelum 2.5.7.
table.create.num-buckets: 8
route:
# Sinkronkan semua tabel dalam database test_db MySQL ke database test_db2 StarRocks tanpa mengubah nama tabel.
# <> adalah placeholder yang diganti dengan nama tabel sumber yang cocok.
- source-table: test_db.\.*
sink-table: test_db2.<>
replace-symbol: <>
pipeline:
name: MySQL to StarRocks Pipeline
Gabungkan tabel terpartisi
Gabungkan beberapa tabel terpartisi dengan skema identik menjadi satu tabel StarRocks untuk kueri dan analitik terpadu.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
# Cocokkan semua tabel terpartisi, seperti user_0 dan user_1.
tables: test_db.user\.*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Opsional) Untuk pekerjaan dengan jumlah data kecil, kurangi interval flush untuk mencegah penundaan persistensi yang lama. Bawaan: 300000, atau 5 menit.
sink.buffer-flush.interval-ms: 5000
# (Opsional) Untuk tabel gabungan, tentukan jumlah bucket secara eksplisit berdasarkan volume data total.
table.create.num-buckets: 8
route:
# Gabungkan semua tabel terpartisi ke tabel StarRocks test_db.user.
- source-table: test_db.user\.*
sink-table: test_db.user
pipeline:
name: MySQL to StarRocks Pipeline
Aktifkan mode EVOLVE
Secara bawaan, mode LENIENT tidak menyinkronkan perubahan skema seperti menghapus kolom, menghapus tabel, atau memotong tabel ke tujuan. Jika Anda memerlukan sinkronisasi skema yang ketat, aktifkan mode EVOLVE. Mode ini memiliki batasan signifikan, jadi tinjau catatan berikut sebelum menggunakannya.
Batasan dan catatan penggunaan
-
Penggantian nama kolom tidak didukung. Pekerjaan gagal jika terjadi event penggantian nama kolom hulu.
-
Menghapus kolom atau tabel, atau memotong tabel, diterapkan ke tujuan. Operasi hulu yang tidak disengaja secara langsung memengaruhi tabel tujuan. Mode LENIENT bawaan lebih aman karena tidak menyinkronkan event drop-table atau truncate-table.
-
Jika Anda me-restart pekerjaan tanpa state dan tidak menghapus tabel sink, ketidaksesuaian skema hulu dan sink dapat menyebabkan pekerjaan gagal. Anda harus menyesuaikan skema tabel hilir secara manual.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.test_source_table
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
pipeline:
name: MySQL to StarRocks Pipeline
# Aktifkan mode EVOLVE untuk menyinkronkan perubahan skema secara ketat. Pekerjaan gagal pada perubahan yang tidak didukung, seperti penggantian nama kolom.
schema.change.behavior: evolve