Bu konu, YAML tabanlı veri alımı işlerinde verileri eşzamanlamak için StarRocks bağlayıcısının nasıl kullanılacağını açıklar.
Arka Plan
StarRocks, gerçek zamanlı analitik için tasarlanmış bir MPP (Massively Parallel Processing) veri ambarıdır. MySQL protokolü ile uyumludur, dağıtık mimari kullanır ve esnek küme ölçeklendirme ile paralel hesaplamayı destekler. StarRocks YAML bağlayıcısı, upstream veri kayıtlarını ve şema değişikliklerini StarRocks'a yazar; hem StarRocks topluluk sürümünü hem de Alibaba Cloud'un tamamen yönetilen EMR Serverless StarRocks hizmetini destekler. Aşağıdaki tabloda StarRocks YAML bağlayıcısının desteklediği özellikler açıklanmaktadır.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
YAML bağlayıcısı şu anda yalnızca en az bir kez (at-least-once) semantiğini destekler. sink.semantic: exactly-once değerini açıkça ayarlarsanız bu ayar hata vermeden otomatik olarak at-least-once değerine geçersiz kılınır. Tam olarak bir kez (exactly-once) semantiği için bkz. StarRocks SQL connector.
Özellikler
-
Otomatik veritabanı ve tablo oluşturma.
Upstream veritabanı veya tablo downstream StarRocks örneğinde yoksa bağlayıcı bunları otomatik olarak oluşturur. Otomatik tablo oluşturma seçeneklerini yapılandırmak için
table.create.properties.*parametresini kullanabilirsiniz. -
Şema değişikliği eşzamanlaması.
StarRocks bağlayıcısı, CreateTableEvent, AddColumnEvent ve DropColumnEvent olaylarını otomatik olarak downstream veritabanına uygular.
VVR 11,1 ve sonraki sürümler uyumlu sütun türü değişikliklerini destekler. Daha fazla bilgi için bkz. ALTER TABLE | StarRocks.
Kullanım notları
-
Eşzamanlanan her tablonun bir birincil anahtarı olmalıdır. Birincil anahtarı olmayan tablolar için downstream'e veri yazmak amacıyla
transformbloğunda bir anahtar belirtmeniz gerekir. Örnek:transform: - source-table: ... primary-keys: id, ... Otomatik olarak oluşturulan tablolar için bucket anahtarı birincil anahtarla aynıdır ve tabloda bölümleme (partition) anahtarı bulunamaz.
Şema değişiklikleri eşzamanlanırken yeni sütunlar yalnızca mevcut sütunların sonuna eklenebilir. Varsayılan Lenient şema değişikliği modunda diğer konumlara yapılan eklemeler otomatik olarak sona taşınır.
2.5.7'den eski bir StarRocks sürümü kullanıyorsanız bucket sayısını
table.create.num-bucketsparametresiyle açıkça belirtmeniz gerekir. StarRocks 2.5.7 ve sonraki sürümler uygun bir bucket sayısını otomatik olarak belirleyebilir.StarRocks 3.2 veya sonraki bir sürüm kullanıyorsanız şema değişikliklerini hızlandırmak için
table.create.properties.fast_schema_evolutionseçeneğini etkinleştirmenizi öneririz.Ververica Runtime (VVR) 11,9 veya sonraki sürümleri ve StarRocks 3.3.2 veya sonraki sürümleri kullanıyorsanız upstream sütun yeniden adlandırma olaylarını downstream tabloya eşzamanlayabilirsiniz.
-
EMR Serverless StarRocks'a veri almak için CDC YAML kullanıldığında akış sorunları oluşabilir. Aşağıdaki geçici çözümlerden birini kullanabilirsiniz:
Flink SQL StarRocks bağlayıcısını kullanın ve
sink.version=V1parametresini ayarlayın.FE parametresi
emr_internal_redirectdeğerini etkinleştirin.SLB yerine bir StarRocks Private Zone alan adı kullanın.
Sözdizimi
source:
...
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://127.0.0.1:9030
load-url: 127.0.0.1:8030
username: root
password: pass
sink.buffer-flush.interval-ms: 5000 # Set the data flush interval.
Yapılandırma
|
Parametre |
Açıklama |
Tür |
Gerekli |
Varsayılan |
Açıklamalar |
|
|
Hedef bağlayıcı türünü belirtir. |
String |
Evet |
— |
|
|
|
Hedefin görünen adı. |
String |
Hayır |
— |
— |
|
|
Veritabanı bağlantısı için JDBC URL'si. |
String |
Evet |
— |
Virgül ( |
|
|
Stream Load için bir FE düğümünün HTTP URL'si. |
String |
Evet |
— |
Noktalı virgül ( |
|
|
StarRocks bağlantısı için kullanıcı adı. |
String |
Evet |
— |
Bu kullanıcının hedef tabloda en az SELECT ve INSERT izinlerine sahip olması gerekir. Gerekli izinleri StarRocks GRANT komutuyla verebilirsiniz. |
|
|
StarRocks bağlantısı için parola. |
String |
Evet |
— |
— |
|
|
Veri yazma işlemleri için teslim semantiği. |
String |
Hayır |
at-least-once |
Yalnızca |
|
|
Stream Load işleri için etiket ön eki. |
String |
Hayır |
— |
Değer yalnızca İngilizce harfler, rakamlar, kısa çizgi ( |
|
|
HTTP bağlantısı kurma zaman aşımı. |
Integer |
Hayır |
30000 |
Birim: milisaniye. Değer 100 ile 60000 arasında olmalıdır. |
|
|
Sunucudan 100 Continue yanıtı bekleme zaman aşımı. |
Integer |
Hayır |
30000 |
Birim: milisaniye. Değer 3000 ile 600000 arasında olmalıdır. |
|
|
Bir flush işlemi tetiklenmeden önce bellek önbelleğinin maksimum boyutu (bayt cinsinden). |
Long |
Hayır |
%94371840 |
Birim: bayt. Değer 64 MB ile 10 GB arasında olmalıdır. Not
|
|
|
Bir flush işlemi tetiklenmeden önce bellek önbelleğindeki maksimum satır sayısı. |
Long |
Hayır |
500000 |
Değer 1.000 ile 5.000.000 arasında olmalıdır. |
|
|
Her tablonun arabelleği için flush işlemleri arasındaki zaman aralığı. |
Long |
Hayır |
300000 |
Birim: milisaniye. Not
Az miktarda veri eşzamanlayan işler için verilerin kalıcı hale gelmeden önceki uzun gecikmeleri önlemek üzere bu değeri düşürün. |
|
|
Maksimum yeniden deneme sayısı. |
Long |
Hayır |
3 |
Değer 0 ile 1000 arasında olmalıdır. |
|
|
Bağlayıcının arabelleği flush edip etmeyeceğini kontrol etme sıklığı. |
Long |
Hayır |
50 |
Birim: milisaniye. |
|
|
Stream Load için kullanılan iş parçacığı sayısı. |
Integer |
Hayır |
2 |
— |
|
|
Veri alımı için Stream Load transaction interface'in kullanılıp kullanılmayacağını belirtir. |
Boolean |
Hayır |
true |
Bu seçenek yalnızca veritabanı destekliyorsa etkili olur. |
|
|
Güncelleme işlemlerinde update-before kayıtlarının yoksayılıp yoksayılmayacağını belirtir. |
Boolean |
Hayır |
true |
Transform modülü aracılığıyla birincil anahtar değiştirildiğinde (örneğin, Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir. |
|
|
Silme kayıtlarının yoksayılıp yoksayılmayacağını belirtir. |
Boolean |
Hayır |
false |
Bu parametreyi Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir. |
|
|
Hedef için ek özellikler. |
String |
Hayır |
— |
Desteklenen özellikler için bkz. STREAM LOAD. |
|
|
Otomatik olarak oluşturulan tablolar için bucket sayısı. |
Integer |
Hayır |
— |
|
|
|
Otomatik tablo oluşturma için ek özellikler. |
String |
Hayır |
— |
Örneğin hızlı şema değişikliğini etkinleştirmek için |
|
|
Şema değişikliği işlemleri için zaman aşımı. |
Duration |
Hayır |
30 min |
Saniye cinsinden tam sayı olmalıdır. Not
Bir şema değişikliği işlemi bu sınırı aşarsa iş başarısız olur. |
|
|
Her Unicode karakter için ayrılan bayt sayısı. |
Integer |
Hayır |
3 |
CDC'de VARCHAR türünün uzunluğu karakter cinsinden ölçülürken StarRocks'ta VARCHAR türünün uzunluğu bayt cinsinden ölçülür. Çoğu durumda bir Unicode karakter UTF-8 kodlamasından sonra 3 baytı aşmaz. Ancak bazı nadir karakterler ve emoji simgeleri 4 veya daha fazla bayt kaplayabilir. |
|
|
StarRocks'a veri flush etmek için HTTP istemcisi zaman aşımı. |
Long |
Hayır |
-1 |
StarRocks'a veri flush edilirken Stream Load istekleri göndermek için milisaniye cinsinden HTTP istemcisi zaman aşımı. -1 değeri sistem varsayılanını kullanır yani zaman aşımı yoktur. Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir. |
|
|
Hedefi kapatma zaman aşımı. |
Long |
Hayır |
60000 |
İş kapatıldığında flush kuyruğunun bitmesini beklemek için milisaniye cinsinden zaman aşımı. Bu parametre yalnızca Ververica Runtime (VVR) 11,8 veya sonraki sürümler tarafından desteklenir. |
Yerleşik katalog kullanma
VVR 11,5 ve sonraki sürümler, Data Management sayfasında oluşturulan yerleşik bir StarRocks kataloğunu doğrudan bir Flink CDC veri alımı işinde başvurmanıza olanak tanır. Bu durum manuel olarak ayarlamanız gereken özellik sayısını azaltarak yapılandırmayı basitleştirir.
sink:
type: starrocks
using.built-in-catalog: starrocks_catalog
Veri alımı işleri aşağıdaki StarRocks katalog seçeneklerini otomatik olarak yeniden kullanabilir:
jdbc-url
http-url
username
password
table.num-buckets
Bu değerleri geçersiz kılmak için öncelikli olan ilgili YAML seçeneklerini açıkça ayarlayabilirsiniz.
Tür eşleme
StarRocks tüm CDC YAML türlerini desteklemez. Desteklenmeyen bir türü hedefe yazmak işin başarısız olmasına neden olur. Desteklenmeyen verileri dönüştürmek için bir transform içinde CAST yerleşik işlevini kullanabilir veya sonuç tablosundan kaldırmak için bir projeksiyon ifadesi kullanabilirsiniz. Daha fazla bilgi için bkz. Flink CDC veri alımı işi geliştirme.
|
CDC türü |
StarRocks türü |
Açıklamalar |
|
TINYINT |
TINYINT |
— |
|
SMALLINT |
SMALLINT |
|
|
INT |
INT |
|
|
BIGINT |
BIGINT |
|
|
FLOAT |
FLOAT |
|
|
DOUBLE |
DOUBLE |
|
|
BOOLEAN |
BOOLEAN |
|
|
DATE |
DATE |
|
|
TIMESTAMP |
DATETIME |
|
|
TIMESTAMP_LTZ |
DATETIME |
|
|
DECIMAL(p, s) |
DECIMAL(p, s) |
StarRocks birincil anahtar için DECIMAL türünü desteklemediğinden bağlayıcı upstream DECIMAL birincil anahtar sütununu eşzamanlanan StarRocks şemasında otomatik olarak VARCHAR türüne dönüştürür. |
|
CHAR(n) (n <= 85) |
CHAR(n × 3) |
CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar. Not
StarRocks CHAR türünün maksimum uzunluğu 255'tir. Bu nedenle yalnızca uzunluğu 85'e kadar olan CDC CHAR türleri StarRocks CHAR türüne eşlenir. Not
Her Unicode karakter için daha fazla bayt ayırmak amacıyla |
|
CHAR(n) (n > 85) |
VARCHAR(n × 3) |
CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar. Not
CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı uzunluğu 3 ile çarpar. Sonuç StarRocks CHAR türü için 255 bayt sınırını aştığından VARCHAR türüne eşlenir. Not
Her Unicode karakter için daha fazla bayt ayırmak amacıyla |
|
VARCHAR(n) |
VARCHAR(n × 3) |
CDC uzunluğu karakter cinsinden ölçerken StarRocks bayt cinsinden ölçer. Bağlayıcı çok baytlı UTF-8 karakterlerini hesaba katmak için uzunluğu 3 ile çarpar. Not
Her Unicode karakter için daha fazla bayt ayırmak amacıyla |
|
BINARY(n) |
BINARY(n+2) |
Veri bütünlüğünü sağlamak için iki bayt dolgu eklenir. |
|
VARBINARY(n) |
VARBINARY(n+1) |
Veri bütünlüğünü sağlamak için bir bayt dolgu eklenir. |
Şema değişikliği
CDC YAML işlem hattı işi şema değişikliklerini işlemek için farklı stratejiler kullanır. Bu stratejiler işlem hattı düzeyindeki schema.change.behavior parametresiyle yapılandırılabilir. Geçerli değerler IGNORE, LENIENT, TRY_EVOLVE, EVOLVE ve EXCEPTION şeklindedir. Varsayılan değer: LENIENT. Bir olayın uygulanıp uygulanmayacağı ayrıca hedefin include.schema.changes ve exclude.schema.changes parametrelerinden de etkilenir.
LENIENT ve EVOLVE stratejileri şema değişikliklerini içerir. Aşağıdaki bölümlerde farklı şema değişikliği olaylarının nasıl ele alındığı açıklanmaktadır.
Aşağıdaki açıklamalar normal bire bir eşzamanlama için geçerlidir. Çoktan bire yönlendirme için önce birleştirilmiş şema türetilir ardından olaylar normalize edilir. Herhangi bir shard tablosundaki bir silme işleminin doğrudan birleştirilmiş hedef tabloyu sildiğini varsaymayın.
Desteklenen olaylar
-
CREATE TABLE EVENT
NotDownstream StarRocks tablosu zaten varsa bağlayıcı tabloyu yeniden oluşturmaya çalışmaz. Downstream tablo şemasının upstream şema ile uyumlu olduğundan emin olun.
-
ADD COLUMN EVENT
NotStarRocks birincil anahtar sütunlarının tabloda ilk sırada görünmesini gerektirir. Yeni sütunlar bunlardan sonra eklenmelidir.
-
ALTER COLUMN TYPE EVENT
NotDesteklenen şema değişikliği yolları için bkz. resmi StarRocks belgeleri.
-
RENAME COLUMN EVENT
NotVerverica Runtime (VVR) 11,9 veya sonraki sürümleri ve StarRocks 3.3.2 veya sonraki sürümleri gerektirir.
DROP COLUMN EVENT
TRUNCATE TABLE EVENT
DROP TABLE EVENT
LENIENT (varsayılan)
LENIENT modunda şema değişiklikleri şu şekilde ele alınır:
Boş bırakılabilir bir sütun ekleme: İlgili sütun hedef tablo şemasının sonuna otomatik olarak eklenir ve yeni sütunun verileri otomatik olarak eşzamanlanır.
Boş bırakılamaz bir sütun ekleme: İlgili sütun hedef tablo şemasının sonuna otomatik olarak eklenir ve boş bırakılabilir olarak ayarlanır. Sütun eklenmeden önce var olan veriler için değer otomatik olarak NULL olarak ayarlanır.
Bir sütun silme: Sütun hedef tablodan silinmez. Orijinal sütun boş bırakılamaz ise boş bırakılabilir olarak değiştirilir. Zaten boş bırakılabilir ise değişiklik yapılmaz.
Bir sütunu yeniden adlandırma: Bu işlem eskisini korurken yeni bir sütun eklemek olarak değerlendirilir. Yeniden adlandırılan boş bırakılabilir sütun hedef tablonun sonuna eklenir. Orijinal sütun boş bırakılamaz ise boş bırakılabilir olarak değiştirilir.
Sütunları yeniden sıralama: Yoksayılır. Değişiklik downstream tabloya eşzamanlanmaz.
Bir sütun türünü değiştirme: LENIENT modu tarafından otomatik olarak yoksayılmaz. Değişiklik yine de StarRocks'a iletilir ve yalnızca uyumlu değişim yolları desteklenir. İzin verilen yollar için bkz. ALTER TABLE. VVR 11,1 ve sonraki sürümler için desteklenen kapsam mevcut belgelerde açıklananla aynıdır.
Bir tabloyu silme veya tabloyu kısaltma (truncate): Varsayılan olarak dışlanır. Değişiklik downstream'e eşzamanlanmaz.
Drop-table ve truncate-table olaylarının varsayılan olarak dışlanması exclude.schema.changes yapılandırılmadığında YAML ayrıştırıcısının eklediği varsayılan bir giriştir. Koşulsuz koruma değildir. Dışlama listesini açıkça yapılandırmak (boş liste dahil) bu iki varsayılan dışlamayı değiştirir. Bu nedenle yasaklamak istediğiniz olayları listede tutun. LENIENT ayrıca başarısız DDL yürütmelerinin yoksayılacağını garanti etmez.
EVOLVE
EVOLVE modunda şema değişiklikleri şu şekilde ele alınır:
Bir sütun ekleme: Desteklenir. StarRocks yürütücüsü upstream ekleme konumunu yoksayar ve sütunu mevcut sütunların sonuna ekler.
Bir sütun silme: Desteklenir. Sütun hedef tablodan fiilen silinir.
Bir sütunu yeniden adlandırma: Desteklenir (StarRocks 3.3.2 veya sonraki sürümler gerektirir). Downstream sütunun adı değiştirilir.
Bir sütun türünü değiştirme: Desteklenir. Yalnızca uyumlu değişim yolları desteklenir.
Sütunları yeniden sıralama: Desteklenir. Birincil anahtar sütunları yine de ilk sırada gelmeli ve orijinal sıralarını korumalıdır.
Bir tabloyu silme veya tabloyu kısaltma (truncate): Olaylar dışlanmadığında fiilen yürütülür.
EVOLVE modunda hedef tabloyu silmeden durumsuz bir yeniden başlatma gerçekleştirirseniz upstream verileri ile hedef tablo şeması tutarsız hale gelebilir ve bu da işin başarısız olmasına neden olur. Bu durumda downstream tablo şemasını manuel olarak ayarlamanız gerekir.
Kod örnekleri
Aşağıdaki örneklerde yaygın senaryolar için yapılandırmalar gösterilmektedir.
Tek bir tabloyu eşzamanlama
Tek bir MySQL tablosunu StarRocks'a eşzamanlayın. Hedef veritabanı ve tablo yoksa bağlayıcı otomatik olarak bir birincil anahtar tablosu oluşturur.
pipeline:
name: MySQL to StarRocks Pipeline
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.test_source_table
server-id: 5401-5499
# (Optional) Synchronize data from newly added tables during the incremental phase without restarting the job.
scan.binlog.newly-added-table.enabled: true
# (Optional) Synchronize table and column comments to the destination.
include-comments.enabled: true
# (Optional) Deserialize binlogs only for captured tables to improve read performance.
scan.only.deserialize.captured.tables.changelog.enabled: true
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
sink.buffer-flush.interval-ms: 5000
# (Optional) If the upstream character set is utf8mb4, set this parameter to 4 to prevent text truncation. Default: 3.
unicode-char.max-bytes: 4
# (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7. Later versions can infer the value automatically.
table.create.num-buckets: 8
# (Optional) The number of replicas for automatically created tables. Configure this value based on your cluster.
table.create.properties.replication_num: 3
# (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
table.create.properties.fast_schema_evolution: true
# Note: If you use a transform to change the primary key, you must also set sink.ignore.update-before: false.
# Otherwise, rows associated with the old primary key remain in the destination.
pipeline:
name: MySQL to StarRocks Pipeline
Tüm bir veritabanını eşzamanlama
Bir MySQL veritabanındaki tüm tabloları aynı anda StarRocks'a eşzamanlayın. Bağlayıcı hedef veritabanını ve birincil anahtar tablolarını otomatik olarak oluşturur. Bu nedenle her tabloyu önceden oluşturmanız gerekmez.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
# Use a regular expression to match all tables in the database. To match multiple databases, separate patterns with commas.
tables: test_db.\.*
server-id: 5401-5499
# (Optional) Synchronize data from newly added tables during the incremental phase without restarting the job.
scan.binlog.newly-added-table.enabled: true
# (Optional) Synchronize table and column comments to the destination.
include-comments.enabled: true
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
sink.buffer-flush.interval-ms: 5000
# (Optional) If the upstream character set is utf8mb4, set this parameter to 4 to prevent text truncation. Default: 3.
unicode-char.max-bytes: 4
# (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7. Later versions can infer the value automatically.
table.create.num-buckets: 8
# (Optional) The number of replicas for automatically created tables. Configure this value based on your cluster.
table.create.properties.replication_num: 3
# (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
table.create.properties.fast_schema_evolution: true
pipeline:
name: MySQL to StarRocks Pipeline
Tam veritabanı eşzamanlaması sırasında belirli tabloları hariç tutma
Tüm bir veritabanını eşzamanlarken geçici veya hassas tablolar gibi hedefe eşzamanlamak istemediğiniz tabloları atlamak için düzenli ifade kullanın.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.\.*
# Tables that match this regular expression are not synchronized.
tables.exclude: test_db.tmp_.\*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Optional) The load interface version. V2 requires StarRocks 2.4 or later. For EMR Serverless StarRocks, use V1 if streaming issues occur.
sink.version: V2
# (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
sink.buffer-flush.interval-ms: 5000
# (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7.
table.create.num-buckets: 8
# (Optional) For StarRocks 3.2 and later, enable this option to accelerate schema changes.
table.create.properties.fast_schema_evolution: true
pipeline:
name: MySQL to StarRocks Pipeline
Belirtilen veritabanlarına ve tablolara eşzamanlama
Hedef StarRocks veritabanı veya tablo adının upstream adından farklı olması gerekiyorsa (örneğin bir ODS katmanı veritabanına yazarken) yeniden adlandırmak için bir rota kullanın.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.\.*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
sink.buffer-flush.interval-ms: 5000
# (Optional) The number of buckets for automatically created tables. This parameter is required for StarRocks versions earlier than 2.5.7.
table.create.num-buckets: 8
route:
# Synchronize all tables in the MySQL test_db database to the StarRocks test_db2 database without changing table names.
# <> is a placeholder that is replaced by the matched source table name.
- source-table: test_db.\.*
sink-table: test_db2.<>
replace-symbol: <>
pipeline:
name: MySQL to StarRocks Pipeline
Shard edilmiş tabloları birleştirme
Birleşik sorgulama ve analitik için aynı şemaya sahip birden çok shard edilmiş tabloyu tek bir StarRocks tablosunda birleştirin.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
# Match all sharded tables, such as user_0 and user_1.
tables: test_db.user\.*
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
# (Optional) For jobs with a small amount of data, reduce the flush interval to prevent long persistence delays. Default: 300000, or 5 minutes.
sink.buffer-flush.interval-ms: 5000
# (Optional) For merged tables, explicitly specify the number of buckets based on the total data volume.
table.create.num-buckets: 8
route:
# Merge all sharded tables into the StarRocks test_db.user table.
- source-table: test_db.user\.*
sink-table: test_db.user
pipeline:
name: MySQL to StarRocks Pipeline
EVOLVE modunu etkinleştirme
Varsayılan olarak LENIENT modu bir sütun silme, tablo silme veya tabloyu kısaltma (truncate) gibi şema değişikliklerini hedefe eşzamanlamaz. Katı şema eşzamanlaması gerekiyorsa EVOLVE modunu etkinleştirin. Bu modun önemli sınırlamaları vardır. Kullanmadan önce aşağıdaki notları inceleyin.
Sınırlamalar ve kullanım notları
Sütun yeniden adlandırma desteklenmez. Upstream'te bir sütun yeniden adlandırma olayı oluşursa iş başarısız olur.
Bir sütun veya tablo silme ya da tabloyu kısaltma (truncate) hedefe uygulanır. Yanlışlıkla gerçekleşen bir upstream işlemi hedef tabloyu doğrudan etkiler. Varsayılan LENIENT modu drop-table veya truncate-table olaylarını eşzamanlamadığı için daha güvenlidir.
İşi durumsuz olarak yeniden başlatır ve hedef tabloyu silmezseniz upstream ile hedef şeması uyuşmazlığı işin başarısız olmasına neden olabilir. Downstream tablo şemasını manuel olarak ayarlamanız gerekir.
source:
type: mysql
name: MySQL Source
hostname: <yourHostname>
port: 3306
username: <yourUsername>
password: ${secret_values.mysql_password}
tables: test_db.test_source_table
server-id: 5401-5499
sink:
type: starrocks
name: StarRocks Sink
jdbc-url: jdbc:mysql://<yourFeHostname>:9030
load-url: <yourFeHostname>:8030
username: <yourUsername>
password: ${secret_values.starrocks_password}
pipeline:
name: MySQL to StarRocks Pipeline
# Enable EVOLVE mode to strictly synchronize schema changes. The job fails on unsupported changes, such as column renaming.
schema.change.behavior: evolve