Flink SQL Client içinde CREATE TABLE AS (CTAS) ifadesini kullanarak MySQL değişikliklerini EMR Serverless StarRocks içine aktarın. Bu işlem, otomatik tablo oluşturma ve gerçek zamanlı şema değişikliği yayılımını destekler.
Çalışma mantığı
Bir CTAS ifadesi çalıştırdığınızda Flink aşağıdaki iki işlemi sırasıyla gerçekleştirir:
-
Tablo oluşturma kontrolü: Flink, hedef tablonun StarRocks içinde mevcut olup olmadığını denetler.
Tablo yoksa Flink, kaynak MySQL tablosuyla aynı şemayı kullanarak tabloyu otomatik olarak oluşturur.
Tablo varsa ancak şemalar eşleşmiyorsa iş bir hata döndürür.
Veri senkronizasyonu: Flink, MySQL'den StarRocks'a veri ve şema değişikliklerini sürekli olarak aktaran bir iş başlatır.
Şema değişiklikleri DDL ifadelerini ayrıştırarak değil, ardışık veri kayıtlarının şemalarını karşılaştırarak tespit edilir. Bu nedenle şema değişiklikleri yalnızca veri akışı gerçekleştiğinde senkronize edilir. Örneğin, MySQL'e bir sütun eklemek, bu sütun doldurulmuş yeni bir satır gelene kadar StarRocks'ta şema güncellemesini tetiklemez.
Desteklenen şema değişiklikleri
|
|
|
|
|
|
|
|
|
|
|
|
Desteklenmeyen şema değişiklikleri
Veri türü değişiklikleri (örneğin,
VARCHARtüründenBIGINTtürüne veyaNOT NULLkısıtlamasındanNULLABLEkısıtlamasına geçiş)Kısıtlama değişiklikleri (birincil anahtar veya dizin)
Boş bırakılamaz bir sütun ekleme veya silme
MySQL'de desteklenmeyen bir şema değişikliği gerçekleşirse StarRocks'taki hedef tabloyu silin ve CTAS işini yeniden başlatın. StarRocks tabloyu yeniden oluşturur ve tüm geçmiş verileri tekrar senkronize eder.
CTAS kayıt düzeyinde şema karşılaştırması kullandığından araya veri değişikliği girmeden bir sütunu silip yeniden eklemek şema değişikliği olarak algılanmaz. Şema senkronizasyonu yalnızca yeni veri geldiğinde tetiklenir.
Flink ile StarRocks arasında desteklenen alan türü eşlemeleri için bkz. Continuously load data from Apache Flink®.
Sürüm gereksinimleri
|
|
|
|
|
|
|
|
|
|
|
|
Önkoşullar
Başlamadan önce aşağıdakileri tamamladığınızdan emin olun:
Yeni konsolda Flink hizmeti seçili olarak bir Dataflow kümesi oluşturun. Daha fazla bilgi için bkz. Create a cluster
Bir EMR Serverless StarRocks örneği oluşturun. Daha fazla bilgi için bkz. Create an instance
Bir ApsaraDB RDS for MySQL örneği oluşturun. Daha fazla bilgi için bkz. Create an ApsaraDB RDS for MySQL instance and configure a database
Bu öğreticide örnek olarak MySQL 5,7 ve EMR-3.42.0 sürümüne sahip bir Dataflow kümesi kullanılmıştır.
Sınırlamalar
Dataflow kümesi, StarRocks örneği ve ApsaraDB RDS for MySQL örneği aynı sanal özel cloud (VPC) içinde bulunmalıdır.
Dataflow kümesine ve StarRocks örneğine İnternet üzerinden erişilebilir olmalıdır.
ApsaraDB RDS for MySQL altyapı sürümü 5,7 veya üzeri olmalıdır.
Dataflow kümesi EMR-3.42.0 veya üzeri ya da EMR-5.8.0 veya üzeri olmalıdır.
Adım 1: Test verilerini hazırlayın
-
ApsaraDB RDS for MySQL örneğinizde bir test veritabanı ve test hesabı oluşturun, ardından hesaba okuma ve yazma izinleri verin. Daha fazla bilgi için bkz. Create an ApsaraDB RDS for MySQL instance and configure a database.
Bu öğreticide veritabanı adı olarak
test_cdcve hesap adı olarakemr_testkullanılmıştır. Test hesabıyla ApsaraDB RDS for MySQL örneğine bağlanın. Daha fazla bilgi için bkz. Connect to an ApsaraDB RDS for MySQL instance.
-
Bir test tablosu oluşturun ve bir satır ekleyin:
USE test_cdc; CREATE TABLE IF NOT EXISTS `runoob_tbl` ( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, `add_col` INT DEFAULT NULL, PRIMARY KEY (`runoob_id`) ) ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO test_cdc.`runoob_tbl` (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`) VALUES (18, 'first', 'tom', '2022-06-22 17:13:44', 3); EMR Serverless StarRocks örneğinize bağlanın. Daha fazla bilgi için bkz. Connect to a StarRocks instance by using a MySQL client.
-
test_cdcveritabanını ve bir StarRocks kullanıcısı oluşturun, ardından izinleri verin. Örnek parola1qaz!QAZolantestadlı bir süper yönetici kullanıcı oluşturabilir veyatestadlı normal bir kullanıcı oluşturup veritabanı üzerindeki izinleri bu kullanıcıya verebilirsiniz. Daha fazla bilgi için bkz. Manage users.CREATE DATABASE test_cdc; CREATE USER 'test' IDENTIFIED BY '1qaz!QAZ'; GRANT ALL ON test_cdc TO test;
Adım 2: Özel bağlayıcıları yükleyin
Dataflow kümesine SSH ile bağlanın ve StarRocks ile MySQL için Flink bağlayıcılarını yükleyin. Daha fazla bilgi için bkz. Log on to a cluster.
Aşağıdaki JAR dosyalarını indirin ve Dataflow kümesindeki /opt/apps/FLINK/flink-current/lib dizinine yükleyin:
Adım 3: CTAS ifadesini yürütün
Bir YARN oturumu başlatın ve SQL Client'ı açın
Dataflow kümesine SSH ile bağlanın. Daha fazla bilgi için bkz. Log on to a cluster.
-
Flink dizinine gidin ve detached modunda bir YARN oturumu başlatın:
cd /opt/apps/FLINK/flink-current ./bin/yarn-session.sh --detachedBaşarılı bir başlatma işleminde çıktı olarak
application_XXXX_YYyazdırılır. Bu değer oturum kimliğidir.
-
Oturum kimliğini kullanarak SQL Client'ı açın:
./bin/sql-client.sh -s <application_XXXX_YY><application_XXXX_YY>yerine önceki adımdaki oturum kimliğini yazın.
MySQL ve StarRocks için kataloglar oluşturun
Her iki veri kaynağını da katalog olarak kaydetmek için SQL Client'ta aşağıdaki ifadeleri çalıştırın:
CREATE CATALOG sr WITH (
'type' = 'starrocks',
'endpoint' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
'username' = 'test',
'password' = '1qaz!QAZ',
'dbname' = 'test_cdc'
);
CREATE CATALOG mysql WITH (
'type' = 'mysql',
'hostname' = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
'port' = '3306',
'username' = 'emr_test',
'password' = '123456',
'default-database' = 'test_cdc'
);
StarRocks katalog parametreleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
MySQL katalog parametreleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Teslimat semantiğini seçin ve CTAS ifadesini çalıştırın
Gereksinimlerinize göre aşağıdaki üç moddan birini seçin ve ilgili CTAS ifadesini SQL Client'ta çalıştırın.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
At-least-once modu
Verilerin StarRocks'a ne sıklıkta yazılacağını kontrol etmek için sink.buffer-flush.interval-ms parametresini kullanın.
USE CATALOG sr;
CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
'starrocks.create.table.properties' = 'engine = olap primary key(runoob_id) distributed by hash(runoob_id) buckets 8',
'database-name' = 'test_cdc',
'jdbc-url' = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
'load-url' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
'table-name' = 'runoob_tbl_sr',
'username' = 'test',
'password' = '1qaz!QAZ',
'sink.buffer-flush.interval-ms' = '5000',
'sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
'connector' = 'mysql-cdc',
'hostname' = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
'port' = '3306',
'username' = 'test',
'password' = '123456',
'database-name' = 'test_cdc',
'table-name' = 'runoob_tbl'
) */;
Exactly-once modu
CTAS ifadesini çalıştırmadan önce kontrol noktası aralığını ayarlayın. Veriler yalnızca her kontrol noktası tamamlandıktan sonra görünür hale gelir. Daha fazla bilgi için bkz. Checkpointing.
SET 'execution.checkpointing.interval' = '1 min';
SET 'execution.checkpointing.mode' = 'EXACTLY_ONCE';
SET 'execution.checkpointing.timeout' = '10 min';
USE CATALOG sr;
CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
'starrocks.create.table.properties' = 'engine = olap primary key(runoob_id) distributed by hash(runoob_id) buckets 8',
'database-name' = 'test_cdc',
'jdbc-url' = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
'load-url' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
'table-name' = 'runoob_tbl',
'username' = 'test',
'password' = '1qaz!QAZ',
'sink.semantic' = 'exactly-once',
'sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
'connector' = 'mysql-cdc',
'hostname' = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
'port' = '3306',
'username' = 'test',
'password' = '123456',
'database-name' = 'test_cdc',
'table-name' = 'runoob_tbl'
) */;
Simple modu
StarRocks, MySQL şemasından tablo özelliklerini otomatik olarak çıkarır: engine = olap, birincil anahtar MySQL'in birincil anahtarıyla eşleşir ve tüm birincil anahtar sütunlarında distributed by hash kullanılır. Bölüm oluşturulmaz. Bölümleme gerekiyorsa normal modu kullanın.
USE CATALOG sr;
CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
'starrocks.create.table.properties' = 'buckets 8',
'starrocks.create.table.mode' = 'simple',
'database-name' = 'test_cdc',
'jdbc-url' = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
'load-url' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
'table-name' = 'runoob_tbl_sr',
'username' = 'test',
'password' = '1qaz!QAZ',
'sink.buffer-flush.interval-ms' = '5000',
'sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
'connector' = 'mysql-cdc',
'hostname' = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
'port' = '3306',
'username' = 'emr_test',
'password' = '123456',
'database-name' = 'test_cdc',
'table-name' = 'runoob_tbl'
) */;
WITH yan tümcesi parametreleri
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
vvr-6.0.5-flink-1.15 önceki bir Flink sürümü kullanıyorsanız WITH yan tümcesine 'sink.use.new-apiapi' = 'false' ekleyin. Diğer yapılandırma seçenekleri için bkz. Continuously load data from Apache Flink .
OPTIONS yan tümcesi parametreleri
Tüm örneklerde MySQL CDC bağlayıcı ayarlarını CTAS ifadesiyle birlikte satır içi iletmek için OPTIONS ipucu kullanılır.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Adım 4: Veri senkronizasyonunu doğrulayın
Kontrol noktası etkinleştirildiyse StarRocks'u sorgulamadan önce en fazla bir kontrol noktası aralığı kadar bekleyin.
İlk verileri doğrulayın
StarRocks'a bağlanın ve hedef tabloyu sorgulayın:
USE test_cdc;
SELECT * FROM runoob_tbl1;
Beklenen çıktı:
+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
| 18 | first | tom | 2022-06-22 | 3 |
+-----------+--------------+---------------+-----------------+---------+
Ekleme işlemlerini doğrulayın
MySQL'e bir satır ekleyin:
INSERT INTO runoob_tbl (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`)
VALUES (1, 'second', 'tom2', '2022-06-23', 1);
Satırın çoğaltıldığını onaylamak için StarRocks'u sorgulayın:
SELECT * FROM runoob_tbl1;
Beklenen çıktı:
+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
| 1 | second | tom2 | 2022-06-23 | 1 |
| 18 | first | tom | 2022-06-22 | 3 |
+-----------+--------------+---------------+-----------------+---------+
Güncelleme işlemlerini doğrulayın
MySQL'de bir satırı güncelleyin:
UPDATE runoob_tbl SET runoob_title = 'new' WHERE runoob_id = 18;
Güncellemenin çoğaltıldığını onaylamak için StarRocks'u sorgulayın:
SELECT * FROM runoob_tbl1;
Beklenen çıktı:
+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
| 1 | second | tom2 | 2022-06-23 | 1 |
| 18 | new | tom | 2022-06-22 | 3 |
+-----------+--------------+---------------+-----------------+---------+
Silme işlemlerini doğrulayın
MySQL'den bir satır silin:
DELETE FROM runoob_tbl WHERE runoob_id = 1;
Silme işleminin çoğaltıldığını onaylamak için StarRocks'u sorgulayın:
SELECT * FROM runoob_tbl1;
Beklenen çıktı:
+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
| 18 | new | tom | 2022-06-22 | 3 |
+-----------+--------------+---------------+-----------------+---------+
Şema değişikliklerini doğrulayın
MySQL'e boş bırakılabilir bir sütun ekleyin:
ALTER TABLE `runoob_tbl` ADD COLUMN `add_col2` INT;
Yeni sütunu dolduran bir satır ekleyin:
INSERT INTO runoob_tbl (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`, `add_col2`)
VALUES (1, 'second', 'tom2', '2022-06-23', 1, 2);
Şema değişikliğinin yayıldığını onaylamak için StarRocks'u sorgulayın:
SELECT * FROM runoob_tbl1;
Beklenen çıktı:
+-----------+--------------+---------------+-----------------+---------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col | add_co2 |
+-----------+--------------+---------------+-----------------+---------+---------+
| 1 | second | tom2 | 2022-06-23 | 1 | 2 |
| 18 | new | tom | 2022-06-22 | 3 | NULL |
+-----------+--------------+---------------+-----------------+---------+---------+
Yeni add_col2 sütunu StarRocks'ta görünür. Mevcut satır (runoob_id=18), o satır en son yazıldığında sütun mevcut olmadığından NULL gösterir.
CDAS'a giriş
CREATE DATABASE AS (CDAS) ifadesi, CTAS için sözdizimsel kolaylıktır. Tek bir CDAS ifadesi, tüm bir MySQL veritabanını veya seçili bir alt kümesini StarRocks'a aktaran tek bir Flink işi oluşturur. Belirli tabloları seçmek için INCLUDING TABLE yan tümcesini kullanın.
Önce MySQL ve StarRocks kataloglarını oluşturun (CTAS ile aynı şekilde), ardından CDAS ifadesini çalıştırın:
CREATE DATABASE IF NOT EXISTS sr_db WITH (
'starrocks.create.table.properties' = 'buckets 8',
'starrocks.create.table.mode' = 'simple',
'jdbc-url' = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
'load-url' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
'username' = 'test',
'password' = '1qaz!QAZ',
'sink.buffer-flush.interval-ms' = '5000',
'sink.properties.row_delimiter' = '\x02',
'sink.properties.column_separator' = '\x01'
) AS DATABASE mysql.test_cdc INCLUDING TABLE
'tabl1', 'tbl2', 'tbl3' /*+ OPTIONS (
'connector' = 'mysql-cdc',
'hostname' = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
'port' = '3306',
'username' = 'test',
'password' = '123456',
'database-name' = 'test_cdc'
) */;
Sonraki adımlar
Daha az yapılandırma adımıyla tüm bir veritabanındaki şema değişikliklerini senkronize etmek için CDAS kullanmayı değerlendirin. İfade sözdizimi ve parametreleri CTAS ile aynı deseni izler.
CTAS'nin ek alan türü eşlemelerini nasıl işlediğini öğrenmek için bkz. Continuously load data from Apache Flink.