Tüm Ürünler
Search
Belge Merkezi

E-MapReduce:Use the Flink service in a Dataflow cluster to synchronize data from MySQL to StarRocks by using the CTAS statement

Son Güncelleme:Oct 30, 2026

Flink SQL Client içinde CREATE TABLE AS (CTAS) ifadesini kullanarak MySQL değişikliklerini EMR Serverless StarRocks içine aktarın. Bu işlem, otomatik tablo oluşturma ve gerçek zamanlı şema değişikliği yayılımını destekler.

Çalışma mantığı

Bir CTAS ifadesi çalıştırdığınızda Flink aşağıdaki iki işlemi sırasıyla gerçekleştirir:

  1. Tablo oluşturma kontrolü: Flink, hedef tablonun StarRocks içinde mevcut olup olmadığını denetler.

    • Tablo yoksa Flink, kaynak MySQL tablosuyla aynı şemayı kullanarak tabloyu otomatik olarak oluşturur.

    • Tablo varsa ancak şemalar eşleşmiyorsa iş bir hata döndürür.

  2. Veri senkronizasyonu: Flink, MySQL'den StarRocks'a veri ve şema değişikliklerini sürekli olarak aktaran bir iş başlatır.

Şema değişiklikleri DDL ifadelerini ayrıştırarak değil, ardışık veri kayıtlarının şemalarını karşılaştırarak tespit edilir. Bu nedenle şema değişiklikleri yalnızca veri akışı gerçekleştiğinde senkronize edilir. Örneğin, MySQL'e bir sütun eklemek, bu sütun doldurulmuş yeni bir satır gelene kadar StarRocks'ta şema güncellemesini tetiklemez.

Desteklenen şema değişiklikleri


Değişiklik


StarRocks'taki davranış


Boş bırakılabilir bir sütun ekleme


Hedef tablonun sonuna eklenir; veriler senkronize edilir


Boş bırakılabilir bir sütun silme


Sütun hedef tabloda korunur ve NULL ile doldurulur


Bir sütunu yeniden adlandırma


Yeniden adlandırılan sütun sona eklenir; orijinal sütun NULL ile doldurulur

Desteklenmeyen şema değişiklikleri

  • Veri türü değişiklikleri (örneğin, VARCHAR türünden BIGINT türüne veya NOT NULL kısıtlamasından NULLABLE kısıtlamasına geçiş)

  • Kısıtlama değişiklikleri (birincil anahtar veya dizin)

  • Boş bırakılamaz bir sütun ekleme veya silme

MySQL'de desteklenmeyen bir şema değişikliği gerçekleşirse StarRocks'taki hedef tabloyu silin ve CTAS işini yeniden başlatın. StarRocks tabloyu yeniden oluşturur ve tüm geçmiş verileri tekrar senkronize eder.

CTAS kayıt düzeyinde şema karşılaştırması kullandığından araya veri değişikliği girmeden bir sütunu silip yeniden eklemek şema değişikliği olarak algılanmaz. Şema senkronizasyonu yalnızca yeni veri geldiğinde tetiklenir.

Flink ile StarRocks arasında desteklenen alan türü eşlemeleri için bkz. Continuously load data from Apache Flink®.

Sürüm gereksinimleri


Bileşen


Sürüm


Dataflow kümesi


EMR-3.42.0 veya üzeri ya da EMR-5.8.0 veya üzeri


ApsaraDB RDS for MySQL


5,7 veya üzeri


Flink (eski sürümler)


vvr-6.0.5-flink-1.15 önceki bir sürüm kullanıyorsanız WITH yan tümcesine 'sink.use.new-apiapi' = 'false' ekleyin

Önkoşullar

Başlamadan önce aşağıdakileri tamamladığınızdan emin olun:

Bu öğreticide örnek olarak MySQL 5,7 ve EMR-3.42.0 sürümüne sahip bir Dataflow kümesi kullanılmıştır.

Sınırlamalar

  • Dataflow kümesi, StarRocks örneği ve ApsaraDB RDS for MySQL örneği aynı sanal özel cloud (VPC) içinde bulunmalıdır.

  • Dataflow kümesine ve StarRocks örneğine İnternet üzerinden erişilebilir olmalıdır.

  • ApsaraDB RDS for MySQL altyapı sürümü 5,7 veya üzeri olmalıdır.

  • Dataflow kümesi EMR-3.42.0 veya üzeri ya da EMR-5.8.0 veya üzeri olmalıdır.

Adım 1: Test verilerini hazırlayın

  1. ApsaraDB RDS for MySQL örneğinizde bir test veritabanı ve test hesabı oluşturun, ardından hesaba okuma ve yazma izinleri verin. Daha fazla bilgi için bkz. Create an ApsaraDB RDS for MySQL instance and configure a database.

    Bu öğreticide veritabanı adı olarak test_cdc ve hesap adı olarak emr_test kullanılmıştır.
  2. Test hesabıyla ApsaraDB RDS for MySQL örneğine bağlanın. Daha fazla bilgi için bkz. Connect to an ApsaraDB RDS for MySQL instance.

  3. Bir test tablosu oluşturun ve bir satır ekleyin:

    USE test_cdc;
    
    CREATE TABLE IF NOT EXISTS `runoob_tbl` (
      `runoob_id`      INT UNSIGNED AUTO_INCREMENT,
      `runoob_title`   VARCHAR(100) NOT NULL,
      `runoob_author`  VARCHAR(40)  NOT NULL,
      `submission_date` DATE,
      `add_col`        INT DEFAULT NULL,
      PRIMARY KEY (`runoob_id`)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8;
    
    INSERT INTO test_cdc.`runoob_tbl`
      (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`)
    VALUES (18, 'first', 'tom', '2022-06-22 17:13:44', 3);
  4. EMR Serverless StarRocks örneğinize bağlanın. Daha fazla bilgi için bkz. Connect to a StarRocks instance by using a MySQL client.

  5. test_cdc veritabanını ve bir StarRocks kullanıcısı oluşturun, ardından izinleri verin. Örnek parola 1qaz!QAZ olan test adlı bir süper yönetici kullanıcı oluşturabilir veya test adlı normal bir kullanıcı oluşturup veritabanı üzerindeki izinleri bu kullanıcıya verebilirsiniz. Daha fazla bilgi için bkz. Manage users.

    CREATE DATABASE test_cdc;
    CREATE USER 'test' IDENTIFIED BY '1qaz!QAZ';
    GRANT ALL ON test_cdc TO test;

Adım 2: Özel bağlayıcıları yükleyin

Dataflow kümesine SSH ile bağlanın ve StarRocks ile MySQL için Flink bağlayıcılarını yükleyin. Daha fazla bilgi için bkz. Log on to a cluster.

Aşağıdaki JAR dosyalarını indirin ve Dataflow kümesindeki /opt/apps/FLINK/flink-current/lib dizinine yükleyin:

Adım 3: CTAS ifadesini yürütün

Bir YARN oturumu başlatın ve SQL Client'ı açın

  1. Dataflow kümesine SSH ile bağlanın. Daha fazla bilgi için bkz. Log on to a cluster.

  2. Flink dizinine gidin ve detached modunda bir YARN oturumu başlatın:

    cd /opt/apps/FLINK/flink-current
    ./bin/yarn-session.sh --detached

    Başarılı bir başlatma işleminde çıktı olarak application_XXXX_YY yazdırılır. Bu değer oturum kimliğidir.

    sessionid

  3. Oturum kimliğini kullanarak SQL Client'ı açın:

    ./bin/sql-client.sh -s <application_XXXX_YY>

    <application_XXXX_YY> yerine önceki adımdaki oturum kimliğini yazın.

MySQL ve StarRocks için kataloglar oluşturun

Her iki veri kaynağını da katalog olarak kaydetmek için SQL Client'ta aşağıdaki ifadeleri çalıştırın:

CREATE CATALOG sr WITH (
  'type'     = 'starrocks',
  'endpoint' = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
  'username' = 'test',
  'password' = '1qaz!QAZ',
  'dbname'   = 'test_cdc'
);

CREATE CATALOG mysql WITH (
  'type'             = 'mysql',
  'hostname'         = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
  'port'             = '3306',
  'username'         = 'emr_test',
  'password'         = '123456',
  'default-database' = 'test_cdc'
);

StarRocks katalog parametreleri


Parametre


Açıklama


type


starrocks olarak ayarlayın


endpoint


FE düğümünün dahili uç noktası ve sorgu bağlantı noktası; biçim: <FE-internal-endpoint>:9030. Dahili uç noktayı almak için bkz. View the instance list and details.


username


StarRocks veritabanı kullanıcı adı (1. Adımda oluşturuldu; bu örnekte test)


password


StarRocks veritabanı parolası (bu örnekte 1qaz!QAZ)


dbname


StarRocks veritabanı adı (bu örnekte test_cdc)

MySQL katalog parametreleri


Parametre


Açıklama


type


mysql olarak ayarlayın


hostname


ApsaraDB RDS for MySQL örneğinin dahili uç noktası. ApsaraDB RDS konsolundaki Database Connection sayfasından kopyalayın.


port


MySQL bağlantı noktası numarası. Varsayılan: 3306


username


MySQL hesap adı (1. Adımda oluşturuldu; bu örnekte emr_test)


password


MySQL hesap parolası (bu örnekte 123456)


default-database


Varsayılan MySQL veritabanı adı (bu örnekte test_cdc)

Teslimat semantiğini seçin ve CTAS ifadesini çalıştırın

Gereksinimlerinize göre aşağıdaki üç moddan birini seçin ve ilgili CTAS ifadesini SQL Client'ta çalıştırın.


Mod


Teslimat semantiği


Temel ödünleşim


At-least-once (varsayılan)


En az bir kez


Düşük yazma gecikme süresi ve daha düşük bellek kullanımı; arıza durumunda yinelenen kayıtlar oluşabilir


Exactly-once


Tam olarak bir kez


Veri kaybı veya yinelenme olmaz; veri görünürlüğü kontrol noktası aralığına bağlıdır


Simple


En az bir kez


Yapılandırması en kolay yöntemdir — tablo özelliklerini manuel belirtmeniz gerekmez; bölümleme desteklenmez

At-least-once modu

Verilerin StarRocks'a ne sıklıkta yazılacağını kontrol etmek için sink.buffer-flush.interval-ms parametresini kullanın.

USE CATALOG sr;

CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
  'starrocks.create.table.properties' = 'engine = olap primary key(runoob_id) distributed by hash(runoob_id) buckets 8',
  'database-name'                     = 'test_cdc',
  'jdbc-url'                          = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
  'load-url'                          = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
  'table-name'                        = 'runoob_tbl_sr',
  'username'                          = 'test',
  'password'                          = '1qaz!QAZ',
  'sink.buffer-flush.interval-ms'     = '5000',
  'sink.properties.row_delimiter'     = '\x02',
  'sink.properties.column_separator'  = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
  'connector'     = 'mysql-cdc',
  'hostname'      = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
  'port'          = '3306',
  'username'      = 'test',
  'password'      = '123456',
  'database-name' = 'test_cdc',
  'table-name'    = 'runoob_tbl'
) */;

Exactly-once modu

CTAS ifadesini çalıştırmadan önce kontrol noktası aralığını ayarlayın. Veriler yalnızca her kontrol noktası tamamlandıktan sonra görünür hale gelir. Daha fazla bilgi için bkz. Checkpointing.

SET 'execution.checkpointing.interval' = '1 min';
SET 'execution.checkpointing.mode'     = 'EXACTLY_ONCE';
SET 'execution.checkpointing.timeout'  = '10 min';

USE CATALOG sr;

CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
  'starrocks.create.table.properties' = 'engine = olap primary key(runoob_id) distributed by hash(runoob_id) buckets 8',
  'database-name'                     = 'test_cdc',
  'jdbc-url'                          = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
  'load-url'                          = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
  'table-name'                        = 'runoob_tbl',
  'username'                          = 'test',
  'password'                          = '1qaz!QAZ',
  'sink.semantic'                     = 'exactly-once',
  'sink.properties.row_delimiter'     = '\x02',
  'sink.properties.column_separator'  = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
  'connector'     = 'mysql-cdc',
  'hostname'      = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
  'port'          = '3306',
  'username'      = 'test',
  'password'      = '123456',
  'database-name' = 'test_cdc',
  'table-name'    = 'runoob_tbl'
) */;

Simple modu

StarRocks, MySQL şemasından tablo özelliklerini otomatik olarak çıkarır: engine = olap, birincil anahtar MySQL'in birincil anahtarıyla eşleşir ve tüm birincil anahtar sütunlarında distributed by hash kullanılır. Bölüm oluşturulmaz. Bölümleme gerekiyorsa normal modu kullanın.

USE CATALOG sr;

CREATE TABLE IF NOT EXISTS runoob_tbl1 WITH (
  'starrocks.create.table.properties' = 'buckets 8',
  'starrocks.create.table.mode'       = 'simple',
  'database-name'                     = 'test_cdc',
  'jdbc-url'                          = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
  'load-url'                          = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
  'table-name'                        = 'runoob_tbl_sr',
  'username'                          = 'test',
  'password'                          = '1qaz!QAZ',
  'sink.buffer-flush.interval-ms'     = '5000',
  'sink.properties.row_delimiter'     = '\x02',
  'sink.properties.column_separator'  = '\x01'
) AS TABLE mysql.test_cdc.runoob_tbl /*+ OPTIONS (
  'connector'     = 'mysql-cdc',
  'hostname'      = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
  'port'          = '3306',
  'username'      = 'emr_test',
  'password'      = '123456',
  'database-name' = 'test_cdc',
  'table-name'    = 'runoob_tbl'
) */;

WITH yan tümcesi parametreleri


Parametre


Zorunlu


Açıklama


starrocks.create.table.properties


Evet


StarRocks tablosu oluşturulurken alan tanımlarından sonra eklenen tablo tanımı özellikleri — örneğin engine, anahtar türü ve buckets.


database-name


Evet


StarRocks veritabanı adı (bu örnekte test_cdc)


jdbc-url


Evet


StarRocks sorguları için JDBC URL'si. Biçim: jdbc:mysql://<FE-internal-endpoint>:9030. Dahili uç noktayı almak için bkz. View the instance list and details.


load-url


Evet


FE düğümünün HTTP yükleme uç noktası. Biçim: <FE-internal-endpoint>:8030. Dahili uç noktayı almak için bkz. View the instance list and details.


sink.semantic


Hayır


Teslimat semantiği. Sık tutarlılık için exactly-once olarak ayarlayın. Varsayılan: at-least-once.


starrocks.create.table.mode


Hayır


normal (varsayılan): starrocks.create.table.properties içinde engine, anahtar türünü ve buckets belirtin. simple: StarRocks engine, birincil anahtarı ve dağıtımı MySQL şemasından çıkarır; yalnızca buckets gerekir.


sink.properties.row_delimiter


Hayır


Özel satır sınırlayıcı (örneğin, \x02)


sink.properties.column_separator


Hayır


Özel sütun ayırıcı (örneğin, \x01)

vvr-6.0.5-flink-1.15 önceki bir Flink sürümü kullanıyorsanız WITH yan tümcesine 'sink.use.new-apiapi' = 'false' ekleyin. Diğer yapılandırma seçenekleri için bkz. Continuously load data from Apache Flink .

OPTIONS yan tümcesi parametreleri

Tüm örneklerde MySQL CDC bağlayıcı ayarlarını CTAS ifadesiyle birlikte satır içi iletmek için OPTIONS ipucu kullanılır.


Parametre


Açıklama


connector


mysql-cdc olarak ayarlayın


hostname


ApsaraDB RDS for MySQL örneğinin dahili uç noktası. ApsaraDB RDS konsolundaki Database Connection sayfasından kopyalayın.


port


MySQL bağlantı noktası numarası. Varsayılan: 3306


username


MySQL hesap adı (bu örnekte emr_test)


password


MySQL hesap parolası


table-name


Kaynak MySQL tablo adı (bu örnekte runoob_tbl)


database-name


Kaynak MySQL veritabanı adı (bu örnekte test_cdc)

Adım 4: Veri senkronizasyonunu doğrulayın

Kontrol noktası etkinleştirildiyse StarRocks'u sorgulamadan önce en fazla bir kontrol noktası aralığı kadar bekleyin.

İlk verileri doğrulayın

StarRocks'a bağlanın ve hedef tabloyu sorgulayın:

USE test_cdc;
SELECT * FROM runoob_tbl1;

Beklenen çıktı:

+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
|        18 | first        | tom           | 2022-06-22      |       3 |
+-----------+--------------+---------------+-----------------+---------+

Ekleme işlemlerini doğrulayın

MySQL'e bir satır ekleyin:

INSERT INTO runoob_tbl (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`)
VALUES (1, 'second', 'tom2', '2022-06-23', 1);

Satırın çoğaltıldığını onaylamak için StarRocks'u sorgulayın:

SELECT * FROM runoob_tbl1;

Beklenen çıktı:

+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
|         1 | second       | tom2          | 2022-06-23      |       1 |
|        18 | first        | tom           | 2022-06-22      |       3 |
+-----------+--------------+---------------+-----------------+---------+

Güncelleme işlemlerini doğrulayın

MySQL'de bir satırı güncelleyin:

UPDATE runoob_tbl SET runoob_title = 'new' WHERE runoob_id = 18;

Güncellemenin çoğaltıldığını onaylamak için StarRocks'u sorgulayın:

SELECT * FROM runoob_tbl1;

Beklenen çıktı:

+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
|         1 | second       | tom2          | 2022-06-23      |       1 |
|        18 | new          | tom           | 2022-06-22      |       3 |
+-----------+--------------+---------------+-----------------+---------+

Silme işlemlerini doğrulayın

MySQL'den bir satır silin:

DELETE FROM runoob_tbl WHERE runoob_id = 1;

Silme işleminin çoğaltıldığını onaylamak için StarRocks'u sorgulayın:

SELECT * FROM runoob_tbl1;

Beklenen çıktı:

+-----------+--------------+---------------+-----------------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col |
+-----------+--------------+---------------+-----------------+---------+
|        18 | new          | tom           | 2022-06-22      |       3 |
+-----------+--------------+---------------+-----------------+---------+

Şema değişikliklerini doğrulayın

MySQL'e boş bırakılabilir bir sütun ekleyin:

ALTER TABLE `runoob_tbl` ADD COLUMN `add_col2` INT;

Yeni sütunu dolduran bir satır ekleyin:

INSERT INTO runoob_tbl (`runoob_id`, `runoob_title`, `runoob_author`, `submission_date`, `add_col`, `add_col2`)
VALUES (1, 'second', 'tom2', '2022-06-23', 1, 2);

Şema değişikliğinin yayıldığını onaylamak için StarRocks'u sorgulayın:

SELECT * FROM runoob_tbl1;

Beklenen çıktı:

+-----------+--------------+---------------+-----------------+---------+---------+
| runoob_id | runoob_title | runoob_author | submission_date | add_col | add_co2 |
+-----------+--------------+---------------+-----------------+---------+---------+
|         1 | second       | tom2          | 2022-06-23      |       1 |       2 |
|        18 | new          | tom           | 2022-06-22      |       3 |    NULL |
+-----------+--------------+---------------+-----------------+---------+---------+

Yeni add_col2 sütunu StarRocks'ta görünür. Mevcut satır (runoob_id=18), o satır en son yazıldığında sütun mevcut olmadığından NULL gösterir.

CDAS'a giriş

CREATE DATABASE AS (CDAS) ifadesi, CTAS için sözdizimsel kolaylıktır. Tek bir CDAS ifadesi, tüm bir MySQL veritabanını veya seçili bir alt kümesini StarRocks'a aktaran tek bir Flink işi oluşturur. Belirli tabloları seçmek için INCLUDING TABLE yan tümcesini kullanın.

Önce MySQL ve StarRocks kataloglarını oluşturun (CTAS ile aynı şekilde), ardından CDAS ifadesini çalıştırın:

CREATE DATABASE IF NOT EXISTS sr_db WITH (
  'starrocks.create.table.properties' = 'buckets 8',
  'starrocks.create.table.mode'       = 'simple',
  'jdbc-url'                          = 'jdbc:mysql://fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:9030',
  'load-url'                          = 'fe-c-9b354c83e891****-internal.starrocks.aliyuncs.com:8030',
  'username'                          = 'test',
  'password'                          = '1qaz!QAZ',
  'sink.buffer-flush.interval-ms'     = '5000',
  'sink.properties.row_delimiter'     = '\x02',
  'sink.properties.column_separator'  = '\x01'
) AS DATABASE mysql.test_cdc INCLUDING TABLE
  'tabl1', 'tbl2', 'tbl3' /*+ OPTIONS (
  'connector'     = 'mysql-cdc',
  'hostname'      = 'rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com',
  'port'          = '3306',
  'username'      = 'test',
  'password'      = '123456',
  'database-name' = 'test_cdc'
) */;

Sonraki adımlar

  • Daha az yapılandırma adımıyla tüm bir veritabanındaki şema değişikliklerini senkronize etmek için CDAS kullanmayı değerlendirin. İfade sözdizimi ve parametreleri CTAS ile aynı deseni izler.

  • CTAS'nin ek alan türü eşlemelerini nasıl işlediğini öğrenmek için bkz. Continuously load data from Apache Flink.