Flink CDC veri alımı, tek bir tablonun, tüm bir veritabanının veya aynı veritabanındaki birden fazla tablonun şemasını ve verilerini senkronize edebilir. Bu konu, Flink CDC veri alımına dayalı olarak gerçek zamanlı bir veri ambarında işlem (TP) ve analitik (AP) verilerinin nasıl senkronize edileceğini açıklar.
Arka Plan
Flink CDC veri alımı, MySQL tablolarıyla aynı şemaya sahip tabloları StarRocks üzerinde otomatik olarak oluşturabilir ve verileri senkronize edebilir. Ayrıca kaynak tablolarındaki şema değişikliklerini gerçek zamanlı olarak hedef tablolara yansıtabilir. Bu sayede hedef depolama alanında tablo oluşturma ve kaynak tablo şemalarını sürdürme verimliliği artar.
Bir Flink CDC veri alımı işi çalıştırdığınızda Flink aşağıdaki adımları gerçekleştirir:
Veri alımı işini düzenleyin, ardından işi dağıtın ve başlatın.
-
İş çalışmaya başladıktan sonra Flink, hedef tablonun depolama alanında mevcut olup olmadığını kontrol eder.
Hedef tablo yoksa Flink, veri kaynağıyla aynı şemaya sahip olacak şekilde hedef tabloyu otomatik olarak oluşturur.
Hedef tablo zaten varsa tablo oluşturma işlemi atlanır.
Veri kaynağının verilerini ve şema değişikliklerini hedef tabloya senkronize eder.
Bir Flink CDC veri alımı işi, veriler gerçek zamanlı olarak senkronize edilirken kaynak tabloların şema değişikliklerini de hedef tablolara yansıtabilir. Farklı senkronizasyon ilkelerini seçmek için Şema evrimi yapılandırmaları bölümüne göz atabilirsiniz. Desteklenen değişiklik türleri hakkında daha fazla bilgi için StarRocks Sink konusuna bakın.
Desteklenmeyen bir şema değişikliği gerçekleşirse uyumluluk amacıyla sink yapılandırmasında atlanacak şema değişikliği türlerini belirtebilirsiniz. Daha fazla bilgi için exclude.schema.changes parametresine bakın.
Bir tablonun birincil anahtar tanımını değiştirmek, bölüm tanımı eklemek, verileri filtrelemek veya meta alanları eklemek istiyorsanız transform modülünü kullanın. Daha fazla bilgi için Transform modülü konusuna bakın.
Tabloları yeniden adlandırmak veya birden fazla tabloyu birleştirmek istiyorsanız route modülünü kullanın. Daha fazla bilgi için Route konusuna bakın.
Ön Koşullar
Realtime Compute for Apache Flink (Fully Managed) etkinleştirilmiş ve bir Flink kümesi oluşturulmuştur. Daha fazla bilgi için Realtime Compute for Apache Flink'i Etkinleştirme ve Flink CDC veri alımı işi konularına bakın.
Bir StarRocks kümesi oluşturulmuştur. Daha fazla bilgi için StarRocks Kümesi Oluşturma konusuna bakın.
Bir ApsaraDB RDS for MySQL örneği oluşturulmuştur. Daha fazla bilgi için ApsaraDB RDS for MySQL Örneği Oluşturma konusuna bakın.
Bu konuda örnek olarak MySQL 5,7, EMR-3.39.1 StarRocks kümesi ve VVR 11,9 kullanılmaktadır.
Sınırlamalar
Flink kümesi, StarRocks kümesi ve ApsaraDB RDS for MySQL örneği aynı sanal özel cloud (VPC) içinde konuşlandırılmalıdır.
ApsaraDB RDS for MySQL sürümü 5,7 veya üzeri olmalıdır.
StarRocks kümesi için genel erişim etkinleştirilmiş olmalıdır.
Flink kümesi vvr-11,9 veya üzeri bir sürümde çalışmalıdır.
Adım 1: Test verilerini hazırlama
-
Test amaçlı bir veritabanı ve hesap oluşturun. Daha fazla bilgi için Hesap ve Veritabanı Oluşturma konusuna bakın.
Veritabanını ve hesabı oluşturduktan sonra test hesabına veritabanı üzerinde okuma ve yazma izinleri vermelisiniz.
NotBu konuda veritabanı adı test_cdc, hesap adı ise test olarak belirlenmiştir.
Oluşturduğunuz test hesabını kullanarak MySQL örneğine bağlanın. Daha fazla bilgi için DMS Kullanarak ApsaraDB RDS for MySQL Örneğinde Oturum Açma konusuna bakın.
-
MySQL'de bir tablo oluşturmak için aşağıdaki deyimi çalıştırın:
use test_cdc; CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, `add_col` int DEFAULT NULL, PRIMARY KEY ( `runoob_id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO test_cdc.`runoob_tbl` (`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`) values (18,'first','tom','2022-06-22 17:13:44',3) SSH kullanarak StarRocks kümesinde oturum açın. Daha fazla bilgi için Kümede Oturum Açma konusuna bakın.
-
StarRocks kümesine bağlanmak için aşağıdaki komutu çalıştırın:
mysql -h127.0.0.1 -P 9030 -uroot -
Kullanıcı oluşturmak ve izin vermek için aşağıdaki deyimleri çalıştırın:
CREATE DATABASE test_cdc; CREATE USER 'test' IDENTIFIED by '123456'; GRANT CREATE TABLE ON DATABASE test_cdc TO test;
Adım 2: Realtime Compute for Apache Flink'te Flink CDC veri alımı işi geliştirme
Realtime Compute for Apache Flink konsolunun Data Development > Data Ingestion sayfasında MySQL'den StarRocks'a veri senkronize eden bir veri alımı işi oluşturun. Daha fazla bilgi için Flink CDC veri alımı işi konusuna bakın.
Parametreler yalnızca referans içindir. Parametreleri kendi iş gereksinimlerinize göre yapılandırın.
YAML konektörü yalnızca at-least-once semantiğini destekler. Açıkça
sink.semantic: exactly-oncebelirtseniz bile ayarat-least-onceolarak üzerine yazılır ve hata raporlanmaz.
-
Aşağıdaki kod, tüm veritabanı senkronizasyonu için bir örnek sunar. Diğer senaryolara ilişkin daha fazla örnek için StarRocks veri alımı konektörü kod örnekleri konusuna bakın.
-
source: type: mysql hostname: rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com port: 3306 username: test password: 123456 server-id: 8601-8604 # Use a regular expression to match table names. Escape the dot (.). tables: test_cdc.\.* # (Optional) Synchronize data of newly created tables in the incremental phase. scan.binlog.newly-added-table.enabled: true # (Optional) Synchronize table comments and field comments. include-comments.enabled: true # (Optional) Distribute unbounded chunks first to prevent potential TaskManager out of memory (OOM) issues. scan.incremental.snapshot.unbounded-chunk-first.enabled: true # (Optional) Enable parsing and filtering to accelerate reads. scan.only.deserialize.captured.tables.changelog.enabled: true sink: type: starrocks jdbc-url: 172.16.**.**:9030 load-url: 172.16.**.**:8030 username: test password: 123456 # (Optional) For jobs with a small data volume, we recommend that you decrease the flush interval to prevent data from remaining uncommitted for an extended period of time. Default value: 300000, which indicates 5 minutes. sink.buffer-flush.interval-ms: 5000 # (Optional) The number of buckets for automatic table creation. This parameter must be explicitly configured for StarRocks earlier than 2.5.7 and can be automatically inferred in later versions. table.create.num-buckets: 8 # (Optional) Set this parameter to 4 if the upstream data uses the utf8mb4 character set to prevent text truncation. Default value: 3. unicode-char.max-bytes: 4 # (Optional) The number of replicas for automatic table creation. Configure the value based on your cluster. table.create.properties.replication_num: 3 # (Optional) We recommend that you enable this parameter for StarRocks 3.2 or later to accelerate schema changes. table.create.properties.fast_schema_evolution: true # Note: If you change the primary key by using transform, you must also set sink.ignore.update-before: false. # Otherwise, the rows of the old primary key remain in the downstream.
-
-
Parametre yapılandırmaları
-
Kaynak yapılandırmaları
Parametre
Açıklama
type
Tür. Sabit değer mysql'dir.
hostname
ApsaraDB RDS for MySQL örneğinin dahili uç noktası. Uç noktayı örneğin Database Connections sayfasından kopyalayabilirsiniz. Örnek: rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com.
port
MySQL veritabanı hizmetinin bağlantı noktası. Varsayılan değer: 3306.
usernameMySQL veritabanı hizmetinin kullanıcı adı.
Adım 1: Test verilerini hazırlama bölümünde açıklanan hesabın kullanıcı adını girin. Bu örnekte test kullanılmıştır.
passwordMySQL veritabanı hizmetinin parolası.
Adım 1: Test verilerini hazırlama bölümünde açıklanan hesabın parolasını girin.
server-id
Veri senkronizasyonu için kullanılan veritabanı istemcisinin sayısal kimliği veya kimlik aralığı. Kimliğin MySQL kümesinde genel olarak benzersiz olması gerekir.
tables
Senkronize edilecek MySQL tabloları. Tablo adları düzenli ifadeleri destekler; bu sayede birden fazla tablonun verisi okunabilir.
scan.binlog.newly-added-table.enabled
Eşleşme kuralına uyan yeni eklenen tabloların verilerinin artımlı aşamada gönderilip gönderilmeyeceğini belirtir.
include-comments.enabled
Tablo açıklamalarının ve alan açıklamalarının senkronize edilip edilmeyeceğini belirtir.
scan.incremental.snapshot.unbounded-chunk-first.enabled
Anlık görüntü okuma aşamasında potansiyel TaskManager bellek yetersizliği (OOM) sorunlarını önlemek için sınırsız parçaların öncelikli olarak dağıtılıp dağıtılmayacağını belirtir.
scan.only.deserialize.captured.tables.changelog.enabled
Artımlı aşamada yalnızca belirtilen tabloların değişiklik olaylarının seri durumdan çıkarılıp çıkarılmayacağını belirtir. -
Sink yapılandırmaları
Parametre
Açıklama
type
Tür. Sabit değer starrocks'tur.
jdbc-url
JDBC bağlantısının URL'si.
load-url
Frontend (FE) düğümüne bağlanmak için kullanılan HTTP hizmetinin URL'si.
usernameStarRocks veritabanı hizmetinin kullanıcı adı.
Adım 1: Test verilerini hazırlama bölümünde açıklanan hesabın kullanıcı adını girin. Bu örnekte test kullanılmıştır.
passwordStarRocks veritabanı hizmetinin parolası.
Adım 1: Test verilerini hazırlama bölümünde açıklanan hesabın parolasını girin.
sink.buffer-flush.interval-ms
Her tabloda ardışık iki flush işlemi arasındaki süre.
table.create.num-buckets
Otomatik tablo oluşturma için bucket sayısı.
unicode-char.max-bytes
Her Unicode karakterine ayrılan bayt sayısı.
table.create.properties.*
Tablolar otomatik olarak oluşturulurken geçirilecek ek parametreler. Örnekte table.create.properties.replication_num otomatik tablo oluşturma için çoğaltma sayısını belirtir ve table.create.properties.fast_schema_evolution şema değişikliklerini hızlandırır. StarRocks 3,2 veya üzeri sürümler için bu parametreyi etkinleştirmenizi öneririz.
-
Adım 3: İşi dağıtma
İş geliştirme sayfasının Advanced Configurations bölümünde vvr-11,9 veya üzeri bir sürüm seçin.
Deploy seçeneğine tıklayın.
Job Administration sayfasında START seçeneğine tıklayın.
Adım 4: Senaryo gösterimi
Verileri sorgulama
SSH kullanarak StarRocks kümesinde oturum açın. Daha fazla bilgi için Kümede Oturum Açma konusuna bakın.
-
StarRocks kümesine bağlanmak için aşağıdaki komutu çalıştırın:
mysql -h127.0.0.1 -P 9030 -uroot -
StarRocks bağlantı penceresinde tablo verilerini sorgulamak için aşağıdaki deyimi çalıştırın:
use test_cdc; select * from runoob_tbl1;Aşağıdaki sonuç, MySQL'deki verilerin StarRocks ile senkronize edildiğini gösterir:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 18 | first | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Eklenen verileri sorgulama
-
RDS veritabanı penceresinde veri eklemek için aşağıdaki deyimi çalıştırın:
INSERT INTO runoob_tbl(`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`) values(1,'second','tom2','2022-06-23',1) -
StarRocks bağlantı penceresinde tablo verilerini sorgulamak için aşağıdaki deyimi çalıştırın:
select * from runoob_tbl1;Aşağıdaki sonuç, verilerin eklendiğini gösterir:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 1 | second | tom2 | 2022-06-23 | 1 | | 18 | first | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Veri güncellemelerini senkronize etme
-
RDS veritabanı penceresinde verileri güncellemek için aşağıdaki deyimi çalıştırın:
update runoob_tbl set runoob_title= 'new' where runoob_id = 18 -
StarRocks bağlantı penceresinde tablo verilerini sorgulamak için aşağıdaki deyimi çalıştırın:
select * from runoob_tbl1;Aşağıdaki sonuç, verilerin güncellendiğini gösterir:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 1 | second | tom2 | 2022-06-23 | 1 | | 18 | new | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Veri silmelerini senkronize etme
-
RDS veritabanı penceresinde verileri silmek için aşağıdaki deyimi çalıştırın:
DELETE FROM runoob_tbl WHERE runoob_id = 1 -
StarRocks bağlantı penceresinde tablo verilerini sorgulamak için aşağıdaki deyimi çalıştırın:
select * from runoob_tbl1;Aşağıdaki sonuç, verilerin silindiğini gösterir:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 18 | new | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Null değere izin veren bir sütun ekleme
-
RDS veritabanı penceresinde null değere izin veren bir sütun eklemek için aşağıdaki deyimi çalıştırın:
alter table `runoob_tbl` add COLUMN `add_col2` INT; -
Veri eklemek için aşağıdaki deyimi çalıştırın:
INSERT INTO runoob_tbl(`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`,`add_col2`) values(1,'second','tom2','2022-06-23',1,2) -
StarRocks bağlantı penceresinde tablo verilerini sorgulamak için aşağıdaki deyimi çalıştırın:
select * from runoob_tbl1;Aşağıdaki sonuç, şemanın değiştirildiğini gösterir:
+-----------+--------------+---------------+-----------------+---------+----------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | add_col2 | +-----------+--------------+---------------+-----------------+---------+----------+ | 18 | new | tom | 2022-06-22 | 3 | NULL | +-----------+--------------+---------------+-----------------+---------+----------+ | 1 | second | tom2 | 2022-06-23 | 1 | 2 | | 18 | first | tom | 2022-06-22 | 3 | NULL | +-----------+--------------+---------------+-----------------+---------+----------+