Ingesti Data Flink CDC dapat menyinkronkan skema dan data dari satu tabel, seluruh database, atau beberapa tabel dalam database yang sama. Topik ini menjelaskan cara menggunakan Realtime Compute for Apache Flink dan E-MapReduce (EMR) StarRocks untuk menyinkronkan data pemrosesan transaksi (TP) dan pemrosesan analitik (AP) dalam gudang data real-time berdasarkan Ingesti Data Flink CDC.
Latar Belakang
Ingesti Data Flink CDC dapat secara otomatis membuat tabel di StarRocks dengan skema yang sama seperti tabel MySQL dan menyinkronkan datanya. Fitur ini juga mereplikasi perubahan skema dari tabel upstream ke tabel downstream secara real-time, sehingga meningkatkan efisiensi pembuatan tabel di penyimpanan tujuan serta pemeliharaan skema tabel sumber.
Saat menjalankan Pekerjaan Ingesti Data Flink CDC, Flink melakukan langkah-langkah berikut:
Edit Pekerjaan ingesti data, lalu deploy dan mulai pekerjaan tersebut.
Setelah pekerjaan berjalan, Flink memeriksa apakah tabel tujuan sudah ada di penyimpanan tujuan.
Jika tabel tujuan belum ada, Flink secara otomatis membuatnya di penyimpanan tujuan dengan skema yang sama seperti sumber data.
Jika tabel tujuan sudah ada, proses pembuatan tabel dilewati.
Sinkronkan data dan perubahan skema dari sumber data ke tabel tujuan.
Pekerjaan Ingesti Data Flink CDC juga dapat menyinkronkan perubahan skema dari tabel sumber ke tabel tujuan saat data disinkronkan secara real-time. Kunjungi Konfigurasi evolusi skema untuk memilih kebijakan sinkronisasi yang berbeda. Untuk informasi lebih lanjut mengenai jenis perubahan yang didukung, lihat StarRocks Sink.
Jika terjadi perubahan skema yang tidak didukung, Anda dapat mengonfigurasi jenis perubahan skema yang ingin dilewati dalam konfigurasi sink untuk kompatibilitas. Untuk informasi lebih lanjut, lihat exclude.schema.changes.
Untuk mengubah definisi primary key tabel, menambahkan definisi partisi, memfilter data, atau menambahkan bidang metadata, gunakan modul transform. Untuk informasi lebih lanjut, lihat Modul Transform.
Untuk mengganti nama tabel atau menggabungkan beberapa tabel, gunakan modul route. Untuk informasi lebih lanjut, lihat Route.
Prasyarat
Realtime Compute for Apache Flink (Fully Managed) telah diaktifkan dan Kluster Flink telah dibuat. Untuk informasi lebih lanjut, lihat Aktifkan Realtime Compute for Apache Flink dan Pekerjaan Ingesti Data Flink CDC.
Anda telah membuat Kluster StarRocks. Untuk informasi lebih lanjut, lihat Buat kluster StarRocks.
Anda telah membuat instans ApsaraDB RDS for MySQL. Untuk informasi lebih lanjut, lihat Buat instans ApsaraDB RDS for MySQL.
Topik ini menggunakan MySQL 5.7, Kluster EMR-3.39.1 StarRocks, dan VVR 11.9 sebagai contoh.
Batasan
Kluster Flink, Kluster StarRocks, dan instans ApsaraDB RDS for MySQL harus di-deploy dalam virtual private cloud (VPC) yang sama.
ApsaraDB RDS for MySQL harus versi MySQL 5.7 atau yang lebih baru.
Akses publik harus diaktifkan untuk Kluster StarRocks.
Kluster Flink harus menjalankan vvr-11.9 atau versi yang lebih baru.
Langkah 1: Siapkan data uji
Buat database dan akun untuk pengujian. Untuk informasi lebih lanjut, lihat Buat akun dan database.
Setelah membuat database dan akun, berikan izin baca dan tulis pada database tersebut kepada akun uji.
CatatanDalam topik ini, database bernama test_cdc dan akun bernama test.
Hubungkan ke instans MySQL menggunakan akun uji yang telah dibuat. Untuk informasi lebih lanjut, lihat Gunakan DMS untuk login ke instans ApsaraDB RDS for MySQL.
Jalankan pernyataan berikut di MySQL untuk membuat tabel:
use test_cdc; CREATE TABLE IF NOT EXISTS `runoob_tbl`( `runoob_id` INT UNSIGNED AUTO_INCREMENT, `runoob_title` VARCHAR(100) NOT NULL, `runoob_author` VARCHAR(40) NOT NULL, `submission_date` DATE, `add_col` int DEFAULT NULL, PRIMARY KEY ( `runoob_id` ) )ENGINE=InnoDB DEFAULT CHARSET=utf8; INSERT INTO test_cdc.`runoob_tbl` (`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`) values (18,'first','tom','2022-06-22 17:13:44',3)Login ke Kluster StarRocks menggunakan SSH. Untuk informasi lebih lanjut, lihat Login ke kluster.
Jalankan perintah berikut untuk terhubung ke Kluster StarRocks:
mysql -h127.0.0.1 -P 9030 -urootJalankan pernyataan berikut untuk membuat pengguna dan memberikan izin:
CREATE DATABASE test_cdc; CREATE USER 'test' IDENTIFIED by '123456'; GRANT CREATE TABLE ON DATABASE test_cdc TO test;
Langkah 2: Kembangkan pekerjaan ingesti data Flink CDC di Realtime Compute for Apache Flink
Pada halaman Pengembangan Data > Ingesti Data di konsol Realtime Compute for Apache Flink, buat Pekerjaan ingesti data yang menyinkronkan data dari MySQL ke StarRocks. Untuk informasi lebih lanjut, lihat Pekerjaan Ingesti Data Flink CDC.
Parameter berikut hanya sebagai referensi. Konfigurasikan parameter berdasarkan kebutuhan bisnis aktual Anda.
Connector YAML hanya mendukung semantik at-least-once. Meskipun Anda secara eksplisit menentukan
sink.semantic: exactly-once, pengaturan tersebut akan ditimpa menjadiat-least-oncetanpa melaporkan error.
Kode berikut memberikan contoh sinkronisasi seluruh database. Untuk contoh skenario lainnya, lihat Contoh kode connector Ingesti Data StarRocks.
source: type: mysql hostname: rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com port: 3306 username: test password: 123456 server-id: 8601-8604 # Gunakan ekspresi reguler untuk mencocokkan nama tabel. Escape titik (.). tables: test_cdc.\.* # (Opsional) Sinkronkan data dari tabel yang baru dibuat pada fase inkremental. scan.binlog.newly-added-table.enabled: true # (Opsional) Sinkronkan komentar tabel dan komentar bidang. include-comments.enabled: true # (Opsional) Distribusikan chunk unbounded terlebih dahulu untuk mencegah potensi masalah out of memory (OOM) pada TaskManager. scan.incremental.snapshot.unbounded-chunk-first.enabled: true # (Opsional) Aktifkan penguraian dan pemfilteran untuk mempercepat pembacaan. scan.only.deserialize.captured.tables.changelog.enabled: true sink: type: starrocks jdbc-url: 172.16.**.**:9030 load-url: 172.16.**.**:8030 username: test password: 123456 # (Opsional) Untuk pekerjaan dengan volume data kecil, sebaiknya kurangi interval flush agar data tidak tertahan terlalu lama tanpa di-commit. Nilai default: 300000, yang berarti 5 menit. sink.buffer-flush.interval-ms: 5000 # (Opsional) Jumlah bucket untuk pembuatan tabel otomatis. Parameter ini harus dikonfigurasi secara eksplisit untuk StarRocks versi sebelum 2.5.7 dan dapat diinferensi secara otomatis pada versi yang lebih baru. table.create.num-buckets: 8 # (Opsional) Atur parameter ini ke 4 jika data upstream menggunakan set karakter utf8mb4 untuk mencegah pemotongan teks. Nilai default: 3. unicode-char.max-bytes: 4 # (Opsional) Jumlah replika untuk pembuatan tabel otomatis. Konfigurasikan nilai berdasarkan kluster Anda. table.create.properties.replication_num: 3 # (Opsional) Sebaiknya aktifkan parameter ini untuk StarRocks 3.2 atau yang lebih baru guna mempercepat perubahan skema. table.create.properties.fast_schema_evolution: true # Catatan: Jika Anda mengubah primary key menggunakan transform, Anda juga harus mengatur sink.ignore.update-before: false. # Jika tidak, baris dari primary key lama akan tetap ada di downstream.
Konfigurasi parameter
Konfigurasi Source
Parameter
Deskripsi
type
Jenis. Nilai tetap adalah mysql.
hostname
Titik akhir internal dari instans ApsaraDB RDS for MySQL. Anda dapat menyalin titik akhir internal pada halaman Koneksi Database dari instans tersebut. Contoh: rm-2zepd6e20u3od****.mysql.rds.aliyuncs.com.
port
Port layanan database MySQL. Nilai default: 3306.
username
Username layanan database MySQL.
Masukkan username akun yang dijelaskan di Langkah 1: Siapkan data uji. Dalam contoh ini, test digunakan.
password
Password layanan database MySQL.
Masukkan password akun yang dijelaskan di Langkah 1: Siapkan data uji.
server-id
ID numerik atau rentang ID dari client database yang digunakan untuk sinkronisasi data. ID harus unik secara global dalam kluster MySQL.
tables
Tabel MySQL yang akan disinkronkan. Nama tabel mendukung ekspresi reguler sehingga data dari beberapa tabel dapat dibaca.
scan.binlog.newly-added-table.enabled
Menentukan apakah akan mengirim data dari tabel baru yang sesuai dengan aturan pencocokan pada fase inkremental.
include-comments.enabled
Menentukan apakah akan menyinkronkan komentar tabel dan komentar bidang.
scan.incremental.snapshot.unbounded-chunk-first.enabled
Menentukan apakah akan mendistribusikan chunk unbounded terlebih dahulu pada fase pembacaan snapshot untuk mencegah potensi masalah out of memory (OOM) pada TaskManager.
scan.only.deserialize.captured.tables.changelog.enabled
Menentukan apakah hanya akan mendeserialisasi event perubahan dari tabel yang ditentukan pada fase inkremental.
Konfigurasi Sink
Parameter
Deskripsi
type
Jenis. Nilai tetap adalah starrocks.
jdbc-url
URL koneksi JDBC.
load-url
URL layanan HTTP yang digunakan untuk terhubung ke node frontend (FE).
username
Username layanan database StarRocks.
Masukkan username akun yang dijelaskan di Langkah 1: Siapkan data uji. Dalam contoh ini, test digunakan.
password
Password layanan database StarRocks.
Masukkan password akun yang dijelaskan di Langkah 1: Siapkan data uji.
sink.buffer-flush.interval-ms
Interval antara dua operasi flush berturut-turut pada setiap tabel.
table.create.num-buckets
Jumlah bucket untuk pembuatan tabel otomatis.
unicode-char.max-bytes
Jumlah byte yang dialokasikan untuk setiap karakter Unicode.
table.create.properties.*
Parameter tambahan yang akan diteruskan saat tabel dibuat secara otomatis. Dalam contoh,table.create.properties.replication_nummenentukan jumlah replika untuk pembuatan tabel otomatis, dantable.create.properties.fast_schema_evolutionmempercepat perubahan skema. Sebaiknya aktifkan parameter ini untuk StarRocks 3.2 atau yang lebih baru.
Langkah 3: Deploy pekerjaan
Di bagian Konfigurasi Lanjutan pada halaman pengembangan pekerjaan, pilih vvr-11.9 atau versi yang lebih baru.
Klik Deploy.
Pada halaman Administrasi Pekerjaan, klik START.
Langkah 4: Demonstrasi skenario
Kueri data
Login ke Kluster StarRocks menggunakan SSH. Untuk informasi lebih lanjut, lihat Login ke kluster.
Jalankan perintah berikut untuk terhubung ke Kluster StarRocks:
mysql -h127.0.0.1 -P 9030 -urootJalankan pernyataan berikut di jendela koneksi StarRocks untuk melakukan kueri data tabel:
use test_cdc; select * from runoob_tbl1;Hasil berikut menunjukkan bahwa data di MySQL telah disinkronkan ke StarRocks:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 18 | first | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Kueri data yang disisipkan
Jalankan pernyataan berikut di jendela database RDS untuk menyisipkan data:
INSERT INTO runoob_tbl(`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`) values(1,'second','tom2','2022-06-23',1)Jalankan pernyataan berikut di jendela koneksi StarRocks untuk melakukan kueri data tabel:
select * from runoob_tbl1;Hasil berikut menunjukkan bahwa data telah disisipkan:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 1 | second | tom2 | 2022-06-23 | 1 | | 18 | first | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Sinkronkan pembaruan data
Jalankan pernyataan berikut di jendela database RDS untuk memperbarui data:
update runoob_tbl set runoob_title= 'new' where runoob_id = 18Jalankan pernyataan berikut di jendela koneksi StarRocks untuk melakukan kueri data tabel:
select * from runoob_tbl1;Hasil berikut menunjukkan bahwa data telah diperbarui:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 1 | second | tom2 | 2022-06-23 | 1 | | 18 | new | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Sinkronkan penghapusan data
Jalankan pernyataan berikut di jendela database RDS untuk menghapus data:
DELETE FROM runoob_tbl WHERE runoob_id = 1Jalankan pernyataan berikut di jendela koneksi StarRocks untuk melakukan kueri data tabel:
select * from runoob_tbl1;Hasil berikut menunjukkan bahwa data telah dihapus:
+-----------+--------------+---------------+-----------------+---------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | +-----------+--------------+---------------+-----------------+---------+ | 18 | new | tom | 2022-06-22 | 3 | +-----------+--------------+---------------+-----------------+---------+
Tambahkan kolom nullable
Jalankan pernyataan berikut di jendela database RDS untuk menambahkan kolom nullable:
alter table `runoob_tbl` add COLUMN `add_col2` INT;Jalankan pernyataan berikut untuk menyisipkan data:
INSERT INTO runoob_tbl(`runoob_id`,`runoob_title`,`runoob_author`,`submission_date`,`add_col`,`add_col2`) values(1,'second','tom2','2022-06-23',1,2)Jalankan pernyataan berikut di jendela koneksi StarRocks untuk melakukan kueri data tabel:
select * from runoob_tbl1;Hasil berikut menunjukkan bahwa skema telah berubah:
+-----------+--------------+---------------+-----------------+---------+----------+ | runoob_id | runoob_title | runoob_author | submission_date | add_col | add_col2 | +-----------+--------------+---------------+-----------------+---------+----------+ | 18 | new | tom | 2022-06-22 | 3 | NULL | +-----------+--------------+---------------+-----------------+---------+----------+ | 1 | second | tom2 | 2022-06-23 | 1 | 2 | | 18 | first | tom | 2022-06-22 | 3 | NULL | +-----------+--------------+---------------+-----------------+---------+----------+