Templat sinkronisasi data - Realtime Compute for Apache Flink

Konektor Flink CDC dapat digunakan untuk menyinkronkan data dan perubahan skema tabel secara real-time. Template sinkronisasi data memungkinkan Anda menghasilkan kode SQL penyebaran Flink dengan cepat untuk sinkronisasi data. Topik ini menjelaskan cara menggunakan template sinkronisasi multi-database multi-tabel atau template penggabungan data terpecah untuk menyinkronkan data.

Informasi latar belakang

Realtime Compute for Apache Flink mendukung metode sinkronisasi data berikut: sinkronisasi multi-database multi-tabel dan penggabungan data terpecah. Tabel berikut menjelaskan perbedaan antara kedua metode tersebut.

Metode sinkronisasi	Deskripsi
Sinkronisasi multi-database dan multi-tabel	Jika Anda ingin menyinkronkan satu atau lebih tabel data bisnis dari satu atau lebih database ke database lain secara real-time, Anda dapat menggunakan template sinkronisasi multi-database multi-tabel. Konektor Flink CDC dapat secara otomatis menyinkronkan data penuh dan inkremental dari seluruh database. Konektor Flink CDC juga dapat menyinkronkan perubahan skema setiap tabel sumber, seperti kolom yang ditambahkan, ke tabel tujuan secara real-time. Template sinkronisasi multi-database multi-tabel mengonversi parameter Anda menjadi pernyataan CREATE DATABASE AS. Untuk informasi lebih lanjut tentang pernyataan CREATE DATABASE AS, lihat CREATE DATABASE AS (CDAS).
Penggabungan data terpecah	Jika data bisnis Anda tersebar di database atau tabel bisnis yang berbeda, Anda perlu menggabungkan beberapa tabel dalam database terpecah untuk menyinkronkan data dari tabel yang memiliki skema serupa ke satu tabel tujuan. Konektor Flink CDC dapat secara otomatis menyinkronkan data penuh dan inkremental dari semua pecahan tabel dalam database terpecah dari database sumber. Tabel-tabel tersebut mencakup tabel baru yang memenuhi ekspresi reguler. Konektor Flink CDC juga dapat menyinkronkan perubahan skema tabel setiap tabel sumber, seperti kolom yang ditambahkan, ke tabel tujuan secara real-time. Template penggabungan data terpecah mengonversi parameter Anda menjadi pernyataan CREATE TABLE AS. Untuk informasi lebih lanjut tentang pernyataan CREATE TABLE AS, lihat CREATE TABLE AS (CTAS).

Batasan

Konektor Flink CDC hanya mendukung sinkronisasi data dari MySQL ke Hologres.

Peringatan

Jika Anda menggunakan konektor Flink CDC untuk menyinkronkan data dari MySQL ke Hologres, perubahan skema tabel juga akan disinkronkan. Untuk informasi lebih lanjut, lihat CREATE TABLE AS (CTAS). Jika Anda ingin menyinkronkan data dari MySQL ke Hologres, perhatikan hal-hal berikut:

Anda tidak perlu membuat tabel secara manual di Hologres.
Realtime Compute for Apache Flink secara otomatis membuat tabel di Hologres. Namun, jika tabel yang diperlukan sudah ada di Hologres, Realtime Compute for Apache Flink akan menyinkronkan data berdasarkan database dan tabel tujuan yang dipilih selama pembuatan rencana.
Hologres tidak mengizinkan modifikasi tipe data kolom.
Jika tipe data bidang saat ini berbeda dari tipe data tabel Hologres, penulisan data akan gagal. Dalam kasus ini, Anda harus memodifikasi tipe data kolom dan menyinkronkan data kembali.

Untuk informasi lebih lanjut tentang tabel hasil Hologres, lihat Buat Tabel Hasil Hologres.

Prosedur

Masuk ke Konsol Realtime Compute for Apache Flink.
Temukan ruang kerja yang ingin Anda kelola dan klik Console di kolom Actions.
Di bilah navigasi sebelah kiri, klik Development > ETL. Klik ikon dan pilih New Draft with Template.
Pada kotak dialog New Draft, klik tab Flink CDC. Pilih kartu Data Synchronization from MySQL to Hologres, lalu klik Next.

Konfigurasikan informasi sinkronisasi data.

Konfigurasikan parameter sumber dan sink, lalu klik Next.

Pilih Sumber dan Tujuan

Kategori	Parameter	Deskripsi
Sumber	Katalog MySQL	Anda dapat memilih katalog MySQL yang telah Anda buat. Jika tidak ada katalog MySQL, klik Create Catalog. Untuk informasi lebih lanjut tentang cara membuat katalog MySQL, lihat Kelola katalog MySQL.
Sumber	ID server MySQL	Masukkan ID unik untuk setiap klien database MySQL. Nilai valid: 5400 hingga 6400. Parameter ini juga dapat diatur ke rentang ID, seperti 5400-5408. Jika Anda mengaktifkan pembacaan paralel dalam mode pembacaan inkremental, kami sarankan Anda menetapkan parameter ini ke rentang nilai untuk memastikan bahwa ID server untuk setiap utas paralel unik. Penting Kami sarankan Anda tidak menggunakan ID server yang sama untuk penyebaran atau layanan berbeda yang mengakses database.
Sink	Katalog Hologres	Anda dapat memilih katalog Hologres yang telah Anda buat. Jika tidak ada katalog Hologres, klik Create Catalog. Untuk informasi lebih lanjut, lihat Kelola katalog Hologres.

Buat rencana.
- Sinkronisasi Multi-Database dan Multi-Tabel
  1. Di tab To Single Database, pilih nama database dan tabel sumber.
  2. Klik Save Plan untuk melihat daftar rencana.
    Catatan
    Saat melakukan sinkronisasi multi-database dan multi-tabel, sistem menggunakan template ini untuk membuat database dan tabel dengan nama yang sama seperti pada katalog sumber di katalog tujuan. Secara default, database dan tabel yang dibuat disinkronkan ke skema publik. Jika Anda ingin mengubah nama database, tabel, atau skema, kami sarankan menggunakan pernyataan SQL. Untuk informasi lebih lanjut tentang cara mengubah nama database atau tabel, lihat CREATE TABLE AS (CTAS) dan CREATE DATABASE AS (CDAS). Untuk informasi lebih lanjut tentang cara menentukan skema, lihat Gunakan Katalog Hologres yang Anda buat sebagai katalog toko tujuan dalam pernyataan CREATE DATABASE AS. Setelah menentukan skema, format nama tabel berubah jika Anda menggunakan katalog terkait. Untuk informasi lebih lanjut, lihat Kelola Katalog Hologres.
  3. Klik Next.
  4. Lihat kode SQL yang dihasilkan berdasarkan database dan tabel tujuan yang dipilih.
    Anda dapat memodifikasi parameter Name, Location, atau Engine Version sesuai dengan kebutuhan bisnis Anda.
- Penggabungan Data Terpecah
  1. Di tab To Multiple Databases, pilih nama database dan tabel sumber, atau masukkan nama database dan tabel tujuan.
    Catatan
    Kami sarankan menggunakan ekspresi reguler untuk menentukan database sumber dan tabel sumber.
  2. Klik Save Plan dan lihat daftar rencana.
    Anda dapat membuat beberapa rencana untuk sinkronisasi multi-database multi-tabel dan penggabungan data terpecah secara bersamaan dalam draf. Gambar berikut menunjukkan contohnya.
  3. Klik Next.
  4. Lihat kode SQL yang dihasilkan berdasarkan database dan tabel tujuan yang dipilih.
    Anda dapat memodifikasi parameter Name, Location, atau Engine Version sesuai dengan kebutuhan bisnis Anda.

Klik Create.
Setelah mengklik Create, Anda akan dialihkan ke halaman Editor SQL. Langkah selanjutnya sama dengan operasi yang diperlukan untuk mengembangkan penyebaran umum. Untuk informasi lebih lanjut tentang konfigurasi parameter dan langkah selanjutnya, lihat Kembangkan Draf SQL dan Mulai Penyebaran.