Sinkronisasi semua data dalam database MySQL ke Hologres secara real-time - DataWorks

Data Integration mendukung sinkronisasi real-time seluruh database dari sumber data seperti ApsaraDB for OceanBase, MySQL, Oracle, dan PolarDB ke Hologres. Topik ini menggunakan MySQL sebagai sumber dan Hologres sebagai tujuan untuk menjelaskan cara menyinkronkan data penuh dan inkremental dari seluruh database MySQL ke Hologres.

Prasyarat

Anda telah membeli kelompok sumber daya Serverless atau grup sumber daya eksklusif untuk Data Integration.
Anda telah membuat sumber data MySQL dan Hologres. Untuk informasi selengkapnya, lihat Buat sumber data di Data Integration.
Anda telah menetapkan konektivitas jaringan antara kelompok sumber daya dan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Perhatian

Saat menyinkronkan data dari MySQL ke Hologres, Anda hanya dapat menulis data ke tabel partisi anak.

Prosedur

1. Pilih jenis sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri, klik Synchronization Task, lalu klik Create Synchronization Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Source And Destination: MySQL→Hologres
- New Node Name: Tentukan nama untuk tugas sinkronisasi.
- Synchronization Method: Real-time migration of entire database.
- Synchronization Mode: Pilih Full Initialization dan Incremental Synchronization.

2. Konfigurasi jaringan dan sumber daya

Pada bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan sejumlah unit komputasi (CUs) untuk Task Resource Usage.
Source: Pilih sumber data MySQL yang telah ditambahkan. Destination: Pilih sumber data Hologres yang telah ditambahkan, lalu klik Test Connectivity.
Setelah memastikan bahwa sumber data dan tujuan terhubung dengan sukses, klik Next.

3. Pilih tabel yang ingin Anda sinkronkan datanya

Pada langkah ini, Anda dapat memilih tabel yang ingin disinkronkan di bagian Source Table dan klik ikon untuk memindahkannya ke bagian Selected Tables di sebelah kanan.

Select Specific Tables:
- Di bidang Database Filter dan Table Filter pada tabel sumber, Anda dapat memfilter database dan tabel dengan memasukkan informasi karakteristik nama database atau nama tabel. Pilih semua database dan tabel yang ingin Anda sinkronkan, lalu klik ikon untuk memindahkannya ke bagian Selected Tables.
- Di bagian Selected Tables, Anda dapat memfilter database dan tabel yang tidak ingin disinkronkan dengan memasukkan informasi karakteristik di bidang Database Filter dan Table Filter. Pilih semua database dan tabel yang tidak ingin disinkronkan, lalu klik ikon untuk memindahkannya kembali ke bagian Source Table.
Use Regular Expression To Select Tables (Support Adding Or Removing Tables By Regular Expression During Runtime):
Filter tabel menggunakan ekspresi reguler yang dikonfigurasi di bidang Database Filter dan Table Filter. Klik Confirm Selection untuk memilih database dan tabel yang ingin Anda sinkronkan.
Catatan
Misalnya, jika Anda ingin memfilter dan menyinkronkan database dengan nama yang memiliki awalan a dan tabel dengan nama yang memiliki awalan order, Anda dapat memasukkan di Database Filtera.*Table Filter bidang dan order.* di bidang Table Filter.

4. Konfigurasi pengaturan terkait tujuan

Setelah memilih tabel yang ingin disinkronkan, tabel tersebut akan otomatis ditampilkan di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan antara tabel sumber dan tabel tujuan secara manual untuk menetapkan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Actions untuk langsung merefresh pemetaan antara tabel sumber dan tabel tujuan, atau setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel yang ingin disinkronkan dan mengklik Batch Refresh Mapping Results. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama tabel default adalah ${Table name}. Jika tabel dengan nama yang sama tidak ada di tujuan, sistem akan membuatnya secara otomatis.
Anda dapat mengklik Configure di kolom Customize Mapping Rules For Destination Schema Names untuk menyesuaikan aturan nama skema tujuan.
Anda dapat menggabungkan variabel bawaan dan string yang dimasukkan secara manual menjadi Destination Schema Name akhir. Anda dapat mengedit variabel bawaan. Misalnya, Anda dapat membuat aturan nama skema baru yang menambahkan akhiran ke nama database sumber untuk membentuk Destination Schema Name.
Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengonfigurasi aturan pemetaan nama tabel tujuan sesuai kebutuhan bisnis Anda.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Misalnya, saat membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default sudah tersedia antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Mapping Rules for Destination Tables untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan sesuai kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut

Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut:

Tambahkan bidang ke satu atau beberapa tabel tujuan.
- Tambahkan bidang ke satu tabel tujuan: Temukan tabel tujuan yang ingin Anda tambahkan bidangnya dan klik ikon di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.
- Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan yang ingin Anda tambahkan bidangnya, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke bidang tersebut. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai ke bidang tersebut:
- Berikan nilai ke bidang yang ditambahkan ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Additional Field, berikan nilai ke bidang tersebut.
- Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan tempat Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk mengganti metode pemberian nilai dan memberikan konstanta serta variabel ke bidang yang ditambahkan ke tabel tujuan.

c. Konfigurasi aturan pemrosesan DML

Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan sesuai kebutuhan bisnis Anda.

Konfigurasi aturan pemrosesan DML untuk satu tabel tujuan: Temukan tabel tujuan yang ingin Anda konfigurasi aturan pemrosesan DML-nya dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasi aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan yang ingin Anda konfigurasi aturan pemrosesan DML-nya, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

4. Konfigurasi parameter lanjutan

Jika Anda ingin melakukan konfigurasi detail halus untuk memenuhi kebutuhan bisnis Anda, Anda dapat mengklik Configure di kolom Custom Advanced Parameters untuk mengubah parameter lanjutan.

Penting

Sebelum mengubah konfigurasi parameter lanjutan, pastikan Anda memahami arti parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.

5. Konfigurasi kolom pemisahan sumber

Anda dapat memilih bidang dari tabel sumber di daftar drop-down Source Split Column atau memilih No Split.

6. Tentukan apakah akan melakukan sinkronisasi penuh

Jika Anda memilih Full Initialization untuk parameter Synchronization Mode saat memilih jenis sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di sini.

5. Konfigurasi aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas sinkronisasi.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Di panel Configure Alert Rule, klik Add Alert Rule. Di kotak dialog Add Alert Rule, konfigurasikan parameter untuk mengatur aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasi pada langkah ini berlaku untuk subtask sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasi untuk subtask sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasi parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasi untuk tugas sinkronisasi sesuai kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Maximum read connections untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebihan pada database sumber dan memengaruhi produksi data.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami menyarankan agar Anda memahami arti parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Di panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

7. Konfigurasi aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis Anda.

Catatan

Untuk informasi selengkapnya, lihat Konfigurasi aturan untuk memproses pesan DDL.

8. Lihat dan ubah kelompok sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes pada halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses berjalan rinci dari tugas sinkronisasi tersebut.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status tugas sinkronisasi

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang telah dibuat dan informasi dasar tentang setiap tugas sinkronisasi di halaman Synchronization Task.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Actions. Anda juga dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi dari daftar drop-down More.
Untuk tugas yang telah dijalankan, Anda dapat melihat status dasar tugas di bagian Execution Overview. Anda juga dapat mengklik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi real-time dari MySQL ke Hologres terdiri dari tiga tahap:
- Schema Migration: Tab ini menampilkan informasi seperti apakah tabel tujuan merupakan tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel tersebut ditampilkan.
- Full Data Initialization: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, progres sinkronisasi, dan jumlah catatan data yang telah disinkronkan.
- Real-time Synchronization: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk progres sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan tersebut. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik More di kolom Actions lalu klik Rerun untuk menjalankan ulang tugas guna melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan atau menghapus tabel dari tugas, klik Complete setelah perubahan tersebut. Dalam hal ini, Apply Updates akan ditampilkan di kolom Actions tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.