Sinkronisasi real-time seluruh database MySQL ke DataHub - DataWorks

Data Integration mendukung sinkronisasi real-time seluruh database dari sumber seperti MySQL, Oracle, PolarDB, dan lainnya ke DataHub. Topik ini menjelaskan cara menyinkronkan data dari seluruh database MySQL ke DataHub dalam mode penuh maupun inkremental.

Prasyarat

Anda telah membeli kelompok sumber daya Serverless atau grup sumber daya eksklusif untuk Integrasi Data.
Anda telah membuat sumber data MySQL dan DataHub. Untuk informasi selengkapnya, lihat Buat sumber data untuk Data Integration.
Anda telah menetapkan konektivitas jaringan antara kelompok sumber daya dan sumber data. Untuk informasi selengkapnya, lihat Solusi konektivitas jaringan.

Prosedur

Langkah 1: Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Sync Tasks, lalu klik Create Sync Task di bagian atas halaman untuk membuka halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Data Source And Destination: MySQL→DataHub
- New Task Name: Sesuaikan nama tugas sinkronisasi.
- Synchronization Type: Entire Database Real-time.
- Synchronization Steps: Pilih Full Synchronization dan Incremental Synchronization.

Langkah 2: Konfigurasi jaringan dan sumber daya

Pada bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Untuk Source Data Source, pilih sumber data MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih sumber data DataHub yang telah ditambahkan, lalu klik Test Connectivity.
Setelah memastikan bahwa sumber dan tujuan terhubung dengan sukses, klik Next.

3. Pilih tabel dari mana Anda ingin menyinkronkan data

Pada langkah ini, Anda dapat memilih tabel dari daftar Source Table yang ingin disinkronkan, lalu klik ikon untuk memindahkan tabel yang dipilih ke daftar Selected Tables.

Langkah 4: Petakan tabel tujuan

Setelah memilih tabel sumber, tabel tersebut akan otomatis ditampilkan di bagian Mapping Rules for Destination Tables. Properti tabel tujuan menunggu untuk dipetakan. Anda harus menentukan pemetaan secara manual antara tabel sumber dan tabel tujuan untuk menetapkan hubungan pembacaan dan penulisan data. Setelah itu, Anda dapat mengklik Refresh di kolom Actions untuk memperbarui pemetaan antara tabel sumber dan tujuan, baik sebelum maupun setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel yang akan disinkronkan, lalu klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama Topik default adalah ${source_database_name}_${source_table_name}. Jika topik dengan nama tersebut belum ada di tujuan, topik baru akan dibuat secara otomatis.
Pada kolom Custom Destination Topic Name Mapping, Anda dapat mengklik tombol Edit untuk menyesuaikan aturan penamaan topik tujuan.
Anda dapat menggunakan variabel bawaan dan string yang dimasukkan secara manual untuk membentuk nama Topik tujuan akhir. Variabel bawaan tersebut dapat diedit. Misalnya, Anda dapat membuat aturan nama topik baru dengan menambahkan sufiks pada nama tabel sumber.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default telah tersedia antara tipe data bidang sumber dan tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Mapping Rules for Destination Tables untuk mengonfigurasi pemetaan tipe data sesuai kebutuhan bisnis. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai pada bidang tersebut

Jika tabel tujuan berstatus to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai padanya:

Tambahkan bidang ke satu atau beberapa tabel tujuan.
- Tambahkan bidang ke satu tabel tujuan: Temukan tabel tujuan yang ingin Anda tambahkan bidangnya, lalu klik ikon di kolom Destination Table Name. Pada kotak dialog yang muncul, tambahkan bidang.
- Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel-tabel tujuan yang ingin Anda tambahkan bidangnya, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai pada bidang tersebut. Anda dapat melakukan salah satu operasi berikut:
- Berikan nilai pada bidang yang ditambahkan ke satu tabel tujuan: Temukan tabel tujuan tempat Anda ingin memberikan nilai pada bidang baru, lalu klik Configure di kolom Value assignment. Pada kotak dialog Additional Field, berikan nilai pada bidang tersebut.
- Berikan nilai pada bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel-tabel tujuan tempat Anda ingin memberikan nilai pada bidang baru, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai pada bidang yang sama di semua tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk mengganti metode pemberian nilai serta memberikan konstanta dan variabel pada bidang yang ditambahkan ke tabel tujuan.

3. Sesuaikan parameter lanjutan

Jika Anda perlu melakukan konfigurasi detail halus pada tugas untuk memenuhi kebutuhan sinkronisasi khusus, Anda dapat mengklik tombol Configure di kolom Custom Advanced Parameters untuk mengubah parameter lanjutan.

Penting

Sebelum mengubah konfigurasi parameter lanjutan, pastikan Anda memahami makna parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.

5. Konfigurasi aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi berbagai aturan peringatan untuk tugas tersebut.

Di pojok kanan atas halaman, klik Configure Alert Rule untuk membuka panel Configure Alert Rule.
Di panel Configure Alert Rule, klik Add Alert Rule. Di kotak dialog Add Alert Rule, konfigurasikan parameter untuk menetapkan aturan peringatan.
Catatan
Aturan peringatan yang dikonfigurasi pada langkah ini berlaku untuk subtask sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk membuka halaman Tugas Sinkronisasi Real-time dan mengubah aturan peringatan untuk subtask tersebut.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang telah dibuat, serta menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasi parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasi untuk tugas sinkronisasi sesuai kebutuhan bisnis. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Maximum read connections untuk mencegah tugas sinkronisasi memberikan tekanan berlebihan pada database sumber dan memengaruhi produksi data.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan agar Anda memahami makna parameter sebelum mengubah nilainya.

Di pojok kanan atas halaman konfigurasi, klik Configure Advanced Parameters.
Di panel Configure Advanced Parameters, ubah nilai parameter yang diinginkan.

7. Konfigurasi aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan guna memproses pesan DDL dari sumber sesuai kebutuhan bisnis.

Catatan

Untuk informasi selengkapnya, lihat Konfigurasi aturan untuk memproses pesan DDL.

8. Lihat dan ubah kelompok sumber daya

Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes pada halaman Data Integration, temukan tugas sinkronisasi yang telah dibuat, lalu klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks untuk melihat proses eksekusi rinci dari tugas tersebut.

Lakukan operasi O&M pada solusi sinkronisasi data

Lihat status solusi sinkronisasi data

Setelah membuat tugas sinkronisasi, Anda dapat melihat daftar tugas beserta informasi dasarnya di halaman tugas sinkronisasi.

Anda dapat mengklik Start atau Stop tugas sinkronisasi di kolom Operation. Di menu More, Anda dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi.
Untuk tugas yang sedang berjalan, Anda dapat melihat status dasar eksekusi di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi real-time dari MySQL ke DataHub untuk seluruh database terdiri dari tiga langkah:
- Schema Migration: Tab ini menampilkan informasi seperti apakah tabel tujuan merupakan tabel baru atau yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel tersebut ditampilkan.
- Full Data Initialization: Tab ini menampilkan informasi seperti tabel sumber dan tujuan yang terlibat dalam sinkronisasi batch, progres sinkronisasi, serta jumlah catatan data yang telah disinkronkan.
- Real-time Data Synchronization: Tab ini menampilkan informasi statistik untuk sinkronisasi real-time (informasi berjalan, catatan DDL, dan informasi peringatan).

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik More di kolom Actions tugas sinkronisasi, lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan tersebut. Selama proses jalankan ulang, tugas hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau dari tabel sumber yang dipetakan ke tabel tujuan dengan skema atau nama yang diubah.

Jika Anda ingin menjalankan ulang tugas tanpa mengubah konfigurasi, klik More di kolom Actions, lalu klik Rerun untuk melakukan sinkronisasi penuh dan inkremental lagi.
Jika Anda ingin menjalankan ulang tugas setelah menambahkan atau menghapus tabel, klik Complete setelah perubahan tersebut. Dalam hal ini, Apply Updates akan muncul di kolom Actions. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas. Selama proses tersebut, hanya data dari tabel yang baru ditambahkan yang disinkronkan ke tujuan; data di tabel asli tidak disinkronkan ulang.