Sinkronisasi real-time database MySQL lengkap ke Doris - DataWorks

Data Integration mendukung sinkronisasi real-time dari seluruh database sumber seperti MySQL dan PostgreSQL ke Doris. Topik ini menjelaskan cara menyinkronkan semua data dari database MySQL ke Doris dalam mode penuh dan inkremental, menggunakan MySQL sebagai sumber dan Doris sebagai tujuan.

Prasyarat

Anda telah membeli grup sumber daya tanpa server atau grup sumber daya eksklusif untuk Data Integration.
Anda telah membuat sumber data MySQL dan Doris. Untuk informasi lebih lanjut, lihat Buat Sumber Data untuk Data Integration.
Anda telah menetapkan konektivitas jaringan antara grup sumber daya dan sumber data. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.

Prosedur

1. Pilih jenis tugas sinkronisasi

Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Integration > Data Integration. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri, klik Sync Tasks, lalu klik Create Sync Task di bagian atas halaman untuk masuk ke halaman pembuatan tugas sinkronisasi. Konfigurasikan informasi dasar berikut:
- Data Source And Destination: MySQL→Doris
- New Task Name: Sesuaikan nama untuk tugas sinkronisasi.
- Synchronization Type: Real-time Seluruh Database.
- Synchronization Steps: Pilih kedua Full Synchronization dan Incremental Synchronization.

2. Konfigurasikan jaringan dan sumber daya

Di bagian Network And Resource Configuration, pilih Resource Group untuk tugas sinkronisasi. Anda dapat mengalokasikan jumlah CU untuk Task Resource Usage.
Untuk Source Data Source, pilih MySQL yang telah ditambahkan. Untuk Destination Data Source, pilih Doris yang telah ditambahkan, lalu klik Test Connectivity.
Setelah memastikan bahwa sumber data sumber dan tujuan terhubung dengan sukses, klik Next.

3. Pilih tabel dari mana Anda ingin menyinkronkan data

Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data di daftar Tabel Sumber dan klik ikon untuk memindahkan tabel yang dipilih ke daftar Tabel Terpilih.

4. Konfigurasikan pengaturan terkait tujuan

Setelah memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih secara otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan menunggu untuk dipetakan. Anda harus secara manual menentukan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Tindakan. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.

Catatan

Anda dapat memilih tabel yang akan disinkronkan dan klik Batch Refresh Mapping. Jika tidak ada aturan pemetaan yang dikonfigurasi, aturan nama tabel default adalah ${Nama tabel sumber}. Jika tabel dengan nama yang sama tidak ada di tujuan, tabel baru akan dibuat secara otomatis.
Di kolom Custom Destination Database Name Mapping, Anda dapat mengklik tombol Configure untuk menyesuaikan aturan nama basis data tujuan.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama basis data tujuan akhir. Anda dapat mengedit variabel bawaan. Sebagai contoh, ketika Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama basis data sumber untuk membentuk nama basis data tujuan.
Di kolom Custom Destination Table Name Mapping, Anda dapat mengklik tombol Edit untuk menyesuaikan aturan nama tabel tujuan.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Sebagai contoh, ketika Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.

a. Ubah pemetaan tipe data untuk bidang

Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di sudut kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.

b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut

Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut:

Tambahkan bidang ke satu atau lebih tabel tujuan.
- Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.
- Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke bidang. Anda dapat melakukan salah satu operasi berikut untuk memberikan nilai ke bidang:
- Berikan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, berikan nilai ke bidang.
- Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
Catatan
Anda dapat mengklik ikon untuk beralih metode penugasan nilai dan memberikan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.

c. Konfigurasikan aturan pemrosesan DML

Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.

Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.

4. Sesuaikan parameter lanjutan

Jika Anda perlu membuat konfigurasi detail halus untuk tugas agar memenuhi persyaratan sinkronisasi kustom, Anda dapat mengklik Custom Advanced Parameters di kolom Configure untuk memodifikasi parameter lanjutan.

Penting

Sebelum memodifikasi konfigurasi parameter lanjutan, pastikan Anda memahami arti dari parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.

5. Apakah akan melakukan sinkronisasi penuh

Jika Anda memilih Full Synchronization untuk Synchronization Steps saat memilih jenis tugas sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu di sini.

5. Konfigurasikan aturan peringatan

Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.

Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
Catatan
Aturan peringatan yang Anda konfigurasikan di langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.

6. Konfigurasikan parameter lanjutan

Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.

Catatan

Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti dari parameter sebelum mengubah nilai parameter tersebut.

Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.

7. Konfigurasikan aturan pemrosesan DDL

Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.

Catatan

Untuk informasi lebih lanjut, lihat Konfigurasikan Aturan untuk Memproses Pesan DDL.

8. Lihat dan ubah grup sumber daya

Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah grup sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.

9. Jalankan tugas sinkronisasi

Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses jalannya tugas sinkronisasi secara rinci.

Lakukan operasi O&M pada tugas sinkronisasi

Lihat status tugas sinkronisasi

Setelah Anda membuat tugas sinkronisasi, Anda dapat melihat daftar tugas sinkronisasi yang dibuat dan informasi dasar setiap tugas sinkronisasi di halaman tugas sinkronisasi.

Anda dapat Start atau Stop tugas sinkronisasi di kolom Operasi. Di Lebih Banyak, Anda dapat Edit, View, dan melakukan operasi lain pada tugas sinkronisasi.
Untuk tugas yang telah dimulai, Anda dapat melihat status dasar dari tugas yang sedang berjalan di Execution Overview, atau klik area ikhtisar yang sesuai untuk melihat detail eksekusi.
Tugas sinkronisasi real-time dari seluruh database MySQL ke Doris terdiri dari tiga langkah:
- Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
- Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.
- Sinkronisasi Real-time: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.

Jalankan ulang tugas sinkronisasi

Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lebih Banyak di kolom Actions tugas sinkronisasi lalu klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.

Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa mengubah konfigurasi tugas, klik Lebih Banyak di kolom Tindakan lalu klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.