Topik ini menjelaskan cara menggunakan DataWorks Data Integration untuk menyinkronkan data penuh dan inkremental dari database MySQL ke ApsaraDB for OceanBase secara real-time.
Prasyarat
Sebuah kelompok sumber daya tanpa server atau sebuah kelompok sumber daya eksklusif untuk Data Integration telah dibeli.
Sumber data MySQL dan sumber data ApsaraDB for OceanBase telah ditambahkan ke DataWorks. Untuk informasi lebih lanjut, lihat Tambah dan Kelola Sumber Data di Data Integration.
Koneksi jaringan antara kelompok sumber daya dan sumber data telah dibuat. Untuk informasi lebih lanjut, lihat Solusi Konektivitas Jaringan.
Prosedur
1. Pilih jenis sinkronisasi
Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi kiri halaman Data Integration, klik Synchronization Task. Di bagian atas halaman Tugas Sinkronisasi, pilih jenis sumber dari daftar drop-down Sumber dan jenis tujuan dari daftar drop-down Tujuan, lalu klik Create Synchronization Task. Pada halaman yang muncul, konfigurasikan informasi dasar untuk tugas sinkronisasi.
Source And Destination: Secara terpisah pilih
MySQLdanApsaraDB for OceanBase.New Node Name: Tentukan nama untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda.
Synchronization Method: Pilih
Migrasi real-time seluruh database.Synchronization Mode: Pilih Full initialization dan Incremental synchronization.
2. Konfigurasikan pengaturan jaringan dan kelompok sumber daya
Di bagian Network and Resource Configuration, pilih resource group yang ingin digunakan untuk menjalankan tugas sinkronisasi, dan konfigurasikan parameter Task Resource Usage.
Di bagian Source, pilih
MySQLsumber data yang telah ditambahkan dari daftar drop-down Nama. Di bagian Destination, pilihApsaraDB for OceanBasesumber data yang telah ditambahkan dari daftar drop-down Nama. Kemudian, klik Test Connectivity.
Jika pengujian konektivitas jaringan berhasil, klik Next.
3. Pilih tabel dari mana Anda ingin menyinkronkan data
Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data dalam daftar Tabel Sumber dan klik ikon 
untuk memindahkan tabel yang dipilih ke daftar Tabel Terpilih.
4. Konfigurasikan pengaturan terkait tujuan
Setelah Anda memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih secara otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan menunggu untuk dipetakan. Anda harus secara manual mendefinisikan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Lalu, Anda dapat mengklik Refresh di kolom Tindakan. Anda dapat langsung menyegarkan pemetaan antara tabel sumber dan tabel tujuan. Anda juga dapat menyegarkan pemetaan setelah mengonfigurasi pengaturan terkait tabel tujuan.
Setelah Anda memilih tabel yang ingin disinkronkan, Anda dapat mengklik Batch Refresh Mapping Results. Jika Anda tidak mengonfigurasi aturan pemetaan untuk nama tabel tujuan, aturan default dalam format
${Nama Tabel}digunakan. Jika tidak ada tabel dengan nama yang sama di tujuan, sistem secara otomatis membuat satu di tujuan.Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengonfigurasi aturan pemetaan nama tabel tujuan sesuai kebutuhan bisnis Anda.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama database tujuan akhir. Anda dapat mengedit variabel bawaan. Misalnya, saat Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.
Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengonfigurasi aturan pemetaan untuk nama tabel tujuan berdasarkan kebutuhan bisnis Anda.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda dapat mengedit variabel bawaan. Misalnya, saat Anda membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.
a. Ubah pemetaan tipe data untuk bidang
Pemetaan default ada antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di pojok kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan berdasarkan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.
b. Ubah skema tabel tujuan untuk menambahkan bidang ke tabel dan menetapkan nilai ke bidang tersebut
Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan menetapkan nilai ke bidang tersebut:
Tambahkan bidang ke satu atau lebih tabel tujuan.
Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon
di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Tetapkan nilai ke bidang. Anda dapat melakukan salah satu dari operasi berikut untuk menetapkan nilai ke bidang:
Tetapkan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin menetapkan nilai ke bidang baru dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, tetapkan nilai ke bidang.
Tetapkan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin menetapkan nilai ke bidang baru, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk menetapkan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
CatatanAnda dapat mengklik ikon
untuk beralih metode penetapan nilai dan menetapkan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.
c. Konfigurasikan aturan pemrosesan DML
Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengonfigurasi aturan pemrosesan DML untuk tabel tujuan berdasarkan kebutuhan bisnis Anda.
Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.
4. Konfigurasikan parameter lanjutan
Jika Anda ingin membuat konfigurasi kustom granular untuk tugas sinkronisasi Anda, Anda dapat mengklik Configure di kolom Configure Advanced Parameters untuk memodifikasi konfigurasi parameter lanjutan.
Sebelum Anda memodifikasi konfigurasi parameter lanjutan, pastikan Anda memahami arti dari parameter tersebut untuk mencegah kesalahan tak terduga atau masalah kualitas data.
5. Tentukan apakah akan mengaktifkan tugas sinkronisasi untuk menyinkronkan data penuh
Jika Anda memilih Full initialization untuk parameter Synchronization Mode di 1. Pilih Jenis Sinkronisasi, Anda dapat menonaktifkan sinkronisasi penuh untuk tabel tertentu.
5. Konfigurasikan aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.
Di pojok kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola Tugas Sinkronisasi Real-Time untuk pergi ke halaman Tugas Sinkronisasi Real-Time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola Aturan Peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.
6. Konfigurasikan parameter lanjutan
Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi berdasarkan kebutuhan bisnis Anda. Misalnya, Anda dapat menentukan nilai yang sesuai untuk parameter Koneksi Baca Maksimum untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti dari parameter sebelum mengubah nilai parameter tersebut.
Di pojok kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.
7. Konfigurasikan aturan pemrosesan DDL
Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di pojok kanan atas halaman untuk mengonfigurasi aturan untuk memproses pesan DDL dari sumber berdasarkan kebutuhan bisnis Anda.
Untuk informasi lebih lanjut, lihat Konfigurasikan Aturan untuk Memproses Pesan DDL.
8. Lihat dan ubah kelompok sumber daya
Anda dapat mengklik Configure Resource Group di pojok kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
9. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses rinci pelaksanaan tugas sinkronisasi.
Lakukan operasi O&M pada tugas sinkronisasi
Lihat status pelaksanaan tugas sinkronisasi
Setelah tugas sinkronisasi dibuat, Anda dapat pergi ke halaman Tugas Sinkronisasi untuk melihat semua tugas sinkronisasi yang dibuat di ruang kerja dan informasi dasar dari setiap tugas sinkronisasi.
Anda dapat mengklik Start atau Stop di kolom Operasi untuk memulai atau menghentikan tugas sinkronisasi. Anda juga dapat mengklik Lebih Banyak di kolom Tindakan dan memilih Edit atau View untuk memodifikasi tugas sinkronisasi atau melihat informasi tentang tugas sinkronisasi.
Anda dapat mengklik Running Details di kolom Operasi untuk melihat detail pelaksanaan tugas sinkronisasi. Anda juga dapat mengklik bagian berbeda pada halaman detail pelaksanaan tugas sinkronisasi untuk melihat informasi terkait.
Tugas sinkronisasi memiliki tahap-tahap berikut:
Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel baru atau tabel yang sudah ada. Untuk tabel baru, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.
Sinkronisasi Real-time: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lebih Banyak di kolom Actions tugas sinkronisasi dan kemudian mengklik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses menjalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel baru yang ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.
Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa memodifikasi konfigurasi tugas, klik Lebih Banyak di kolom Tindakan dan kemudian klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi inkremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah Anda menambahkan tabel ke tugas atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses menjalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel baru yang ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.