Data Integration memungkinkan Anda menyinkronkan data dari berbagai sumber, seperti ApsaraDB for OceanBase, MySQL, Oracle, atau PolarDB, ke AnalyticDB for MySQL V3.0 secara real-time. Topik ini menjelaskan cara menggunakan DataWorks Data Integration untuk menyinkronkan data penuh dan incremental dari database MySQL ke AnalyticDB for MySQL V3.0 secara real-time.
Prasyarat
Sebuah kelompok sumber daya serverless atau sebuah kelompok sumber daya eksklusif untuk Data Integration telah dibeli.
Sebuah sumber data MySQL dan sumber data AnalyticDB for MySQL V3.0 telah ditambahkan ke DataWorks. Untuk informasi lebih lanjut, lihat Tambah dan kelola sumber data di Data Integration.
Koneksi jaringan antara kelompok sumber daya dan sumber data telah dibuat. Untuk informasi lebih lanjut, lihat Solusi konektivitas jaringan.
Prosedur
1. Pilih jenis sinkronisasi
Buka halaman Data Integration.
Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih . Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Integration.
Di panel navigasi sebelah kiri halaman Data Integration, klik Synchronization Task. Di bagian atas halaman Tugas Sinkronisasi, pilih jenis sumber dari daftar drop-down Sumber dan jenis tujuan dari daftar drop-down Tujuan, lalu klik Create Synchronization Task. Pada halaman yang muncul, konfigurasikan informasi dasar untuk tugas sinkronisasi.
Source And Destination: Secara terpisah pilih
MySQLdanAnalyticDB for MySQL (V3.0).New Node Name: Tentukan nama untuk tugas sinkronisasi sesuai dengan kebutuhan bisnis Anda.
Synchronization Method: Pilih
Migrasi real-time seluruh database.Synchronization Mode: Pilih Full initialization dan Incremental synchronization.
2. Konfigurasikan pengaturan jaringan dan kelompok sumber daya
Di bagian Network and Resource Configuration, pilih resource group yang ingin digunakan untuk menjalankan tugas sinkronisasi, dan konfigurasikan parameter Task Resource Usage.
Di bagian Source, pilih sumber data MySQL yang telah ditambahkan dari daftar drop-down Nama. Di bagian Destination, pilih sumber data AnalyticDB for MySQL V3.0 yang telah ditambahkan dari daftar drop-down Nama. Lalu, klik Test Connectivity.
Jika tes konektivitas berhasil, klik Next.
3. Pilih tabel dari mana Anda ingin menyinkronkan data
Pada langkah ini, Anda dapat memilih tabel dari mana Anda ingin menyinkronkan data dalam daftar Tabel Sumber dan klik ikon 
untuk memindahkan tabel yang dipilih ke daftar Tabel Terpilih.
4. Konfigurasikan pengaturan terkait tabel tujuan
Setelah memilih tabel dari mana Anda ingin menyinkronkan data, tabel yang dipilih akan otomatis ditampilkan di bagian Aturan Pemetaan untuk Tabel Tujuan. Properti tabel tujuan menunggu untuk dipetakan. Anda harus mendefinisikan pemetaan antara tabel sumber dan tabel tujuan untuk menentukan hubungan pembacaan dan penulisan data. Kemudian, Anda dapat mengklik Refresh di kolom Tindakan untuk menyegarkan pemetaan antara tabel sumber dan tabel tujuan.
Anda dapat memilih baris tempat tabel sumber ditampilkan dan klik Batch Refresh Mapping Results. Jika parameter Aturan Pemetaan Kustom untuk Nama Tabel Tujuan tidak dikonfigurasi, aturan pemetaan dalam format
${Nama database sumber}_${Nama tabel sumber}digunakan untuk tabel tujuan terkait. Jika tidak ada tabel dengan nama yang sama dengan tabel sumber di tujuan, sistem secara otomatis membuat tabel di tujuan.Anda dapat mengklik Edit di kolom Customize Mapping Rules for Destination Table Names untuk mengkonfigurasi aturan pemetaan untuk nama tabel tujuan berdasarkan kebutuhan bisnis Anda.
Anda dapat menggabungkan variabel bawaan dan string tertentu menjadi nama tabel tujuan. Anda juga dapat mengedit variabel bawaan. Sebagai contoh, ketika membuat aturan pemetaan, Anda dapat menambahkan akhiran ke variabel yang menunjukkan nama tabel sumber untuk membentuk nama tabel tujuan.
a. Modifikasi pemetaan tipe data untuk bidang
Pemetaan default tersedia antara tipe data bidang sumber dan tipe data bidang tujuan. Anda dapat mengklik Edit Mapping of Field Data Types di sudut kanan atas bagian Aturan Pemetaan untuk Tabel Tujuan untuk mengkonfigurasi pemetaan tipe data antara bidang sumber dan bidang tujuan sesuai dengan kebutuhan bisnis Anda. Setelah konfigurasi selesai, klik Apply and Refresh Mapping.
b. Modifikasi skema tabel tujuan untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut
Jika tabel tujuan berada dalam status to-be-created, Anda dapat melakukan langkah-langkah berikut untuk menambahkan bidang ke tabel dan memberikan nilai ke bidang tersebut:
Tambahkan bidang ke satu atau beberapa tabel tujuan.
Tambahkan bidang ke tabel tujuan tunggal: Temukan tabel tujuan ke mana Anda ingin menambahkan bidang dan klik ikon
di kolom Destination Table Name. Di kotak dialog yang muncul, tambahkan bidang.Tambahkan bidang ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan ke mana Anda ingin menambahkan bidang sekaligus, klik Batch Modify di bagian bawah halaman, lalu klik Destination Table Schema - Batch Modify and Add Field.
Berikan nilai ke bidang. Anda dapat melakukan salah satu dari operasi berikut untuk memberikan nilai ke bidang:
Berikan nilai ke bidang yang ditambahkan ke tabel tujuan tunggal: Temukan tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan dan klik Configure di kolom Value assignment. Di kotak dialog Bidang Tambahan, berikan nilai ke bidang.
Berikan nilai ke bidang yang ditambahkan ke beberapa tabel tujuan sekaligus: Pilih tabel tujuan di mana Anda ingin memberikan nilai ke bidang yang baru ditambahkan, klik Batch Modify di bagian bawah halaman, lalu klik Value assignment untuk memberikan nilai ke bidang yang sama di tabel tujuan yang dipilih sekaligus.
CatatanAnda dapat mengklik ikon
untuk beralih metode penugasan nilai dan memberikan konstanta dan variabel ke bidang yang ditambahkan ke tabel tujuan.
c. Konfigurasikan aturan pemrosesan DML
Data Integration menyediakan aturan pemrosesan DML default. Anda juga dapat mengkonfigurasi aturan pemrosesan DML untuk tabel tujuan sesuai dengan kebutuhan bisnis Anda.
Konfigurasikan aturan pemrosesan DML untuk tabel tujuan tunggal: Temukan tabel tujuan untuk mana Anda ingin mengkonfigurasi aturan pemrosesan DML dan klik Configure di kolom Configure DML Rule untuk mengkonfigurasi aturan pemrosesan DML untuk tabel tersebut.
Konfigurasikan aturan pemrosesan DML untuk beberapa tabel tujuan sekaligus: Pilih tabel tujuan untuk mana Anda ingin mengkonfigurasi aturan pemrosesan DML, klik Batch Modify di bagian bawah halaman, lalu klik Configure DML Rule.
5. Konfigurasikan aturan peringatan
Untuk mencegah kegagalan tugas sinkronisasi menyebabkan latensi pada sinkronisasi data bisnis, Anda dapat mengkonfigurasi aturan peringatan yang berbeda untuk tugas sinkronisasi.
Di sudut kanan atas halaman, klik Configure Alert Rule untuk pergi ke panel Configure Alert Rule.
Di panel Konfigurasikan Aturan Peringatan, klik Add Alert Rule. Di kotak dialog Tambah Aturan Peringatan, konfigurasikan parameter untuk mengkonfigurasi aturan peringatan.
CatatanAturan peringatan yang Anda konfigurasikan pada langkah ini berlaku untuk sub-tugas sinkronisasi real-time yang akan dihasilkan oleh tugas sinkronisasi. Setelah konfigurasi tugas sinkronisasi selesai, Anda dapat merujuk ke Kelola tugas sinkronisasi real-time untuk pergi ke halaman Tugas Sinkronisasi Real-time dan memodifikasi aturan peringatan yang dikonfigurasikan untuk sub-tugas sinkronisasi real-time.
Kelola aturan peringatan.
Anda dapat mengaktifkan atau menonaktifkan aturan peringatan yang dibuat. Anda juga dapat menentukan penerima peringatan yang berbeda berdasarkan tingkat keparahan peringatan.
6. Konfigurasikan parameter lanjutan
Anda dapat mengubah nilai parameter tertentu yang dikonfigurasikan untuk tugas sinkronisasi sesuai dengan kebutuhan bisnis Anda. Sebagai contoh, Anda dapat menentukan nilai yang sesuai untuk parameter Maksimum koneksi baca untuk mencegah tugas sinkronisasi saat ini memberikan tekanan berlebih pada database sumber dan produksi data terpengaruh.
Untuk mencegah kesalahan tak terduga atau masalah kualitas data, kami sarankan Anda memahami arti dari parameter sebelum mengubah nilai parameter tersebut.
Di sudut kanan atas halaman konfigurasi, klik Konfigurasikan Parameter Lanjutan.
Di panel Konfigurasikan Parameter Lanjutan, ubah nilai parameter yang diinginkan.
7. Konfigurasikan aturan pemrosesan DDL
Operasi DDL mungkin dilakukan pada sumber. Anda dapat mengklik Configure DDL Capability di sudut kanan atas halaman untuk mengkonfigurasi aturan untuk memproses pesan DDL dari sumber sesuai dengan kebutuhan bisnis Anda.
Untuk informasi lebih lanjut, lihat Konfigurasikan aturan untuk memproses pesan DDL.
8. Lihat dan ubah kelompok sumber daya
Anda dapat mengklik Configure Resource Group di sudut kanan atas halaman untuk melihat dan mengubah kelompok sumber daya yang digunakan untuk menjalankan tugas sinkronisasi saat ini.
9. Jalankan tugas sinkronisasi
Setelah konfigurasi tugas sinkronisasi selesai, klik Complete di bagian bawah halaman.
Di bagian Nodes halaman Data Integration, temukan tugas sinkronisasi yang dibuat dan klik Start di kolom Actions.
Klik name or ID tugas sinkronisasi di bagian Tasks dan lihat proses rinci pelaksanaan tugas sinkronisasi.
Lakukan operasi O&M pada tugas sinkronisasi
Lihat status pelaksanaan tugas sinkronisasi
Setelah menyelesaikan konfigurasi tugas sinkronisasi, Anda dapat pergi ke bagian Tugas halaman Tugas Sinkronisasi, dan melihat semua tugas sinkronisasi yang dibuat di ruang kerja saat ini serta informasi dasar dari setiap tugas sinkronisasi.
Anda dapat mengklik Start atau Stop di kolom Operasi untuk memulai atau menghentikan tugas sinkronisasi. Anda juga dapat mengklik Lebih Banyak di kolom Tindakan dan memilih Edit atau View untuk memodifikasi tugas sinkronisasi atau melihat informasi tentang tugas sinkronisasi.
Anda dapat mengklik Running Details di kolom Operasi untuk melihat detail pelaksanaan tugas sinkronisasi. Anda juga dapat mengklik bagian berbeda pada halaman detail pelaksanaan tugas sinkronisasi untuk melihat informasi terkait.
Tugas sinkronisasi memiliki tahapan berikut:
Migrasi Skema: Tab ini menampilkan informasi seperti apakah tabel tujuan adalah tabel yang baru dibuat atau tabel yang sudah ada. Untuk tabel yang baru dibuat, pernyataan DDL yang digunakan untuk membuat tabel ditampilkan.
Inisialisasi Data Penuh: Tab ini menampilkan informasi seperti tabel sumber dan tabel tujuan yang terlibat dalam sinkronisasi batch, kemajuan sinkronisasi, dan jumlah catatan data yang disinkronkan.
Sinkronisasi Real-time: Tab ini menampilkan informasi statistik tentang sinkronisasi real-time, termasuk kemajuan sinkronisasi, catatan DDL, catatan DML, dan informasi peringatan.
Jalankan ulang tugas sinkronisasi
Dalam beberapa kasus khusus, jika Anda menambahkan tabel ke sumber atau menghapus tabel dari sumber, atau mengubah skema atau nama tabel tujuan, Anda dapat mengklik Lebih Banyak di kolom Actions tugas sinkronisasi dan kemudian klik Rerun untuk menjalankan ulang tugas setelah perubahan. Selama proses jalankan ulang, tugas sinkronisasi hanya menyinkronkan data dari tabel yang baru ditambahkan ke tujuan atau hanya dari tabel sumber yang dipetakan ke tabel tujuan yang skema atau namanya diubah.
Jika Anda ingin menjalankan ulang tugas sinkronisasi tanpa memodifikasi konfigurasi tugas, klik Lebih Banyak di kolom Tindakan dan kemudian klik Rerun untuk menjalankan ulang tugas untuk melakukan sinkronisasi penuh dan sinkronisasi incremental lagi.
Jika Anda ingin menjalankan ulang tugas sinkronisasi setelah menambahkan tabel ke atau menghapus tabel dari tugas, klik Complete setelah perubahan. Dalam hal ini, Apply Updates akan ditampilkan di kolom Tindakan tugas sinkronisasi. Klik Apply Updates untuk memicu sistem menjalankan ulang tugas sinkronisasi. Selama proses jalankan ulang, tugas sinkronisasi menyinkronkan data dari tabel yang baru ditambahkan ke tujuan. Data di tabel asli tidak disinkronkan lagi.