Sinkronisasi data antara klaster AnalyticDB for MySQL 3.0 - Data Transmission Service

Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk menyinkronkan data antara klaster AnalyticDB for MySQL 3.0.

Penerapan

Klaster tujuan AnalyticDB for MySQL 3.0 telah dibuat. Ruang penyimpanan klaster tujuan harus lebih besar daripada ukuran total data di klaster sumber AnalyticDB for MySQL 3.0.
Klaster sumber AnalyticDB for MySQL 3.0 telah mengaktifkan fitur change data capture (CDC), dan Anda telah mengaktifkan binary logging untuk tabel yang ingin Anda sinkronkan.
Catatan
- Jika versi kernel klaster AnalyticDB for MySQL 3.0 lebih awal dari 3.2.1.0, Anda harus terlebih dahulu meningkatkan versi kernel.
- Tabel XUANWU_V2 tidak mendukung binary logging. Oleh karena itu, DTS tidak mendukung sinkronisasi data atau migrasi inkremental untuk tabel XUANWU_V2 antar klaster AnalyticDB for MySQL.

Perhatian

Catatan

Saat sinkronisasi skema, DTS tidak menyinkronkan kunci asing dari database sumber ke database tujuan.
Selama sinkronisasi data penuh awal dan sinkronisasi data inkremental, DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Jika Anda melakukan operasi pembaruan dan penghapusan kaskade pada database sumber selama sinkronisasi data, ketidakkonsistenan data dapat terjadi.

Jenis	Deskripsi
Batasan database sumber	Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki bandwidth keluar yang cukup. Jika tidak, kecepatan sinkronisasi data akan terpengaruh. Klaster AnalyticDB for MySQL 3.0 harus menggunakan versi kernel 3.2.1.0 atau lebih baru. Tabel yang akan disinkronkan harus memiliki kunci primer kustom, dan bidang tersebut harus unik. Jika tidak, data duplikat mungkin muncul di database tujuan. Catatan Jika kunci primer tabel yang akan disinkronkan adalah `__adb_auto_id__` yang dihasilkan otomatis, DTS tidak mendukung sinkronisasi data untuk tabel tersebut. Selama sinkronisasi skema dan sinkronisasi data penuh, jangan lakukan operasi DDL yang mengubah skema database atau tabel. Jika dilakukan, tugas sinkronisasi data akan gagal.
Batasan lainnya	Instansi sinkronisasi data hanya dapat menyinkronkan satu tabel. Untuk menyinkronkan beberapa tabel, buat beberapa instansi sinkronisasi data. Database tujuan harus memiliki kunci primer kustom, atau Anda harus mengonfigurasi Primary Key Column pada langkah Configurations for Databases, Tables, and Columns. Jika tidak, sinkronisasi data mungkin gagal. Validasi data tidak didukung. Anda tidak dapat memodifikasi objek sinkronisasi setelah dikonfigurasi. Jika tugas sinkronisasi data dijeda lebih dari satu hari, log biner klaster sumber AnalyticDB for MySQL 3.0 mungkin kedaluwarsa. Hal ini dapat mencegah tugas dilanjutkan. Saat tugas sinkronisasi data sedang berjalan, jangan menonaktifkan binary logging untuk klaster sumber AnalyticDB for MySQL 3.0. Jika dilakukan, tugas akan gagal dan tidak dapat dipulihkan. Jika tugas gagal karena Anda menonaktifkan binary logging, Anda harus membuat tugas baru. Karena batasan penggunaan pada klaster AnalyticDB for MySQL 3.0, instansi DTS mungkin mengalami penundaan jika penggunaan ruang disk sebuah node melebihi 80%. Oleh karena itu, Anda harus memperkirakan ruang penyimpanan yang diperlukan sebelumnya berdasarkan objek yang akan disinkronkan untuk memastikan klaster tujuan memiliki ruang penyimpanan yang cukup. Jika klaster tujuan AnalyticDB for MySQL 3.0 sedang dicadangkan saat tugas DTS berjalan, tugas tersebut akan gagal. Sinkronisasi data penuh awal melibatkan operasi INSERT konkuren, yang menyebabkan fragmentasi tabel di database tujuan. Akibatnya, ruang penyimpanan yang ditempati oleh tabel di database tujuan lebih besar daripada di database sumber setelah sinkronisasi penuh awal selesai. Selama sinkronisasi data penuh awal, DTS mengonsumsi sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban database. Sebelum menyinkronkan data, evaluasi kinerja database sumber dan tujuan. Lakukan sinkronisasi data di luar jam sibuk. Misalnya, sinkronkan data saat Beban CPU database sumber dan tujuan di bawah 30%. Jika sebuah instansi gagal, tim dukungan DTS akan mencoba memulihkan instansi tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti memulai ulang instansi dan menyesuaikan parameter mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instansi DTS yang dimodifikasi. Parameter database tidak dimodifikasi. Parameter yang mungkin dimodifikasi termasuk namun tidak terbatas pada yang dijelaskan dalam Memodifikasi parameter instansi.

Penagihan

Jenis sinkronisasi	Biaya konfigurasi tugas
Sinkronisasi skema dan sinkronisasi data penuh	Gratis.
Sinkronisasi data inkremental	Dikenai biaya. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.

Operasi SQL yang didukung

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE Catatan Saat data ditulis ke klaster AnalyticDB for MySQL 3.0, pernyataan UPDATE secara otomatis dikonversi menjadi pernyataan REPLACE INTO. Jika kunci primer diperbarui, pernyataan tersebut dikonversi menjadi pernyataan DELETE dan pernyataan INSERT.
DDL	ADD COLUMN, DROP COLUMN

Izin yang diperlukan untuk akun database

Database	Izin yang diperlukan	Cara membuat akun dan memberikan izin
Klaster sumber AnalyticDB for MySQL 3.0	Izin baca pada tabel yang akan disinkronkan.	Buat akun database
Klaster tujuan AnalyticDB for MySQL 3.0	Izin baca dan tulis pada database tujuan.	Buat akun database

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instansi sinkronisasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Synchronization.
3. Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi lebih lanjut, lihat Mode sederhana dan Menyesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI, lalu pilih DTS (DTS) > Data Synchronization.
3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instansi sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter tersebut.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instansiasi database yang terdaftar di DTS, pilih instansiasi tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instansiasi tersebut. Untuk informasi lebih lanjut, lihat Mengelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instansiasi database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instansiasi ke DTS, atau Anda tidak perlu menggunakan instansiasi yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih AnalyticDB for MySQL 3.0.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat klaster sumber AnalyticDB for MySQL 3.0 berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
	Instance ID	Pilih ID klaster sumber AnalyticDB for MySQL 3.0.
	Database Account	Akun database klaster sumber AnalyticDB for MySQL 3.0. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.
Destination Database	Select Existing Connection	Jika Anda menggunakan instansiasi database yang terdaftar di DTS, pilih instansiasi tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instansiasi tersebut. Untuk informasi lebih lanjut, lihat Mengelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instansiasi database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instansiasi ke DTS, atau Anda tidak perlu menggunakan instansiasi yang terdaftar di DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih AnalyticDB for MySQL 3.0.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat klaster tujuan AnalyticDB for MySQL 3.0 berada.
	Instance ID	Pilih ID klaster tujuan AnalyticDB for MySQL 3.0.
	Database Account	Masukkan akun database untuk klaster tujuan AnalyticDB for MySQL 3.0. Untuk persyaratan izin, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi lebih lanjut, lihat Tambahkan alamat IP server DTS ke daftar putih.

Konfigurasikan objek yang akan disinkronkan.

Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

Konfigurasi	Deskripsi
Synchronization Types	Jenis sinkronisasi. Secara default, Incremental Data Synchronization dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke klaster tujuan. Data historis merupakan dasar untuk sinkronisasi inkremental selanjutnya.
DDL and DML Operations to Be Synchronized	Pilih operasi tingkat instans yang ingin Anda sinkronkan secara inkremental. Catatan Untuk memilih operasi sinkronisasi inkremental per tabel, klik kanan tabel di bagian Selected Objects dan pilih operasi yang diinginkan di kotak dialog yang muncul.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel dengan nama yang sama seperti tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama tabel yang identik, pemeriksaan awal berhasil. Jika tidak, kesalahan akan dikembalikan selama pemeriksaan awal, dan tugas sinkronisasi data tidak dapat dimulai. Catatan Jika database sumber dan tujuan berisi tabel dengan nama yang sama dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi lebih lanjut, lihat Memetakan nama objek. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel yang identik di database sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data dapat terjadi dan bisnis Anda mungkin menghadapi risiko potensial. Jika skema database sumber dan tujuan sama dan catatan data di database tujuan memiliki nilai kunci primer atau nilai kunci unik yang sama dengan catatan data di database sumber: Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan tetap dipertahankan. Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa. Jika skema database sumber dan tujuan berbeda, inisialisasi data mungkin gagal. Dalam kasus ini, hanya beberapa kolom yang disinkronkan, atau instansi sinkronisasi data gagal. Harap berhati-hati.
Source Objects	Di kotak Source Objects, klik tabel yang ingin Anda sinkronkan, lalu klik untuk memindahkan tabel ke kotak Selected Objects. Penting Anda hanya dapat memilih satu tabel untuk disinkronkan.
Selected Objects	Untuk mengonfigurasi nama objek yang akan disinkronkan di database tujuan atau menentukan objek yang menerima data di database tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi lebih lanjut, lihat Memetakan nama objek. Untuk menghapus objek yang dipilih, klik objek di bagian Selected Objects lalu klik ikon untuk memindahkan objek ke bagian Source Objects. Catatan Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan. Untuk menentukan kondisi WHERE guna memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi lebih lanjut, lihat Menetapkan kondisi filter. Untuk memilih operasi SQL untuk sinkronisasi inkremental, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke klaster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instansi sinkronisasi data, beli klaster khusus. Untuk informasi lebih lanjut, lihat Apa itu klaster khusus DTS.
Retry Time for Failed Connections	Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1440. Satuan: menit. Nilai default: 720. Kami menyarankan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil menghubungkan kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang coba terpendek yang berlaku. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instansi DTS. Kami menyarankan agar Anda menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instansi DTS sesegera mungkin setelah instansi sumber dan tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang coba untuk masalah lain. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1440. Satuan: menit. Nilai default: 10. Kami menyarankan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization	Menentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan untuk sinkronisasi data inkremental berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengonfigurasi parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
Environment Tag	Anda dapat memilih tag lingkungan untuk mengidentifikasi instansi sesuai kebutuhan bisnis Anda. Dalam contoh ini, Anda tidak perlu memilih tag.
Configure ETL	Menentukan apakah akan mengaktifkan fitur ekstrak, transformasi, muat (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL? Nilai yang valid: Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Mengonfigurasi ETL dalam tugas migrasi data atau sinkronisasi data. No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting	Menentukan apakah akan mengonfigurasi peringatan untuk instansi sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi lebih lanjut, lihat bagian "Mengonfigurasi pemantauan dan peringatan saat membuat tugas DTS" dalam topik Mengonfigurasi pemantauan dan peringatan.

Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data.
Untuk informasi lebih lanjut tentang cara menggunakan fitur verifikasi data, lihat Mengonfigurasi tugas verifikasi data.
Opsi: Setelah menyelesaikan konfigurasi di atas, klik Next: Configure Database and Table Fields. Kemudian, konfigurasikan informasi Type, Primary Key Column, Distribution Key, dan kunci partisi (Partition Key, Partitioning Rules, dan Partition Lifecycle) untuk tabel yang akan disinkronkan di database tujuan.
Catatan
- Langkah ini tersedia hanya jika Anda memilih Schema Synchronization untuk Synchronization Types saat mengonfigurasi objek tugas. Anda dapat mengatur Definition Status ke All dan melakukan perubahan.
- Untuk Primary Key Column, Anda dapat memilih beberapa kolom untuk membuat kunci primer komposit. Jika Anda membuat kunci primer komposit, Anda juga harus memilih satu atau beberapa kolom dari Primary Key Column untuk bertindak sebagai Distribution Key dan Partition Key. Untuk informasi lebih lanjut, lihat CREATE TABLE.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck, lalu klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pemeriksaan awal.
- Jika tugas sinkronisasi data gagal dalam pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pemeriksaan awal.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalah tersebut. Kemudian, jalankan kembali pemeriksaan awal.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data dapat terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%, lalu klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instansi untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar untuk langganan saat membuat instansi sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instansi bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instansi sinkronisasi data bayar sesuai pemakaian, Anda dapat melepaskan instansi tersebut untuk mengurangi biaya.
	Pengaturan Kelompok Sumber Daya	Kelompok sumber daya tempat instansi sinkronisasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
	Kelas Instansi	DTS menyediakan kelas instansi dengan kecepatan sinkronisasi yang berbeda. Anda dapat memilih kelas instansi berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Kelas instansi untuk instansi sinkronisasi data.
	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instansi sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini tersedia hanya jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat progres tugas di daftar tugas.