Sinkronisasi data dari PolarDB-X 2.0 ke PolarDB-X 1.0 - Data Transmission Service

Topik ini menjelaskan cara menggunakan Data Transmission Service (DTS) untuk menyinkronkan data dari instans PolarDB-X 2.0 ke instans PolarDB-X 1.0.

Penting

Fitur ini sedang dalam pengujian beta dan hanya tersedia untuk sebagian pengguna.

Prasyarat

Buat instans tujuan PolarDB-X 1.0. Pastikan ruang penyimpanan instans tujuan lebih besar daripada data yang akan disinkronkan dari instans sumber PolarDB-X 2.0. Untuk informasi selengkapnya, lihat Buat instans PolarDB-X 1.0.
Buat database dan tabel di instans tujuan PolarDB-X 1.0 untuk menerima data. Untuk informasi selengkapnya, lihat Buat database dan Lakukan operasi SQL dasar.
Catatan
Disarankan agar nama database dan tabel sesuai dengan yang akan disinkronkan dari instans PolarDB-X 2.0. Jika tidak, Anda harus menggunakan fitur pemetaan nama objek di kotak Selected Objects pada halaman Configure Objects saat mengonfigurasi tugas.

Perhatian

Jenis	Deskripsi
Batasan database sumber	Persyaratan bandwidth: Server yang menghosting database sumber harus memiliki bandwidth keluar yang cukup. Jika tidak, kecepatan sinkronisasi data akan terpengaruh. Instans read-only Edisi Perusahaan PolarDB-X 2.0 tidak didukung sebagai sumber. Persyaratan objek sinkronisasi: Tabel yang namanya mengandung huruf kapital tidak dapat disinkronkan. Sinkronisasi kelompok tabel serta database atau tabel dengan properti Locality tidak didukung. Sinkronisasi tabel yang namanya merupakan kata kunci tercadang, seperti `select`, tidak didukung. Tabel yang akan disinkronkan harus memiliki kunci primer atau kendala unik, dan kolom-kolom tersebut harus unik. Jika tidak, data duplikat mungkin muncul di database tujuan. Jika Anda menyinkronkan data tingkat tabel dan perlu mengedit objek, seperti memetakan nama kolom, serta jumlah tabel dalam satu tugas sinkronisasi melebihi 5.000, bagi tabel tersebut menjadi beberapa tugas. Atau, konfigurasikan tugas untuk menyinkronkan seluruh database. Jika tidak, kesalahan permintaan mungkin terjadi setelah Anda mengirimkan tugas. Pencatatan biner (binary logging) diaktifkan secara default pada instans PolarDB-X 2.0. Anda harus memastikan bahwa parameter binlog_row_image diatur ke full. Jika tidak, pesan kesalahan akan dikembalikan selama pemeriksaan awal, dan tugas sinkronisasi data tidak dapat dimulai. Untuk informasi selengkapnya, lihat Pengaturan Parameter. Jika informasi jaringan instans PolarDB-X 2.0 berubah, instans sinkronisasi mungkin mengalami latensi selama periode tertentu.
Batasan lainnya	DTS secara berkala mencoba mengeksekusi perintah CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk membuat database `test` dan menulis data heartbeat guna memajukan offset Binlog. Jika opsi Whether to delete SQL operations on heartbeat tables of forward and reverse tasks diatur ke Yes saat Anda mengonfigurasi instans sinkronisasi (atau jika akun database sumber yang digunakan oleh instans sinkronisasi tidak memiliki izin untuk membuat database), dan tidak ada operasi DML yang dieksekusi pada database sumber dalam waktu lama, informasi latensi mungkin tidak akurat. Catatan Jika latensi yang ditampilkan terlalu tinggi, Anda dapat melakukan operasi DML di database sumber untuk memperbarui informasi latensi. Selama sinkronisasi data penuh awal, DTS mengonsumsi sebagian sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban database. Sebelum menyinkronkan data, evaluasi kinerja database sumber dan tujuan. Kami menyarankan agar Anda menyinkronkan data di luar jam sibuk. Misalnya, Anda dapat menyinkronkan data ketika beban CPU database sumber dan tujuan berada di bawah 30%. Selama inisialisasi penuh, DTS menjalankan operasi INSERT secara konkuren. Hal ini menyebabkan fragmentasi tabel di database tujuan. Setelah inisialisasi penuh selesai, ruang penyimpanan yang digunakan oleh tabel di database tujuan lebih besar daripada yang digunakan oleh tabel di database sumber. Selama waktu proses instans sinkronisasi, jika data ditulis ke database tujuan dari sumber data selain DTS, ketidakkonsistenan data mungkin terjadi antara database sumber dan tujuan. Hal ini bahkan dapat menyebabkan instans sinkronisasi gagal. Jika suatu instans gagal, tim dukungan DTS akan mencoba memulihkan instans tersebut dalam waktu 8 jam. Selama proses pemulihan, operasi seperti me-restart instans atau menyesuaikan parameternya mungkin dilakukan. Catatan Saat parameter disesuaikan, hanya parameter instans DTS yang dimodifikasi. Parameter di dalam database tidak diubah. Parameter yang mungkin dimodifikasi termasuk tetapi tidak terbatas pada yang dijelaskan dalam Modifikasi parameter instans.

Penagihan

Jenis sinkronisasi	Biaya konfigurasi tugas
Sinkronisasi data penuh	Gratis.
Sinkronisasi data inkremental	Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan.

Operasi SQL yang didukung untuk sinkronisasi inkremental

Jenis operasi	Pernyataan SQL
DML	INSERT, UPDATE, DELETE
DDL	CREATE TABLE, RENAME TABLE, ALTER TABLE, TRUNCATE TABLE, DROP TABLE, CREATE INDEX, DROP INDEX Catatan Hanya operasi CREATE TABLE untuk tabel tunggal yang dapat disinkronkan. Operasi CREATE TABLE untuk database dan tabel terpartisi tidak dapat disinkronkan. Jika sumber adalah instans PolarDB-X 2.0 Edisi Perusahaan, operasi CREATE INDEX tidak dapat disinkronkan. Operasi RENAME TABLE dapat menyebabkan ketidakkonsistenan data antara database sumber dan tujuan. Misalnya, jika Anda memilih sebuah tabel sebagai objek yang akan disinkronkan dan mengganti nama tabel tersebut selama sinkronisasi data, data tabel tersebut tidak akan disinkronkan ke database tujuan. Untuk mencegah masalah ini, Anda dapat menambahkan database yang berisi tabel tersebut ke daftar objek untuk sinkronisasi. Pastikan Anda menambahkan baik database yang berisi tabel sebelum operasi RENAME TABLE maupun database yang berisi tabel dengan nama baru.

Izin yang diperlukan untuk akun database

Database	Izin yang diperlukan	Cara membuat akun dan memberikan izin
Instans sumber PolarDB-X 2.0	Izin REPLICATION SLAVE, REPLICATION CLIENT, dan SELECT pada objek yang akan disinkronkan.	Kelola akun database dan Masalah izin akun selama sinkronisasi data.
Instans tujuan PolarDB-X 1.0	Izin baca dan tulis.	Kelola akun database.

Prosedur

Gunakan salah satu metode berikut untuk membuka halaman Sinkronisasi Data dan pilih wilayah tempat instans sinkronisasi data berada.
Konsol DTS
1. Masuk ke Konsol DTS.
2. Di panel navigasi sebelah kiri, klik Data Synchronization.
3. Di pojok kiri atas halaman, pilih wilayah tempat tugas sinkronisasi data berada.
Konsol DMS
Catatan
Operasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Menyesuaikan tata letak dan gaya konsol DMS.
1. Masuk ke Konsol DMS.
2. Di bilah navigasi atas, arahkan kursor ke Data + AI lalu pilih DTS (DTS) > Data Synchronization.
3. Dari daftar drop-down di sebelah kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.

Kategori	Konfigurasi	Deskripsi
Tidak ada	Task Name	Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami menyarankan agar Anda menentukan nama deskriptif yang memudahkan identifikasi tugas. Anda tidak perlu menentukan nama tugas yang unik.
Source Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih PolarDB-X 2.0.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans sumber PolarDB-X 2.0 berada.
	Replicate Data Across Alibaba Cloud Accounts	Dalam contoh ini, database dari akun Alibaba Cloud saat ini digunakan. Pilih No.
	Instance ID	Pilih ID instans sumber PolarDB-X 2.0.
	Database Account	Masukkan akun database instans sumber PolarDB-X 2.0. Untuk informasi tentang persyaratan izin, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.
Destination Database	Select Existing Connection	Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database. Catatan Di konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance. Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
	Database Type	Pilih PolarDB-X 1.0.
	Access Method	Pilih Alibaba Cloud Instance.
	Instance Region	Pilih wilayah tempat instans tujuan PolarDB-X 1.0 berada.
	Instance ID	Pilih ID instans tujuan PolarDB-X 1.0.
	Database Account	Masukkan akun database instans tujuan PolarDB-X 1.0. Untuk informasi tentang persyaratan izin, lihat Izin yang diperlukan untuk akun database.
	Database Password	Kata sandi yang digunakan untuk mengakses database.

Di bagian bawah halaman, klik Test Connectivity and Proceed.
Catatan
Pastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.

Konfigurasikan objek yang akan disinkronkan.

Pada langkah Configure Objects, konfigurasikan objek yang ingin Anda sinkronkan.

Konfigurasi	Deskripsi
Synchronization Types	Secara default, Incremental Data Synchronization dipilih. Anda hanya dapat memilih Full Data Synchronization. Anda tidak dapat memilih Schema Synchronization. Setelah pemeriksaan awal selesai, DTS menyinkronkan data historis objek yang dipilih dari database sumber ke database tujuan. Data historis ini menjadi dasar untuk sinkronisasi inkremental selanjutnya.
Incremental CDC Type	Pilih jenis berdasarkan mesin log instans PolarDB-X 2.0. Catatan Anda dapat memilih Multi-stream CDC hanya jika instans PolarDB-X 2.0 telah mengaktifkan multi-stream.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel yang memiliki nama yang sama dengan tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama identik, pemeriksaan awal berhasil. Jika tidak, kesalahan dikembalikan selama pemeriksaan awal, dan tugas sinkronisasi data tidak dapat dimulai. Catatan Jika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang disinkronkan ke database tujuan. Untuk informasi selengkapnya, lihat Memetakan nama objek. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel identik di database sumber dan tujuan. Peringatan Jika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data mungkin terjadi dan bisnis Anda mungkin menghadapi risiko potensial. Jika skema database sumber dan tujuan sama dan catatan data di database tujuan memiliki nilai kunci primer atau nilai kunci unik yang sama dengan catatan data di database sumber: Selama sinkronisasi data penuh, DTS tidak menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan dipertahankan. Selama sinkronisasi data inkremental, DTS menyinkronkan catatan data ke database tujuan. Catatan data yang ada di database tujuan ditimpa. Jika skema database sumber dan tujuan berbeda, inisialisasi data mungkin gagal. Dalam kasus ini, hanya beberapa kolom yang disinkronkan, atau instans sinkronisasi data gagal. Harap berhati-hati.
Source Objects	Pilih satu atau beberapa objek dari bagian Source Objects lalu klik ikon untuk menambahkan objek ke bagian Selected Objects. Catatan Anda dapat memilih database atau tabel sebagai objek untuk disinkronkan.
Selected Objects	Untuk mengonfigurasi nama objek yang akan disinkronkan di database tujuan atau menentukan objek yang menerima data di database tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi selengkapnya, lihat Memetakan nama objek. Untuk menghapus objek yang dipilih, klik objek di bagian Selected Objects lalu klik ikon untuk memindahkan objek ke bagian Source Objects. Catatan Jika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama objek, objek lain yang bergantung pada objek tersebut mungkin gagal disinkronkan. Untuk menentukan kondisi WHERE guna memfilter data, klik kanan tabel di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi selengkapnya, lihat Atur kondisi filter. Untuk memilih operasi SQL untuk sinkronisasi inkremental, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi SQL yang ingin Anda sinkronkan.

Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.

Konfigurasi	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke kluster bersama jika Anda tidak menentukan klaster khusus. Jika Anda ingin meningkatkan stabilitas instans sinkronisasi data, beli klaster khusus. Untuk informasi selengkapnya, lihat Apa itu klaster khusus DTS.
Retry Time for Failed Connections	Rentang waktu ulang coba untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas sinkronisasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu tersebut. Nilai yang valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Disarankan mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil menghubungkan kembali ke database sumber dan tujuan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Jika Anda menentukan rentang waktu ulang coba yang berbeda untuk beberapa tugas sinkronisasi data yang memiliki database sumber atau tujuan yang sama, rentang waktu ulang coba terpendek yang berlaku. Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Disarankan menentukan rentang waktu ulang coba berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepas instans DTS sesegera mungkin setelah instans sumber dan tujuan dilepas.
Retry Time for Other Issues	Rentang waktu ulang coba untuk masalah lain. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas sinkronisasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu tersebut. Nilai yang valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Disarankan mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Penting Nilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Synchronization	Selama sinkronisasi data penuh, DTS menggunakan sumber daya baca dan tulis database sumber dan tujuan. Hal ini dapat meningkatkan beban pada server database. Anda dapat mengonfigurasi parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s) untuk tugas sinkronisasi data penuh guna mengurangi beban pada server database tujuan. Catatan Anda hanya dapat mengonfigurasi parameter ini jika Full Data Synchronization dipilih untuk parameter Synchronization Types.
Enable Throttling for Incremental Data Synchronization	Tentukan apakah akan mengaktifkan pembatasan untuk sinkronisasi data inkremental. Anda dapat mengaktifkan pembatasan berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan, Anda harus mengatur parameter RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s). Hal ini mengurangi beban pada server database tujuan.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Tentukan apakah akan menulis operasi SQL pada tabel heartbeat ke database sumber saat instans DTS berjalan. Nilai yang valid: Yes: tidak menulis operasi SQL pada tabel heartbeat. Dalam hal ini, latensi instans DTS mungkin ditampilkan. No: menulis operasi SQL pada tabel heartbeat. Dalam hal ini, fitur seperti pencadangan fisik dan kloning database sumber mungkin terpengaruh.
Environment Tag	Jika diperlukan, Anda dapat memilih tag lingkungan untuk mengidentifikasi instans. Tidak perlu pemilihan untuk contoh ini.
Monitoring and Alerting	Tentukan apakah akan mengonfigurasi peringatan untuk instans sinkronisasi data. Jika tugas gagal atau latensi sinkronisasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai yang valid: No: tidak mengaktifkan peringatan. Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengatur ambang batas peringatan dan pengaturan notifikasi peringatan. Untuk informasi selengkapnya, lihat bagian "Konfigurasi pemantauan dan peringatan saat membuat tugas DTS" dalam topik Konfigurasi pemantauan dan peringatan.

Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data.
Untuk informasi selengkapnya tentang cara menggunakan fitur verifikasi data, lihat Konfigurasi tugas verifikasi data.

Simpan pengaturan tugas dan jalankan pemeriksaan awal.
- Untuk melihat parameter yang harus ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
- Jika Anda tidak perlu melihat atau telah melihat parameter, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
Catatan
- Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lulus pemeriksaan awal.
- Jika tugas sinkronisasi data gagal dalam pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah Anda menganalisis penyebab berdasarkan hasil pemeriksaan, atasi masalah tersebut. Kemudian, jalankan kembali pemeriksaan awal.
- Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
  Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan atasi masalahnya. Kemudian, jalankan pemeriksaan awal lagi.
  Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog Lihat Detail, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data mungkin terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.

Beli instance.

Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter Metode Penagihan dan Kelas Instans untuk tugas sinkronisasi data. Tabel berikut menjelaskan parameter-parameter tersebut.

Bagian	Parameter	Deskripsi
New Instance Class	Metode Penagihan	Langganan: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibandingkan metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Bayar sesuai pemakaian: Instans bayar sesuai pemakaian ditagih per jam. Metode penagihan bayar sesuai pemakaian cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai pemakaian, Anda dapat melepas instans tersebut untuk mengurangi biaya.
	Pengaturan Kelompok Sumber Daya	Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat Apa itu Manajemen Sumber Daya?
	Kelas Instans	DTS menyediakan kelas instans dengan kecepatan sinkronisasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan kebutuhan bisnis Anda. Untuk informasi selengkapnya, lihat Kelas instans instans sinkronisasi data.
	Durasi Langganan	Jika Anda memilih metode penagihan langganan, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin Anda buat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Catatan Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start. Di kotak dialog yang muncul, klik OK.
Anda dapat melihat progres tugas di daftar tugas.