Migrasi data dari kluster PolarDB for MySQL ke instans PolarDB-X 2.0 - Data Transmission Service

Gunakan Data Transmission Service (DTS) untuk memigrasikan data dari kluster PolarDB for MySQL ke instans PolarDB-X 2.0. DTS mendukung migrasi skema, migrasi data penuh, dan migrasi data inkremental, sehingga memungkinkan pergantian sistem secara mulus dengan downtime minimal.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Instans PolarDB-X 2.0 telah dibuat.
Memastikan ruang penyimpanan yang tersedia pada instans PolarDB-X 2.0 lebih besar daripada total ukuran data kluster sumber PolarDB for MySQL.

Penagihan

Jenis migrasi	Biaya konfigurasi instans	Biaya lalu lintas internet
Migrasi skema dan migrasi data penuh	Gratis	Dikenakan biaya ketika parameter Access Method database tujuan diatur ke Public IP Address. Lihat Billing overview.
Migrasi data inkremental	Dikenakan biaya. Lihat Billing overview.	—

Jenis migrasi

DTS mendukung tiga jenis migrasi yang dapat dikombinasikan sesuai kebutuhan Anda.

Jenis migrasi	Deskripsi
Migrasi skema	Memigrasikan skema objek yang dipilih (tabel, view, trigger, stored procedure, dan stored function). Bagian `routine_body` dari stored procedure dan function serta bagian `select_statement` dari view tidak dapat dimodifikasi selama migrasi. DTS mengubah atribut SECURITY dari DEFINER menjadi INVOKER untuk view, stored procedure, dan function, serta mengatur DEFINER ke akun database tujuan. DTS tidak memigrasikan informasi pengguna. Untuk memanggil view, stored procedure, atau stored function di database tujuan, berikan izin yang diperlukan kepada INVOKER.
Migrasi data penuh	Memigrasikan data historis dari objek yang dipilih di database sumber ke database tujuan.
Migrasi data inkremental	Memigrasikan perubahan yang terjadi setelah migrasi data penuh selesai, sehingga menjaga sinkronisasi antara database sumber dan tujuan selama aplikasi tetap berjalan. Operasi SQL yang didukung: INSERT, UPDATE, DELETE.

Konfigurasi yang direkomendasikan: Pilih Schema Migration, Full Data Migration, dan Incremental Data Migration secara bersamaan untuk memastikan konsistensi data dan meminimalkan downtime selama pergantian sistem.

Batasan

Database sumber

Batasan	Detail
Bandwidth keluar	Server database sumber harus memiliki bandwidth keluar yang mencukupi. Bandwidth yang tidak mencukupi akan mengurangi kecepatan migrasi.
Kendala tabel	Tabel yang akan dimigrasikan harus memiliki PRIMARY KEY atau kendala UNIQUE dengan semua field unik. Jika tidak, database tujuan mungkin berisi catatan duplikat.
Jumlah tabel saat mengganti nama objek	Jika Anda memilih tabel sebagai objek migrasi dan perlu mengganti nama tabel atau kolom di database tujuan, satu tugas mendukung hingga 1.000 tabel. Untuk lebih dari 1.000 tabel, konfigurasikan beberapa tugas atau migrasikan seluruh database.
DDL selama migrasi data penuh	Jangan melakukan operasi DDL pada database sumber selama migrasi data penuh. Operasi DDL menyebabkan tugas migrasi gagal.
Penulisan data selama migrasi hanya penuh	Jika Anda hanya menjalankan migrasi data penuh (tanpa inkremental), jangan menulis ke database sumber selama migrasi. Penulisan data secara konkuren menyebabkan ketidakkonsistenan data.
DDL inkremental	Operasi DDL inkremental tidak dapat dimigrasikan. Untuk melakukan operasi DDL selama migrasi inkremental, jalankan terlebih dahulu di database tujuan, lalu di database sumber.

Persyaratan binary logging untuk migrasi data inkremental:

Parameter	Nilai yang diperlukan	Catatan
Fitur binary logging	Diaktifkan	Harus diaktifkan sebelum memulai tugas. Jika tidak diaktifkan, Pemeriksaan Awal gagal.
`loose_polar_log_bin`	`on`	Harus diatur ke `on`.
Periode retensi log biner	Minimal 3 hari (disarankan 7 hari)	Log yang disimpan kurang dari 3 hari dapat menyebabkan kegagalan tugas atau kehilangan data.

Mengaktifkan binary logging pada kluster PolarDB for MySQL akan dikenakan biaya penyimpanan untuk file log biner. Untuk petunjuk pengaturan, lihat Enable binary logging dan Modify the retention period.

Batasan lainnya

DTS tidak memigrasikan node read-only dari kluster sumber PolarDB for MySQL.
DTS tidak memigrasikan tabel eksternal Object Storage Service (OSS) dari kluster sumber.
Selama migrasi skema, DTS memigrasikan kunci asing dari database sumber ke database tujuan. Selama migrasi data penuh dan migrasi data inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat session. Jika operasi cascade update atau delete dilakukan pada database sumber selama migrasi, ketidakkonsistenan data dapat terjadi.
Selama migrasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi tablespace. Tablespace yang digunakan pada database tujuan akan lebih besar daripada database sumber setelah migrasi selesai.
DTS mengambil nilai dari kolom FLOAT dan DOUBLE menggunakan ROUND(COLUMN,PRECISION). Jika presisi tidak ditentukan, DTS mengatur presisi menjadi 38 digit untuk FLOAT dan 308 digit untuk DOUBLE. Pastikan nilai default ini sesuai dengan kebutuhan Anda.
DTS mencoba melanjutkan tugas yang gagal hingga 7 hari. Sebelum mengalihkan workload ke database tujuan, hentikan atau lepas tugas yang gagal tersebut, atau jalankan REVOKE untuk mencabut izin tulis dari akun DTS. Jika tidak, tugas yang gagal dan dilanjutkan kembali dapat menimpa data di database tujuan.
DTS menjalankan CREATE DATABASE IF NOT EXISTS \`test\` pada database sumber secara berkala untuk memajukan posisi log biner.
Jika suatu tugas gagal, tim dukungan teknis DTS akan mencoba memulihkannya dalam waktu 8 jam. Tugas tersebut mungkin dimulai ulang dan parameter tugas (bukan parameter database) dapat dimodifikasi selama pemulihan.

Izin yang diperlukan

Database	Izin yang diperlukan
Kluster PolarDB for MySQL	Izin baca pada objek yang akan dimigrasikan
Instans PolarDB-X 2.0	Izin baca dan tulis pada objek yang akan dimigrasikan

Untuk petunjuk membuat akun dan memberikan izin, lihat:

Kluster PolarDB for MySQL: Create and manage database accounts
Instans PolarDB-X 2.0: Mengelola akun database

Buat tugas migrasi data

Langkah 1: Buka halaman Data Migration

Gunakan salah satu metode berikut untuk membuka halaman Data Migration dan pilih wilayah tempat instans migrasi Anda berada.

Konsol DTS:

Masuk ke Konsol DTS.
Di panel navigasi kiri, klik Data Migration.
Di pojok kiri atas, pilih wilayah tempat instans migrasi data berada.

Konsol DMS:

Langkah aktual dapat berbeda tergantung pada mode dan tata letak Konsol DMS Anda. Lihat Simple mode dan Customize the layout and style of the DMS console.

Masuk ke Konsol DMS.
Di bilah navigasi atas, arahkan kursor ke Data + AI > DTS (DTS) > Data Migration.
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi data berada.

Langkah 2: Konfigurasi database sumber dan tujuan

Klik Create Task untuk membuka halaman konfigurasi tugas.

Konfigurasikan database sumber dan tujuan menggunakan parameter berikut.

Peringatan

Setelah mengonfigurasi database sumber dan tujuan, baca Limits yang ditampilkan di bagian atas halaman. Melewatkan langkah ini dapat menyebabkan kegagalan tugas atau ketidakkonsistenan data.

Pengaturan umum

Parameter	Deskripsi
Task Name	Nama untuk tugas DTS. DTS secara otomatis menghasilkan nama. Tentukan nama deskriptif agar mudah mengidentifikasi tugas. Nama tidak perlu unik.

Database Sumber

Parameter	Deskripsi
Select Existing Connection	Jika instans sumber telah terdaftar di DTS, pilih dari daftar drop-down. DTS akan mengisi otomatis parameter lainnya. Di Konsol DMS, pilih instans dari Select a DMS database instance. Jika instans belum terdaftar, konfigurasikan parameter di bawah ini secara manual.
Database Type	Pilih PolarDB for MySQL.
Access Method	Pilih Alibaba Cloud Instance.
Instance Region	Wilayah tempat kluster sumber PolarDB for MySQL berada.
PolarDB Instance ID	ID kluster sumber PolarDB for MySQL.
Database Account	Akun untuk kluster sumber. Lihat Required permissions.
Database Password	Kata sandi untuk akun database.
Encryption	Apakah koneksi akan dienkripsi. Konfigurasikan sesuai kebutuhan Anda. Lihat Configure SSL encryption.

Database Tujuan

Parameter	Deskripsi
Select Existing Connection	Jika instans tujuan telah terdaftar di DTS, pilih dari daftar drop-down. DTS akan mengisi otomatis parameter lainnya. Di Konsol DMS, pilih instans dari Select a DMS database instance. Jika instans belum terdaftar, konfigurasikan parameter di bawah ini secara manual.
Database Type	Pilih PolarDB-X 2.0.
Access Method	Pilih Alibaba Cloud Instance.
Instance Region	Wilayah tempat instans PolarDB-X 2.0 berada.
Instance ID	ID instans tujuan PolarDB-X 2.0.
Database Account	Akun untuk instans tujuan. Lihat Required permissions.
Database Password	Kata sandi untuk akun database.

Klik Test Connectivity and Proceed.
Pastikan Blok CIDR server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan Anda. Lihat Add the CIDR blocks of DTS servers.

Langkah 3: Konfigurasi objek migrasi

Di halaman Configure Objects, konfigurasikan parameter berikut.

Jika Anda tidak memilih Schema Migration, buat database dan tabel target di database tujuan terlebih dahulu dan aktifkan fitur pemetaan nama objek di Selected Objects. Jika Anda tidak memilih Incremental Data Migration, jangan menulis ke database sumber selama migrasi agar konsistensi data tetap terjaga. Mengganti nama objek menggunakan fitur pemetaan nama objek dapat menyebabkan objek dependen gagal dimigrasikan.

Parameter	Deskripsi
Migration Types	Pilih jenis migrasi sesuai kebutuhan Anda: - Untuk migrasi satu kali, pilih Schema Migration dan Full Data Migration. - Untuk sinkronisasi berkelanjutan dengan downtime minimal (direkomendasikan), pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
Processing Mode of Conflicting Tables	- Precheck and Report Errors (direkomendasikan): memeriksa apakah ada tabel di database tujuan dengan nama yang sama seperti tabel sumber. Pemeriksaan Awal gagal jika terdapat konflik. Jika tabel tujuan yang bertabrakan tidak dapat dihapus atau diganti namanya, gunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan. Lihat Map object names. - Ignore Errors and Proceed: melewati pemeriksaan konflik nama. Gunakan dengan hati-hati — selama migrasi penuh, DTS melewati catatan yang bertabrakan dengan catatan tujuan yang sudah ada; selama migrasi inkremental, DTS menimpa catatan tujuan yang bertabrakan. Jika skema berbeda, hanya kolom tertentu yang mungkin dimigrasikan atau tugas dapat gagal.
Source Objects	Pilih objek dari bagian Source Objects, klik ikon panah ke kanan, lalu tambahkan ke bagian Selected Objects. Objek yang dapat dipilih mencakup kolom, tabel, dan skema. Memilih tabel atau kolom akan mengecualikan jenis objek lain seperti view, trigger, dan stored procedure.
Selected Objects	- Untuk mengganti nama satu objek: klik kanan objek tersebut dan lihat Map the name of a single object. - Untuk mengganti nama beberapa objek sekaligus: klik Batch Edit. Lihat Map multiple object names at a time. - Untuk memfilter baris: klik kanan objek dan tentukan kondisi WHERE. Lihat Specify filter conditions. - Untuk memilih operasi SQL tertentu untuk sebuah tabel: klik kanan objek dan pilih operasi tersebut.

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Jika beberapa tugas menggunakan database sumber atau tujuan yang sama dan memiliki pengaturan waktu retry berbeda, nilai yang dikonfigurasi terakhir akan berlaku. DTS mengenakan biaya penggunaan instans selama periode retry. Kami menyarankan mengatur waktu retry sesuai kebutuhan bisnis Anda dan segera melepas instans DTS setelah migrasi selesai.

Parameter	Deskripsi
Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke kluster bersama. Untuk stabilitas lebih tinggi, beli klaster khusus. Lihat What is a DTS dedicated cluster.
Retry Time for Failed Connections	Durasi DTS mencoba koneksi ulang setelah tugas dimulai. Nilai valid: 10–1.440 menit. Default: 720 menit. Atur minimal 30 menit. Jika DTS berhasil terhubung kembali dalam periode ini, tugas dilanjutkan; jika tidak, tugas gagal.
Retry Time for Other Issues	Durasi DTS mencoba ulang operasi DDL atau DML yang gagal. Nilai valid: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Nilai ini harus lebih kecil daripada Retry Time for Failed Connections.
Enable Throttling for Full Data Migration	Membatasi beban baca/tulis selama migrasi penuh. Saat diaktifkan, konfigurasikan Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Tersedia hanya jika Full Data Migration dipilih.
Enable Throttling for Incremental Data Migration	Membatasi beban selama migrasi inkremental. Saat diaktifkan, konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Tersedia hanya jika Incremental Data Migration dipilih.
Environment Tag	Tag opsional untuk mengidentifikasi instans DTS.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Mengontrol apakah DTS menulis operasi tabel heartbeat ke database sumber. Yes: tidak menulis operasi heartbeat (tampilan latensi mungkin muncul). No: menulis operasi heartbeat (dapat memengaruhi backup fisik dan kloning database sumber).
Configure ETL	Apakah akan mengaktifkan extract, transform, and load (ETL). Yes: membuka editor kode ETL. Lihat Configure ETL in a data migration or data synchronization task dan What is ETL?. No: menonaktifkan ETL.
Monitoring and Alerting	Apakah akan menerima notifikasi untuk kegagalan tugas atau ambang batas latensi. Yes: konfigurasikan ambang batas peringatan dan pengaturan notifikasi. Lihat Configure monitoring and alerting when you create a DTS task. No: tidak ada notifikasi.

Klik Next Step: Data Verification untuk mengatur tugas verifikasi data. Lihat Configure a data verification task.

Langkah 4: Jalankan Pemeriksaan Awal

Untuk melihat pratinjau parameter API untuk tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.
Klik Next: Save Task Settings and Precheck untuk menyimpan pengaturan dan memulai Pemeriksaan Awal.

DTS menjalankan Pemeriksaan Awal sebelum memulai migrasi. Tugas hanya akan dimulai setelah Pemeriksaan Awal berhasil.

Jika Pemeriksaan Awal gagal:

Klik View Details di sebelah item yang gagal, tinjau penyebabnya, perbaiki masalah tersebut, lalu klik Precheck Again.
Untuk item peringatan yang dapat diabaikan: klik Confirm Alert Details > View Details > Ignore > OK, lalu klik Precheck Again.

Mengabaikan item peringatan dapat menyebabkan ketidakkonsistenan data atau risiko lainnya.

Langkah 5: Beli dan mulai instans migrasi

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman Purchase Instance, konfigurasikan parameter berikut.

Parameter	Deskripsi
Resource Group	Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat What is Resource Management?
Instance Class	Kelas instans migrasi menentukan kecepatan migrasi. Pilih kelas sesuai beban kerja Anda. Lihat Instance classes of data migration instances.

Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan mencentang kotak centang.
Klik Buy and Start, lalu klik OK di dialog konfirmasi.

Pantau tugas migrasi

Setelah tugas dimulai, pantau perkembangannya di halaman Data Migration.

Konfigurasi migrasi	Perilaku status
Hanya migrasi skema dan migrasi data penuh	Tugas berhenti secara otomatis setelah selesai. Kolom Status menampilkan Completed.
Termasuk migrasi data inkremental	Tugas berjalan terus-menerus dan tidak berhenti otomatis. Kolom Status menampilkan Running.

Data Transmission Service:Migrasi data dari kluster PolarDB for MySQL ke instans PolarDB-X 2.0