Data Transmission Service:Migrasikan data dari database MySQL yang dikelola sendiri ke instans RDS for MySQL

Perilaku kunci asing

Batasan database sumber

• Server sumber harus memiliki bandwidth outbound yang mencukupi. Bandwidth yang tidak mencukupi akan memperlambat migrasi.

• Tabel yang akan dimigrasikan harus memiliki PRIMARY KEY atau Kendala UNIK, dan semua field harus unik. Jika tidak, database tujuan mungkin berisi catatan duplikat.

• Satu tugas migrasi mendukung maksimal 1.000 tabel saat Anda memilih tabel sebagai objek migrasi dan memodifikasinya di tujuan (misalnya, mengganti nama tabel atau kolom). Untuk memigrasikan lebih dari 1.000 tabel, bagi tugas tersebut atau migrasikan seluruh database.

• Log biner untuk migrasi data inkremental harus memenuhi persyaratan berikut:

  • Binary logging diaktifkan dengan binlog_format diatur ke row dan binlog_row_image diatur ke full. Jika tidak, terjadi error selama pemeriksaan awal dan migrasi tidak dapat dimulai. > Penting: Untuk database MySQL yang dikelola sendiri dalam kluster dual-primary, atur log_slave_updates ke ON agar DTS dapat memperoleh semua log biner.

  • Log biner harus disimpan minimal selama tujuh hari. Jika tidak, DTS mungkin gagal memperoleh log tersebut, menyebabkan kegagalan tugas. Dalam kasus luar biasa, dapat terjadi inkonsistensi atau kehilangan data. Kegagalan memenuhi persyaratan ini dapat membatalkan keandalan atau kinerja layanan yang dinyatakan dalam Perjanjian Tingkat Layanan (SLA) DTS.

• Operasi pada database sumber selama migrasi:

  • Selama migrasi skema dan migrasi data penuh, jangan jalankan pernyataan DDL yang mengubah skema database atau tabel. Jika dilakukan, tugas akan gagal.

  • Untuk migrasi hanya data penuh, jangan menulis data ke database sumber selama migrasi. Jika dilakukan, terjadi inkonsistensi data. Untuk memastikan konsistensi, pilih ketiga jenis migrasi.

• Data yang dihasilkan oleh operasi perubahan log biner, seperti data yang dipulihkan dari backup fisik atau operasi kaskade, tidak direkam atau dimigrasikan selama instans migrasi berjalan.

  Catatan

  Jika data ini tidak dimigrasikan, Anda dapat menjalankan migrasi data penuh lagi jika bisnis Anda mengizinkannya.

• Untuk MySQL sumber versi 8.0.23 atau lebih baru, kolom tak terlihat (invisible columns) tidak dapat dibaca dan menyebabkan kehilangan data.

  Catatan

  - Untuk membuat kolom terlihat, jalankan ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;. Untuk informasi lebih lanjut, lihat Invisible Columns. - Tabel tanpa primary key secara otomatis menghasilkan primary key tak terlihat. Buat primary key tersebut terlihat. Untuk informasi lebih lanjut, lihat Generated Invisible Primary Keys.

Batasan lainnya

• Versi database MySQL sumber dan tujuan harus sama untuk kompatibilitas.

• DTS tidak memigrasikan data yang menggunakan parser yang didefinisikan oleh komentar.

• Untuk MySQL tujuan versi 8.0.23 atau lebih baru, kolom tak terlihat tidak dapat menerima data, menyebabkan instans DTS gagal dan kehilangan data.

  Catatan

  - Untuk membuat kolom terlihat, jalankan ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;. Untuk informasi lebih lanjut, lihat Invisible Columns. - Tabel tanpa primary key secara otomatis menghasilkan primary key tak terlihat. Buat primary key tersebut terlihat. Untuk informasi lebih lanjut, lihat Generated Invisible Primary Keys.

• Jika Anda melewatkan migrasi skema, pastikan tipe field antara sumber dan tujuan kompatibel. Misalnya, field text di sumber mungkin terpotong saat ditulis ke field varchar(255) di tujuan.

• Jika data yang dimigrasikan berisi karakter empat-byte (karakter langka atau emoji), database dan tabel tujuan harus menggunakan set karakter UTF8mb4.

  Catatan

  Saat menggunakan migrasi skema, atur parameter character_set_server di database tujuan ke UTF8mb4.

• Evaluasi dampak kinerja pada kedua database sebelum memulai. Lakukan migrasi pada jam sepi. Selama migrasi data penuh, DTS mengonsumsi sumber daya baca dan tulis kedua database, yang dapat meningkatkan beban server.

• Migrasi data penuh dengan INSERT konkuren menyebabkan fragmentasi tabel. Ruang tabel tujuan akan lebih besar daripada ruang tabel sumber setelah migrasi.

• DTS menggunakan fungsi ROUND(COLUMN,PRECISION) untuk kolom FLOAT dan DOUBLE. Presisi default: 38 digit untuk FLOAT, 308 digit untuk DOUBLE. Verifikasi bahwa pengaturan presisi memenuhi kebutuhan Anda.

• DTS berusaha melanjutkan tugas yang gagal dalam waktu tujuh hari. Sebelum mengalihkan beban kerja ke tujuan, hentikan atau lepas tugas yang gagal, atau gunakan REVOKE untuk mencabut izin tulis akun DTS pada database tujuan. Jika tidak, tugas yang dilanjutkan dapat menimpa data tujuan.

• Pernyataan DDL yang gagal di tujuan tidak menghentikan tugas DTS. Lihat pernyataan DDL yang gagal di log tugas. Untuk informasi lebih lanjut, lihat Lihat log tugas.

• Nama kolom yang hanya berbeda kapitalisasi dalam satu tabel yang sama dapat menghasilkan hasil tak terduga karena nama kolom MySQL bersifat case-insensitive.

• Setelah migrasi selesai (Status berubah menjadi Completed), jalankan analyze table <table name> untuk memverifikasi bahwa data telah ditulis ke tabel tujuan. Alih bencana high-availability (HA) di tujuan dapat menyebabkan data tetap hanya di memori, mengakibatkan kehilangan data.

• Instans ApsaraDB RDS for MySQL yang mengaktifkan fitur EncDB tidak mendukung migrasi data penuh.

  Catatan

  Instans ApsaraDB RDS for MySQL yang mengaktifkan Enkripsi Data Transparan (TDE) mendukung migrasi skema, migrasi data penuh, dan migrasi data inkremental.

• Untuk memigrasikan akun, tinjau prasyarat dan tindakan pencegahan di Migrasikan akun database.

• Jika tugas DTS gagal, dukungan teknis DTS berusaha memulihkannya dalam waktu 8 jam. Tugas mungkin dimulai ulang, dan parameter tugas mungkin dimodifikasi selama pemulihan.

  Catatan

  Hanya parameter tugas yang mungkin dimodifikasi; parameter database tidak diubah. Parameter yang dimodifikasi mencakup, namun tidak terbatas pada, parameter di bagian Modifikasi parameter instans pada topik Modifikasi parameter instans DTS.

Kasus khusus

• Database MySQL yang dikelola sendiri sebagai sumber:

  • Alih bencana primer/sekunder pada database sumber selama migrasi menyebabkan tugas gagal.

  • DTS menghitung latensi migrasi berdasarkan stempel waktu data terakhir yang dimigrasikan dibandingkan dengan stempel waktu sumber saat ini. Jika tidak ada operasi DML pada sumber dalam waktu lama, latensi mungkin tidak akurat. Untuk memperbarui latensi, lakukan operasi DML pada database sumber. > Catatan: Jika Anda memilih seluruh database sebagai objek migrasi, Anda dapat membuat tabel heartbeat yang diperbarui setiap detik.

  • DTS secara berkala mengeksekusi `CREATE DATABASE IF NOT EXISTS test ` pada database sumber untuk memajukan posisi file log biner.

• Instans ApsaraDB RDS for MySQL sebagai sumber:

  • Instans ApsaraDB RDS for MySQL V5.6 read-only (atau instans apa pun yang tidak mencatat log transaksi) tidak dapat digunakan sebagai sumber untuk migrasi data inkremental.

  • DTS secara berkala mengeksekusi `CREATE DATABASE IF NOT EXISTS test ` pada database sumber untuk memajukan posisi file log biner.

• Instans ApsaraDB RDS for MySQL sebagai tujuan: DTS secara otomatis membuat database di instans tujuan. Namun, jika nama database sumber tidak sesuai dengan Konvensi penamaan ApsaraDB RDS for MySQL, buat database tersebut secara manual sebelum mengonfigurasi tugas. Untuk informasi lebih lanjut, lihat Kelola database.

Langkah 1: Buka halaman migrasi data

Buka halaman Data Migration dan pilih wilayah instans migrasi data menggunakan salah satu metode berikut.

Langkah 2: Konfigurasikan database sumber dan tujuan

1. Klik Create Task.

2. (Opsional) Klik New Configuration Page di pojok kanan atas.

   Catatan

   - Lewati langkah ini jika Back to Previous Version ditampilkan di pojok kanan atas. - Halaman konfigurasi baru direkomendasikan. Beberapa parameter berbeda antar versi.

3. Konfigurasikan database sumber dan tujuan.

   Peringatan

   Setelah dikonfigurasi, baca Limits di bagian atas halaman. Jika tidak, tugas mungkin gagal atau terjadi inkonsistensi data.

   Bagian	Parameter	Deskripsi
   N/A	Task Name	DTS secara otomatis menghasilkan nama tugas. Tentukan nama yang informatif untuk memudahkan identifikasi. Nama unik tidak diperlukan.
   Source Database	Select Existing Connection	Pada contoh ini, tidak ada koneksi yang ada dipilih. Konfigurasikan informasi database di bawah ini.
   	Database Type	Pilih MySQL.
   	Access Method	Pilih metode akses berdasarkan penerapan database sumber. Pada contoh ini, pilih Public IP Address.
   		Penting Untuk database yang dikelola sendiri, siapkan lingkungan yang diperlukan sebelum migrasi. Untuk informasi lebih lanjut, lihat Ikhtisar persiapan.
   	Instance Region	Wilayah database MySQL sumber.
   	Domain Name or IP	Titik akhir database MySQL sumber. Pada contoh ini, masukkan alamat IP publik.
   	Port Number	Port layanan database sumber. Harus dapat diakses melalui Internet. Default: 3306.
   	Database Account	Akun database sumber. Untuk izin yang diperlukan, lihat bagian Izin yang diperlukan untuk akun database.
   	Database Password	Kata sandi akun database sumber.
   	Encryption	Pilih Non-encrypted atau SSL-encrypted sesuai kebutuhan Anda.
   		- Jika SSL tidak diaktifkan pada sumber, pilih Non-encrypted.
   		- Jika SSL diaktifkan, pilih SSL-encrypted dan unggah CA Certificate serta konfigurasikan CA Key.
   Destination Database	Select Existing Connection	Pada contoh ini, tidak ada koneksi yang ada dipilih. Konfigurasikan informasi database di bawah ini.
   	Database Type	Pilih MySQL.
   	Access Method	Pilih Alibaba Cloud Instance.
   	Instance Region	Wilayah instans ApsaraDB RDS for MySQL tujuan.
   	Replicate Data Across Alibaba Cloud Accounts	Pilih No.
   	RDS Instance ID	ID instans ApsaraDB RDS for MySQL tujuan.
   	Database Account	Akun database tujuan. Untuk izin yang diperlukan, lihat bagian Izin yang diperlukan untuk akun database.
   	Database Password	Kata sandi akun database tujuan.
   	Encryption	Pilih Non-encrypted atau SSL-encrypted. Untuk menggunakan SSL-encrypted, aktifkan SSL pada instans RDS terlebih dahulu. Untuk informasi lebih lanjut, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.

4. Klik Test Connectivity and Proceed, lalu klik Confirm authorization and test link di kotak dialog CIDR Blocks of DTS Servers.

   Catatan

   Pastikan blok CIDR server DTS dapat ditambahkan (secara otomatis atau manual) ke pengaturan keamanan kedua database. Untuk informasi lebih lanjut, lihat Tambahkan blok CIDR server DTS.

Langkah 3: Konfigurasikan objek migrasi dan pengaturan lanjutan

1. Di halaman Configure Objects, atur parameter berikut.

   Parameter	Deskripsi
   Migration Types	- Untuk migrasi data penuh saja, pilih Schema Migration dan Full Data Migration.
   	- Untuk migrasi tanpa downtime, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
   	> Catatan:
   	> - Jika Anda melewatkan Schema Migration, buat database dan tabel di tujuan terlebih dahulu, dan aktifkan pemetaan nama objek di Selected Objects.
   	> - Jika Anda melewatkan Incremental Data Migration, jangan menulis data ke sumber selama migrasi.
   Method to Migrate Triggers in Source Database	Pilih metode migrasi trigger sesuai kebutuhan Anda. Lewati jika tidak ada trigger. Untuk informasi lebih lanjut, lihat Sinkronisasi atau migrasi trigger dari database sumber.
   	Catatan Hanya tersedia jika Schema Migration dan Incremental Data Migration dipilih.
   Enable Migration Assessment	Periksa kompatibilitas skema sumber dan tujuan (panjang indeks, prosedur tersimpan, tabel dependen). Pilih Yes atau No.
   	> Catatan:
   	> - Hanya tersedia jika Schema Migration dipilih.
   	> - Memilih Yes memperpanjang waktu pemeriksaan awal. Lihat Assessment Result selama pemeriksaan awal. Hasil penilaian tidak memengaruhi hasil pemeriksaan awal.
   Processing Mode of Conflicting Tables	- Precheck and Report Errors: Memeriksa nama tabel duplikat. Jika ada duplikat, pemeriksaan awal gagal dan migrasi tidak dapat dimulai.
   	Catatan Jika tabel duplikat tidak dapat dihapus atau diganti namanya, gunakan pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan. Untuk informasi lebih lanjut, lihat Pemetaan nama objek.
   	- Ignore Errors and Proceed: Melewati pemeriksaan nama tabel duplikat.
   	Peringatan Memilih Ignore Errors and Proceed dapat menyebabkan inkonsistensi data:
   	> - Skema sama, primary key sama: selama migrasi penuh, catatan yang ada dipertahankan; selama migrasi inkremental, catatan yang ada ditimpa.
   	> - Skema berbeda: hanya kolom tertentu yang dimigrasikan, atau tugas gagal.
   Whether to migrate Event	Pilih Yes untuk memigrasikan event. Untuk informasi lebih lanjut, lihat Sinkronisasi atau migrasi event.
   Capitalization of Object Names in Destination Instance	Mengontrol kapitalisasi nama database, tabel, dan kolom. Default: DTS default policy. Untuk informasi lebih lanjut, lihat Tentukan kapitalisasi nama objek di instans tujuan.
   Source Objects	Pilih objek dari Source Objects dan klik panah ke kanan untuk menambahkannya ke Selected Objects.
   	Catatan Anda dapat memilih kolom, tabel, atau database. Memilih tabel atau kolom mengecualikan view, trigger, dan prosedur tersimpan.
   Selected Objects	- Untuk mengganti nama satu objek, klik kanan objek tersebut. Untuk informasi lebih lanjut, lihat Pemetaan nama satu objek.
   	- Untuk mengganti nama beberapa objek, klik Batch Edit. Untuk informasi lebih lanjut, lihat Pemetaan nama beberapa objek sekaligus.
   	> Catatan:
   	> - Mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan.
   	> - Untuk memfilter data dengan kondisi WHERE, klik kanan tabel dan atur filter. Untuk informasi lebih lanjut, lihat Filter data yang akan dimigrasikan.
   	> - Untuk memilih operasi SQL tertentu untuk migrasi inkremental, klik kanan objek dan pilih operasi. Untuk operasi yang didukung, lihat bagian Operasi SQL yang didukung untuk migrasi data inkremental.

2. Klik Next: Advanced Settings.

   Parameter	Deskripsi
   Dedicated Cluster for Task Scheduling	Secara default, DTS menggunakan kluster bersama. Untuk stabilitas lebih baik, beli kluster khusus. Untuk informasi lebih lanjut, lihat Apa itu kluster khusus DTS.
   Copy the temporary table of the Online DDL tool that is generated in the source table to the destination database.	Mengontrol penanganan tabel sementara dari operasi DDL Online menggunakan DMS atau gh-ost.
   	Penting Jangan gunakan pt-online-schema-change untuk operasi DDL Online. Hal ini menyebabkan tugas DTS gagal.
   	- Yes: Memigrasikan data tabel sementara.
   	Catatan Jumlah besar data DDL Online dapat meningkatkan latensi migrasi.
   	- No, Adapt to DMS Online DDL: Melewati tabel sementara. Hanya operasi DDL asli dari DMS yang dimigrasikan.
   	Catatan Opsi ini dapat mengunci tabel tujuan.
   	- No, Adapt to gh-ost: Melewati tabel sementara. Hanya DDL asli dari gh-ost yang dimigrasikan. Gunakan regex default atau kustom untuk memfilter tabel bayangan.
   	Catatan Opsi ini dapat mengunci tabel tujuan.
   Whether to Migrate Accounts	Pilih Yes untuk memigrasikan akun database sumber. Verifikasi izin akun sumber dan tujuan yang digunakan dalam tugas.
   Retry Time for Failed Connections	Durasi percobaan ulang saat koneksi sumber atau tujuan gagal. Rentang: 10–1.440 menit. Default: 720. Direkomendasikan: lebih dari 30. Jika koneksi berhasil dalam waktu ini, tugas dilanjutkan. Jika tidak, tugas gagal.
   	> Catatan:
   	> - Untuk beberapa tugas yang berbagi database, nilai yang dikonfigurasi terakhir berlaku.
   	> - Biaya DTS berlaku selama percobaan ulang. Segera lepas instans setelah database dilepas.
   Retry Time for Other Issues	Durasi percobaan ulang untuk kegagalan DDL/DML. Rentang: 1–1.440 menit. Default: 10. Direkomendasikan: lebih dari 10.
   	Penting Nilai ini harus lebih kecil dari Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Membatasi konsumsi sumber daya selama migrasi penuh. Atur Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s).
   	Catatan Hanya tersedia jika Full Data Migration dipilih.
   Enable Throttling for Incremental Data Migration	Membatasi konsumsi sumber daya selama migrasi inkremental. Atur RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s).
   	Catatan Hanya tersedia jika Incremental Data Migration dipilih.
   Environment Tag	Tag untuk mengidentifikasi instans DTS. Tidak diperlukan pada contoh ini.
   Whether to delete SQL operations on heartbeat tables of forward and reverse tasks	Mengontrol apakah operasi SQL heartbeat ditulis ke database sumber.
   	- Yes: Tidak menulis SQL heartbeat. Informasi latensi mungkin terpengaruh.
   	- No: Menulis SQL heartbeat. Dapat memengaruhi backup fisik dan kloning sumber.
   Configure ETL	Aktifkan ekstrak, transformasi, muat (ETL). Untuk informasi lebih lanjut, lihat Apa itu ETL?
   	- Yes: Masukkan pernyataan pemrosesan data di editor kode. Untuk informasi lebih lanjut, lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data.
   	- No: Melewati konfigurasi ETL.
   Monitoring and Alerting	Konfigurasikan peringatan untuk kegagalan tugas atau latensi migrasi yang berlebihan.
   	- No: Melewati peringatan.
   	- Yes: Atur ambang batas peringatan dan penerima notifikasi. Untuk informasi lebih lanjut, lihat Konfigurasikan pemantauan dan peringatan saat membuat tugas DTS.

3. Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.

Langkah 4: Jalankan pemeriksaan awal dan beli instans

1. Simpan pengaturan tugas dan mulai pemeriksaan awal.

   • Untuk melihat parameter API, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

   • Jika tidak, klik Next: Save Task Settings and Precheck.

   Catatan

   - DTS menjalankan pemeriksaan awal sebelum memulai tugas. Tugas hanya dimulai setelah pemeriksaan awal berhasil. - Jika pemeriksaan awal gagal, klik View Details di sebelah setiap item yang gagal. Perbaiki masalah dan jalankan pemeriksaan awal lagi. - Jika peringatan dipicu selama pemeriksaan awal: - Jika peringatan tidak dapat diabaikan, klik View Details, perbaiki masalah, dan jalankan ulang pemeriksaan awal. - Jika peringatan dapat diabaikan, klik Confirm Alert Details, lalu klik Ignore di kotak dialog, dan klik OK. Kemudian klik Precheck Again. Mengabaikan peringatan dapat menyebabkan inkonsistensi data.

2. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

3. Di halaman Purchase Instance, konfigurasikan kelas instans.

   Bagian	Parameter	Deskripsi
   New Instance Class	Resource Group	Kelompok sumber daya untuk instans. Default: default resource group. Untuk informasi lebih lanjut, lihat Apa itu Resource Management?
   	Instance Class	Pilih kelas instans berdasarkan kecepatan migrasi yang dibutuhkan. Untuk informasi lebih lanjut, lihat Kelas instans migrasi data.

4. Pilih kotak centang Data Transmission Service (Pay-as-you-go) Service Terms.

5. Klik Buy and Start, lalu klik OK di kotak dialog konfirmasi.

Pasca-migrasi

Lihat progres tugas di halaman Data Migration.