Topik ini menjelaskan cara migrasi data dari instans ApsaraDB RDS for MySQL ke instans PolarDB-X 2.0 menggunakan Data Transmission Service (DTS).
Database sumber yang didukung
Anda dapat menggunakan DTS untuk migrasi data dari jenis database MySQL berikut ke instans PolarDB-X 2.0. Pada topik ini, instans ApsaraDB RDS for MySQL digunakan sebagai contoh untuk menjelaskan cara mengonfigurasi tugas migrasi data. Anda juga dapat mengikuti prosedur ini untuk mengonfigurasi tugas migrasi data dari jenis database MySQL lainnya.
Instans ApsaraDB RDS for MySQL.
Database yang dikelola sendiri:
Database yang dikelola sendiri dengan alamat IP publik
Database yang dikelola sendiri yang di-hosting pada Elastic Compute Service (ECS)
Database yang dikelola sendiri yang terhubung melalui Express Connect, VPN Gateway, atau Smart Access Gateway
Database yang dikelola sendiri yang terhubung melalui Database Gateway
Prasyarat
Instans PolarDB-X 2.0 telah dibuat.
Ruang penyimpanan yang tersedia pada instans PolarDB-X 2.0 lebih besar daripada ukuran total data pada instans ApsaraDB RDS for MySQL.
Batasan
Selama migrasi skema, DTS memigrasikan kunci asing dari database sumber ke database tujuan.
Selama migrasi data penuh dan migrasi data inkremental, DTS menonaktifkan sementara pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Jika Anda melakukan operasi pembaruan dan penghapusan kaskade pada database sumber selama migrasi data, ketidakkonsistenan data dapat terjadi.
Tipe | Deskripsi |
Batasan database sumber |
|
Batasan lainnya |
|
Kasus khusus |
|
Penagihan
Tipe migrasi | Biaya konfigurasi instans | Biaya lalu lintas Internet |
Migrasi skema dan migrasi data penuh | Gratis. | Ketika parameter Access Method database tujuan diatur ke Public IP Address, Anda dikenai biaya lalu lintas Internet. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Migrasi data inkremental | Dikenai biaya. Untuk informasi selengkapnya, lihat Ikhtisar penagihan. |
Tipe migrasi
Migrasi skema
Data Transmission Service (DTS) memigrasikan skema objek yang dipilih dari database sumber ke database tujuan.
CatatanDTS mendukung migrasi skema untuk tipe objek berikut: tabel, view, trigger, prosedur tersimpan, dan fungsi tersimpan.
Catatanroutine_bodydari prosedur tersimpan,routine_bodydari fungsi tersimpan, danselect_statementdari view tidak dapat dimodifikasi selama migrasi.Selama migrasi skema, DTS mengubah nilai atribut SECURITY dari DEFINER menjadi INVOKER untuk view, prosedur tersimpan, dan fungsi. Selain itu, DTS mengatur DEFINER ke akun database tujuan yang digunakan dalam migrasi.
CatatanAtribut SECURITY dan DEFINER tidak dapat dimodifikasi selama migrasi.
DTS tidak memigrasikan informasi pengguna. Untuk memanggil view, prosedur tersimpan, atau fungsi tersimpan di database tujuan, Anda harus memberikan izin baca dan tulis kepada INVOKER.
Migrasi data penuh
DTS memigrasikan data historis objek yang diperlukan dari database sumber ke database tujuan.
Migrasi data inkremental
Setelah migrasi data penuh selesai, DTS memigrasikan data inkremental dari database sumber ke database tujuan. Migrasi data inkremental memungkinkan data dimigrasikan secara lancar tanpa mengganggu layanan aplikasi yang dikelola sendiri selama migrasi data.
Operasi SQL yang mendukung migrasi inkremental
Tipe operasi | Pernyataan SQL |
DML | INSERT, UPDATE, DELETE |
DDL |
|
Izin yang diperlukan untuk akun database
Database | Migrasi skema | Migrasi data penuh | Migrasi data inkremental |
Instans ApsaraDB RDS for MySQL | Izin SELECT | Izin SELECT | Izin REPLICATION CLIENT, REPLICATION SLAVE, SHOW VIEW, dan SELECT |
Instans PolarDB-X 2.0 | Izin baca dan tulis | ||
Untuk informasi selengkapnya tentang cara membuat akun database dan memberikan izin kepada akun tersebut, lihat topik berikut:
Instans ApsaraDB RDS for MySQL: Buat akun dan Ubah izin akun.
Instans PolarDB-X 2.0: Kelola akun database.
Prosedur
Gunakan salah satu metode berikut untuk membuka halaman Migrasi Data dan pilih wilayah tempat instans migrasi data berada.
Konsol DTS
Login ke Konsol DTS.
Di panel navigasi sebelah kiri, klik Data Migration.
Di pojok kiri atas halaman, pilih wilayah tempat instans migrasi data berada.
Konsol DMS
CatatanOperasi aktual dapat berbeda tergantung pada mode dan tata letak konsol DMS. Untuk informasi selengkapnya, lihat Mode sederhana dan Sesuaikan tata letak dan gaya konsol DMS.
Login ke Konsol DMS.
Di bilah navigasi atas, arahkan kursor ke .
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans sinkronisasi data berada.
Klik Create Task untuk membuka halaman konfigurasi tugas.
Konfigurasikan database sumber dan tujuan. Tabel berikut menjelaskan parameter-parameternya.
PeringatanSetelah mengonfigurasi database sumber dan tujuan, kami merekomendasikan agar Anda membaca Limits yang ditampilkan di bagian atas halaman. Jika tidak, tugas mungkin gagal atau terjadi ketidakkonsistenan data.
Bagian
Parameter
Deskripsi
N/A
Task Name
Nama tugas DTS. DTS secara otomatis menghasilkan nama tugas. Kami merekomendasikan agar Anda menentukan nama yang informatif sehingga mudah mengidentifikasi tugas tersebut. Anda tidak perlu menentukan nama tugas yang unik.
Source Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih MySQL.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instans sumber ApsaraDB RDS for MySQL berada.
Replicate Data Across Alibaba Cloud Accounts
Pada contoh ini, migrasi dilakukan dalam akun Alibaba Cloud yang sama. Pilih No.
RDS Instance ID
ID instans sumber ApsaraDB RDS for MySQL.
Database Account
Akun database instans sumber ApsaraDB RDS for MySQL. Untuk informasi tentang izin yang diperlukan untuk akun tersebut, lihat Izin yang diperlukan untuk akun database.
Database Password
Password yang digunakan untuk mengakses instans database.
Encryption
Menentukan apakah koneksi ke instans database sumber dienkripsi. Pilih Non-encrypted atau SSL-encrypted berdasarkan kebutuhan bisnis Anda. Jika Anda ingin mengatur parameter ini ke SSL-encrypted, Anda harus mengaktifkan enkripsi SSL untuk instans ApsaraDB RDS for MySQL sebelum mengonfigurasi tugas DTS. Untuk informasi selengkapnya, lihat Gunakan sertifikat cloud untuk mengaktifkan enkripsi SSL.
Destination Database
Select Existing Connection
Jika Anda menggunakan instans database yang telah didaftarkan ke DTS, pilih instans tersebut dari daftar drop-down. DTS secara otomatis mengisi parameter database berikut untuk instans tersebut. Untuk informasi selengkapnya, lihat Kelola koneksi database.
CatatanDi konsol DMS, Anda dapat memilih instans database dari daftar drop-down Select a DMS database instance.
Jika Anda gagal mendaftarkan instans ke DTS, atau tidak perlu menggunakan instans yang telah didaftarkan ke DTS, Anda harus mengonfigurasi informasi database berikut.
Database Type
Pilih PolarDB-X 2.0.
Access Method
Pilih Alibaba Cloud Instance.
Instance Region
Wilayah tempat instans tujuan PolarDB-X 2.0 berada.
Instance ID
ID instans tujuan PolarDB-X 2.0.
Database Account
Akun database instans tujuan PolarDB-X 2.0. Untuk informasi tentang izin yang diperlukan untuk akun tersebut, lihat Izin yang diperlukan untuk akun database.
Database Password
Password yang digunakan untuk mengakses instans database.
Di bagian bawah halaman, klik Test Connectivity and Proceed.
CatatanPastikan blok CIDR server DTS dapat ditambahkan secara otomatis atau manual ke pengaturan keamanan database sumber dan tujuan untuk mengizinkan akses dari server DTS. Untuk informasi selengkapnya, lihat Tambahkan alamat IP server DTS ke daftar putih.
Jika database sumber atau tujuan adalah database yang dikelola sendiri dan parameter Access Method-nya tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.
Konfigurasikan objek yang akan dimigrasikan.
Pada halaman Configure Objects, konfigurasikan objek yang ingin Anda migrasikan.
Parameter
Deskripsi
Migration Types
Untuk melakukan hanya migrasi data penuh, pilih Schema Migration dan Full Data Migration.
Untuk memastikan kelangsungan layanan selama migrasi data, pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
CatatanJika Anda tidak memilih Schema Migration, pastikan database dan tabel telah dibuat di database tujuan untuk menerima data dan fitur pemetaan nama objek diaktifkan di Selected Objects.
Jika Anda tidak memilih Incremental Data Migration, kami merekomendasikan agar Anda tidak menulis data ke database sumber selama migrasi data. Hal ini memastikan konsistensi data antara database sumber dan tujuan.
Processing Mode of Conflicting Tables
Precheck and Report Errors: memeriksa apakah database tujuan berisi tabel dengan nama yang sama seperti tabel di database sumber. Jika database sumber dan tujuan tidak berisi tabel dengan nama identik, pemeriksaan awal berhasil. Jika tidak, kesalahan dikembalikan selama pemeriksaan awal dan tugas migrasi data tidak dapat dimulai.
CatatanJika database sumber dan tujuan berisi tabel dengan nama identik dan tabel di database tujuan tidak dapat dihapus atau diganti namanya, Anda dapat menggunakan fitur pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan ke database tujuan. Untuk informasi selengkapnya, lihat Map object names.
Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel identik di database sumber dan tujuan.
PeringatanJika Anda memilih Ignore Errors and Proceed, ketidakkonsistenan data dapat terjadi dan bisnis Anda mungkin menghadapi risiko potensial berikut:
Jika database sumber dan tujuan memiliki skema yang sama, dan suatu catatan data memiliki primary key yang sama dengan catatan data yang sudah ada di database tujuan, skenario berikut dapat terjadi:
Selama migrasi data penuh, DTS tidak memigrasikan catatan data tersebut ke database tujuan. Catatan data yang sudah ada di database tujuan tetap dipertahankan.
Selama migrasi data inkremental, DTS memigrasikan catatan data tersebut ke database tujuan. Catatan data yang sudah ada di database tujuan ditimpa.
Jika database sumber dan tujuan memiliki skema yang berbeda, hanya kolom tertentu yang dimigrasikan atau tugas migrasi data gagal. Harap berhati-hati.
Source Objects
Pilih satu atau beberapa objek dari bagian Source Objects. Klik ikon
untuk menambahkan objek ke bagian Selected Objects. CatatanAnda dapat memilih kolom, tabel, atau skema sebagai objek yang akan dimigrasikan. Jika Anda memilih tabel atau kolom sebagai objek yang akan dimigrasikan, DTS tidak memigrasikan objek lain, seperti view, trigger, atau prosedur tersimpan, ke database tujuan.
Selected Objects
Untuk mengganti nama objek yang ingin Anda migrasikan ke instans tujuan, klik kanan objek di bagian Selected Objects. Untuk informasi selengkapnya, lihat Map the name of a single object.
Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas bagian Selected Objects. Untuk informasi selengkapnya, lihat Map multiple object names at a time.
CatatanJika Anda menggunakan fitur pemetaan nama objek untuk mengganti nama suatu objek, objek lain yang bergantung pada objek tersebut mungkin gagal dimigrasikan.
Untuk menentukan kondisi WHERE guna memfilter data, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, tentukan kondisinya. Untuk informasi selengkapnya, lihat Specify filter conditions.
Untuk memilih operasi DDL atau DML yang ingin Anda migrasikan di tingkat database atau tabel, klik kanan objek di bagian Selected Objects. Di kotak dialog yang muncul, pilih operasi DML dan DDL yang ingin Anda migrasikan.
Klik Next: Advanced Settings untuk mengonfigurasi pengaturan lanjutan.
Parameter
Deskripsi
Dedicated Cluster for Task Scheduling
Secara default, DTS menjadwalkan tugas migrasi data ke kluster bersama jika Anda tidak menentukan kluster khusus. Jika Anda ingin meningkatkan stabilitas tugas migrasi data, beli kluster khusus. Untuk informasi selengkapnya, lihat What is a DTS dedicated cluster.
Retry Time for Failed Connections
Rentang waktu percobaan ulang untuk koneksi yang gagal. Jika database sumber atau tujuan gagal terhubung setelah tugas migrasi data dimulai, DTS segera mencoba menghubungkan kembali dalam rentang waktu percobaan ulang. Nilai valid: 10 hingga 1.440. Satuan: menit. Nilai default: 720. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
CatatanJika Anda menentukan rentang waktu percobaan ulang yang berbeda untuk beberapa tugas migrasi data yang menggunakan database sumber atau tujuan yang sama, nilai yang ditentukan terakhir akan menggantikan nilai sebelumnya.
Saat DTS mencoba menghubungkan kembali, Anda dikenai biaya untuk instans DTS. Kami merekomendasikan agar Anda menentukan rentang waktu percobaan ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instans DTS sesegera mungkin setelah database sumber dan instans tujuan dilepas.
Retry Time for Other Issues
Rentang waktu percobaan ulang untuk masalah lainnya. Misalnya, jika operasi DDL atau DML gagal dilakukan setelah tugas migrasi data dimulai, DTS segera mencoba mengulang operasi tersebut dalam rentang waktu percobaan ulang. Nilai valid: 1 hingga 1.440. Satuan: menit. Nilai default: 10. Kami merekomendasikan agar Anda mengatur parameter ini ke nilai lebih dari 10. Jika operasi yang gagal berhasil dilakukan dalam rentang waktu percobaan ulang yang ditentukan, DTS melanjutkan tugas migrasi data. Jika tidak, tugas migrasi data gagal.
PentingNilai parameter Retry Time for Other Issues harus lebih kecil daripada nilai parameter Retry Time for Failed Connections.
Enable Throttling for Full Data Migration
Menentukan apakah pembatasan kecepatan untuk migrasi data penuh diaktifkan. Selama migrasi data penuh, DTS menggunakan sumber daya baca dan tulis dari database sumber dan tujuan. Hal ini dapat meningkatkan beban server database. Anda dapat mengaktifkan pembatasan kecepatan untuk migrasi data penuh berdasarkan kebutuhan bisnis Anda. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika Anda memilih Full Data Migration untuk parameter Migration Types.
Enable Throttling for Incremental Data Migration
Menentukan apakah pembatasan kecepatan untuk migrasi data inkremental diaktifkan. Untuk mengonfigurasi pembatasan kecepatan, Anda harus mengatur parameter RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Hal ini mengurangi beban server database tujuan.
CatatanAnda dapat mengonfigurasi parameter ini hanya jika Anda memilih Incremental Data Migration untuk parameter Migration Types.
Environment Tag
Tag lingkungan yang digunakan untuk mengidentifikasi instans DTS. Anda dapat memilih tag lingkungan berdasarkan kebutuhan bisnis Anda. Pada contoh ini, tidak ada tag lingkungan yang dipilih.
Whether to delete SQL operations on heartbeat tables of forward and reverse tasks
Berdasarkan kebutuhan bisnis Anda, pilih apakah akan menulis informasi SQL heartbeat ke database sumber saat instans DTS berjalan.
Yes: Informasi SQL heartbeat tidak ditulis ke database sumber. Hal ini dapat menyebabkan instans DTS melaporkan delay.
No: Menulis informasi SQL heartbeat ke database sumber, yang dapat mengganggu fitur seperti backup fisik dan cloning database sumber.
Configure ETL
Menentukan apakah fitur ekstrak, transformasi, muat (ETL) diaktifkan. Untuk informasi selengkapnya, lihat What is ETL? Nilai valid:
Yes: mengonfigurasi fitur ETL. Anda dapat memasukkan pernyataan pemrosesan data di editor kode. Untuk informasi selengkapnya, lihat Configure ETL in a data migration or data synchronization task.
No: tidak mengonfigurasi fitur ETL.
Monitoring and Alerting
Menentukan apakah akan mengonfigurasi peringatan untuk tugas migrasi data. Jika tugas gagal atau latensi migrasi melebihi ambang batas yang ditentukan, kontak peringatan akan menerima notifikasi. Nilai valid:
No: tidak mengonfigurasi peringatan.
Yes: mengonfigurasi peringatan. Dalam hal ini, Anda juga harus mengonfigurasi ambang batas peringatan dan alert notification settings. Untuk informasi selengkapnya, lihat bagian Configure monitoring and alerting when you create a DTS task pada topik Configure monitoring and alerting.
Klik Next Step: Data Verification untuk mengonfigurasi tugas verifikasi data.
Untuk informasi selengkapnya tentang cara menggunakan fitur verifikasi data, lihat Configure a data verification task.
Simpan pengaturan tugas dan jalankan pemeriksaan awal.
Untuk melihat parameter yang perlu ditentukan saat Anda memanggil operasi API terkait untuk mengonfigurasi tugas DTS, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
Jika Anda tidak perlu melihat atau telah melihat parameter tersebut, klik Next: Save Task Settings and Precheck di bagian bawah halaman.
CatatanSebelum Anda dapat memulai tugas migrasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas migrasi data setelah tugas tersebut lulus pemeriksaan awal.
Jika tugas gagal lulus pemeriksaan awal, klik View Details di sebelah setiap item yang gagal. Setelah menganalisis penyebab berdasarkan hasil pemeriksaan, perbaiki masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika peringatan dipicu untuk suatu item selama pemeriksaan awal:
Jika item peringatan tidak dapat diabaikan, klik View Details di sebelah item yang gagal dan perbaiki masalah tersebut. Kemudian, jalankan pemeriksaan awal lagi.
Jika item peringatan dapat diabaikan, klik Confirm Alert Details. Di kotak dialog View Details, klik Ignore. Di pesan yang muncul, klik OK. Kemudian, klik Precheck Again untuk menjalankan pemeriksaan awal lagi. Jika Anda mengabaikan item peringatan, ketidakkonsistenan data dapat terjadi, dan bisnis Anda mungkin menghadapi risiko potensial.
Beli instans.
Tunggu hingga Success Rate menjadi 100%. Lalu, klik Next: Purchase Instance.
Pada halaman Purchase Instance, konfigurasikan parameter Instance Class untuk instans migrasi data. Tabel berikut menjelaskan parameter-parameternya.
Bagian
Parameter
Deskripsi
New Instance Class
Resource Group
Kelompok sumber daya tempat instans migrasi data berada. Nilai default: default resource group. Untuk informasi selengkapnya, lihat What is Resource Management?
Instance Class
DTS menyediakan kelas instans dengan kecepatan migrasi yang berbeda-beda. Anda dapat memilih kelas instans berdasarkan skenario bisnis Anda. Untuk informasi selengkapnya, lihat Instance classes of data migration instances.
Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.
Klik Buy and Start. Di pesan yang muncul, klik OK.
Anda dapat melihat progres tugas di halaman Data Migration.
CatatanJika tugas migrasi data tidak dapat digunakan untuk memigrasikan data inkremental, tugas tersebut akan berhenti secara otomatis. Status Completed akan ditampilkan di bagian Status .
Jika tugas migrasi data dapat digunakan untuk memigrasikan data inkremental, tugas tersebut tidak akan berhenti secara otomatis. Tugas migrasi data inkremental tidak pernah berhenti atau selesai. Status Running akan ditampilkan di bagian Status.