Data Transmission Service (DTS) memungkinkan Anda menjalankan migrasi penuh satu kali dari proyek MaxCompute ke instans ApsaraDB RDS for MySQL, mencakup migrasi skema dan migrasi data. DTS tidak mendukung migrasi inkremental dari MaxCompute—hentikan semua operasi tulis ke proyek sumber sebelum memulai tugas.
Jenis migrasi yang didukung
| Jenis migrasi | Didukung |
|---|---|
| Schema migration | Ya |
| Full data migration | Ya |
| Incremental data migration | Tidak |
Prasyarat
Sebelum memulai, pastikan Anda telah:
Membuat pasangan AccessKey di bawah Akun Alibaba Cloud yang memiliki proyek MaxCompute. Lihat Buat Pasangan AccessKey.
Mengonfigurasi daftar putih alamat IP MaxCompute agar mengizinkan akses dari DTS. Lihat Konfigurasi daftar putih alamat IP untuk mengizinkan akses dari layanan Alibaba Cloud ke MaxCompute.
Memiliki instans ApsaraDB RDS for MySQL tujuan dengan kapasitas penyimpanan yang cukup dan akun database yang memiliki izin baca-tulis. Lihat Buat akun dan Ubah izin akun.
Penagihan
| Jenis migrasi | Biaya konfigurasi tugas | Biaya transfer data |
|---|---|---|
| Schema migration dan full data migration | Gratis | Gratis dalam contoh ini. Biaya hanya berlaku jika data ditransfer dari Alibaba Cloud melalui Internet. Lihat Ikhtisar penagihan. |
Batasan
Tidak ada migrasi inkremental. DTS hanya mendukung migrasi data penuh dari MaxCompute. Jangan menulis data baru ke proyek sumber setelah tugas dimulai—data yang ditulis setelah tugas dimulai tidak akan dimigrasikan dan menyebabkan ketidakkonsistenan data.
Risiko catatan duplikat. MaxCompute tidak mendukung batasan primary key. Jika terjadi error jaringan dan DTS mencoba ulang tugas, catatan duplikat mungkin ditulis ke tabel tujuan yang tidak memiliki primary key.
Risiko auto-resume. Jika tugas migrasi gagal, DTS secara otomatis melanjutkannya. Hentikan atau rilis tugas sebelum beralih beban kerja ke database tujuan. Jika tidak, tugas yang dilanjutkan akan menimpa data yang sudah ada di tujuan.
Ketidakkonsistenan skema. MaxCompute dan ApsaraDB RDS for MySQL adalah database heterogen. DTS tidak menjamin konsistensi skema setelah migrasi skema. Evaluasi dampak konversi tipe data sebelum memulai migrasi. Lihat Pemetaan tipe data antar database heterogen.
Pertumbuhan ruang tabel tujuan. Operasi INSERT konkuren selama migrasi penuh menyebabkan fragmentasi pada tabel tujuan. Setelah migrasi selesai, ruang tabel tujuan lebih besar daripada sumber. Jalankan
ANALYZE TABLEatauOPTIMIZE TABLEuntuk membebaskan ruang.CatatanOPTIMIZE TABLEmengunci tabel selama eksekusi. Jadwalkan pada jam sepi.Dampak performa. DTS menggunakan sumber daya baca dan tulis di sumber dan tujuan selama migrasi. Jalankan migrasi pada jam sepi ketika utilisasi CPU di kedua database berada di bawah 30%.
Penamaan database tujuan. DTS secara otomatis membuat database tujuan. Jika nama database sumber tidak sesuai dengan Konvensi penamaan ApsaraDB RDS for MySQL, buat database tujuan secara manual sebelum mengonfigurasi tugas migrasi. Lihat Buat akun dan database.
Migrasi data
Langkah 1: Buka halaman Data Migration Tasks
Login ke Konsol Data Management (DMS).
Di bilah navigasi atas, klik DTS.
Di panel navigasi sebelah kiri, pilih DTS (DTS) > Data Migration.
CatatanLangkah-langkah dapat berbeda tergantung mode dan tata letak Konsol DMS. Lihat Simple mode dan Sesuaikan tata letak dan gaya Konsol DMS. Atau, langsung buka halaman Data Migration Tasks di Konsol DTS baru.
Langkah 2: Pilih wilayah
Dari daftar drop-down di samping Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Di Konsol DTS baru, pilih wilayah di pojok kiri atas.
Langkah 3: Buat tugas migrasi
Klik Create Task.
Opsi: Di pojok kanan atas, klik New Configuration Page untuk beralih ke halaman konfigurasi baru.
CatatanLewati langkah ini jika yang ditampilkan adalah Back to Previous Version. Halaman konfigurasi baru direkomendasikan.
Langkah 4: Konfigurasi database sumber dan tujuan
Konfigurasikan parameter berikut untuk database sumber dan tujuan.
Database sumber (MaxCompute)
| Parameter | Deskripsi |
|---|---|
| Task Name | Nama untuk tugas. DTS memberikan nama secara otomatis. Tentukan nama deskriptif agar mudah diidentifikasi. Nama tidak perlu unik. |
| Select a DMS database instance | Pilih instans database DMS yang sudah ada, atau konfigurasi parameter database sumber secara manual. Jika memilih instans yang sudah ada, DTS akan mengisi otomatis parameter lainnya. |
| Database Type | Pilih MaxCompute. |
| Access Method | Pilih Alibaba Cloud Instance. |
| Instance Region | Wilayah tempat proyek MaxCompute sumber berada. |
| Project | Nama proyek MaxCompute sumber. |
| AccessKey ID of Alibaba Cloud Account | ID AccessKey dari Akun Alibaba Cloud yang memiliki proyek MaxCompute. |
| AccessKey Secret of Alibaba Cloud Account | Rahasia AccessKey dari Akun Alibaba Cloud yang memiliki proyek MaxCompute. |
Database tujuan (ApsaraDB RDS for MySQL)
| Parameter | Deskripsi |
|---|---|
| Select a DMS database instance | Pilih instans database DMS yang sudah ada, atau konfigurasi parameter database tujuan secara manual. |
| Database Type | Pilih MySQL. |
| Access Method | Pilih Alibaba Cloud Instance. |
| Instance Region | Wilayah tempat instans ApsaraDB RDS for MySQL tujuan berada. |
| Replicate Data Across Alibaba Cloud Accounts | Pilih No untuk menggunakan instans di bawah Akun Alibaba Cloud saat ini. |
| RDS Instance ID | ID instans ApsaraDB RDS for MySQL tujuan. |
| Database Account | Akun database dengan izin baca dan tulis pada database tujuan. |
| Database Password | Kata sandi untuk akun database tersebut. |
Untuk mendaftarkan database dengan DMS, klik Create Template di Konsol DMS. Lihat Mendaftarkan instansiasi database Alibaba Cloud dan Mendaftarkan database yang dihosting di layanan cloud pihak ketiga atau database yang dikelola sendiri. Untuk mendaftarkan database secara langsung dengan DTS, gunakan halaman Database Connections atau halaman konfigurasi baru. Lihat Mengelola koneksi database.
Langkah 5: Uji konektivitas
Klik Test Connectivity and Proceed di bagian bawah halaman.
Jika database sumber atau tujuan adalah instans database Alibaba Cloud, DTS secara otomatis menambahkan blok CIDR server-nya ke daftar putih alamat IP instans tersebut. Jika database sumber atau tujuan adalah Database yang dikelola sendiri yang dihosting di instans Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instans ECS tersebut, dan Anda harus memastikan bahwa instans ECS dapat mengakses database. Jika Database yang dikelola sendiri dihosting di beberapa instans ECS, Anda harus menambahkan secara manual blok CIDR server DTS ke aturan grup keamanan setiap instans ECS. Untuk Database yang dikelola sendiri yang dihosting di pusat data atau disediakan oleh layanan cloud pihak ketiga, tambahkan secara manual blok CIDR server DTS ke daftar putih database. Lihat Blok CIDR server DTS.
Menambahkan blok CIDR server DTS ke daftar putih database atau aturan grup keamanan ECS menimbulkan risiko keamanan. Sebelum menggunakan DTS, ambil tindakan pencegahan berikut: perkuat username dan password, batasi port yang terbuka, autentikasi panggilan API, tinjau secara berkala daftar putih dan aturan grup keamanan, serta hapus blok CIDR yang tidak sah. Untuk isolasi tingkat jaringan, hubungkan database ke DTS menggunakan Express Connect, VPN Gateway, atau Smart Access Gateway.
Langkah 6: Berikan izin dan verifikasi konektivitas
Klik OK untuk memberikan akses akun bawaan DTS ke proyek MaxCompute, lalu klik Test Connectivity.
Langkah 7: Pilih objek migrasi
Di halaman Select Objects, konfigurasikan parameter berikut.
| Parameter | Deskripsi |
|---|---|
| Migration Types | Pilih kedua opsi: Schema Migration dan Full Data Migration. |
| Processing Mode of Conflicting Tables | Precheck and Report Errors (default): memeriksa adanya tabel dengan nama identik di sumber dan tujuan. Pemeriksaan awal gagal jika ditemukan konflik, sehingga tugas tidak dapat dimulai. Untuk menyelesaikan konflik, gunakan pemetaan nama objek untuk mengganti nama tabel yang dimigrasikan. Ignore Errors and Proceed: melewati pemeriksaan nama identik. Jika skema sumber dan tujuan sama, catatan dengan primary key yang cocok akan dilewati. Jika skema berbeda, hanya kolom tertentu yang dimigrasikan atau tugas gagal sepenuhnya. Gunakan dengan hati-hati. |
| Capitalization of Object Names in Destination Instance | Kebijakan kapitalisasi untuk nama database, tabel, dan kolom di tujuan. Default: DTS default policy. Lihat Tentukan kapitalisasi nama objek. |
| Source Objects | Pilih proyek atau tabel yang akan dimigrasikan, lalu klik ikon panah untuk menambahkannya ke Selected Objects. |
| Selected Objects | Untuk mengganti nama satu objek, klik kanan objek tersebut. Lihat Petakan nama satu objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Petakan nama beberapa objek. Untuk memfilter data berdasarkan kondisi, klik kanan tabel dan tentukan kondisi filter. Lihat Tentukan kondisi filter. |
Jika Anda mengganti nama objek menggunakan pemetaan nama objek, objek lain yang bergantung padanya mungkin gagal dimigrasikan.
Langkah 8: Konfigurasi pengaturan lanjutan
Klik Next: Advanced Settings dan konfigurasikan parameter berikut.
| Parameter | Deskripsi |
|---|---|
| Select the dedicated cluster used to schedule the task | DTS menggunakan klaster bersama secara default. Untuk meningkatkan stabilitas migrasi, beli klaster khusus. Lihat What is a DTS dedicated cluster. |
| Retry Time for Failed Connections | Durasi waktu DTS mencoba kembali koneksi yang gagal setelah tugas dimulai. Nilai yang valid: 10–1.440 menit. Default: 720 menit. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 30. Jika DTS berhasil terhubung kembali dalam jangka waktu tersebut, tugas akan dilanjutkan. Jika tidak, tugas akan gagal. Jika beberapa tugas menggunakan sumber atau tujuan yang sama, nilai yang paling baru diatur akan digunakan. |
| The wait time before a retry when other issues occur in the source and destination databases | Durasi waktu DTS mencoba kembali operasi DML atau DDL yang gagal. Nilai yang valid: 1–1.440 menit. Default: 10 menit. Kami menyarankan Anda mengatur parameter ini ke nilai lebih dari 10, tetapi selalu kurang dari nilai Retry Time for Failed Connections. |
| Enable Throttling for Full Data Migration | Membatasi penggunaan sumber daya baca/tulis DTS selama migrasi penuh untuk mengurangi beban pada tujuan. Saat diaktifkan, konfigurasikan QPS (queries per second) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Opsi ini tersedia hanya jika Full Data Migration dipilih. |
| Environment Tag | Tag opsional untuk mengidentifikasi instans DTS. |
| Configure ETL | Menentukan apakah akan mengaktifkan ekstrak, transformasi, dan muat (ETL). Pilih Yesalert notification settings untuk memasukkan pernyataan pemrosesan data. Lihat Configure ETL. Pilih No untuk melewati langkah ini. Untuk ikhtisar, lihat What is ETL? |
| Monitoring and Alerting | Menentukan apakah akan mengatur peringatan untuk tugas migrasi. Pilih Yes untuk mengonfigurasi ambang batas peringatan dan kontak notifikasi. Lihat Configure monitoring and alerting. |
Langkah 9: Jalankan pemeriksaan awal
Klik Next: Save Task Settings and Precheck.
Untuk melihat parameter API yang akan digunakan DTS untuk konfigurasi ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
DTS menjalankan pemeriksaan awal sebelum memulai tugas migrasi. Tugas hanya dapat dimulai setelah pemeriksaan awal berhasil.
Jika pemeriksaan awal gagal, klik View Details di samping setiap item yang gagal, perbaiki masalahnya, lalu jalankan kembali pemeriksaan awal.
Jika pemeriksaan awal menghasilkan peringatan, tinjau peringatan tersebut sebelum melanjutkan. Jika peringatan tersebut dapat diabaikan dengan aman, klik Confirm Alert Details, lalu klik Ignore di dialog, konfirmasi, dan klik Precheck Again.
Tunggu hingga tingkat keberhasilan mencapai 100%, lalu klik Purchase Instance.
Langkah 10: Beli instans migrasi dan mulai tugas
Di halaman Purchase Instance, konfigurasikan parameter berikut.
Bagian Parameter Deskripsi New Instance Class Resource Group Settings Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat Apa itu Resource Management? Instance Class Kelas instans menentukan kecepatan migrasi. Pilih kelas berdasarkan volume data dan kebutuhan performa Anda. Lihat Spesifikasi instans migrasi data. Baca dan setujui Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start untuk memulai tugas migrasi. Pantau progres di daftar tugas.
Langkah selanjutnya
Setelah migrasi selesai:
Verifikasi konsistensi data antara proyek MaxCompute sumber dan instans ApsaraDB RDS for MySQL tujuan.
Hentikan atau rilis tugas migrasi DTS sebelum beralih beban kerja ke database tujuan.
Jika ruang tabel tujuan jauh lebih besar daripada sumber, jalankan
ANALYZE TABLEatauOPTIMIZE TABLEuntuk membebaskan ruang. JadwalkanOPTIMIZE TABLEpada jam sepi untuk menghindari penguncian tabel.