Gunakan Data Transmission Service (DTS) untuk memigrasikan skema dan mengalirkan data inkremental dari instans PolarDB-X 1.0 ke proyek DataHub tanpa mengganggu aplikasi Anda.
Migrasi data penuh tidak didukung untuk pasangan sumber-tujuan ini. Hanya migrasi skema dan migrasi data inkremental yang tersedia.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Memiliki instans PolarDB-X 1.0. Lihat Buat instans PolarDB-X 1.0.
Mengaktifkan DataHub dan membuat proyek untuk menerima data yang dimigrasikan. Lihat Memulai dengan DataHub dan Kelola proyek.
Mengaktifkan binary logging pada instans PolarDB-X 1.0 sumber, dengan
binlog_row_imagediatur kefull.Memiliki akun database PolarDB-X 1.0 dengan izin seperti yang dijelaskan dalam tabel berikut. Lihat Kelola akun untuk cara memberikan izin.
| Jenis migrasi | Izin yang diperlukan |
|---|---|
| Migrasi skema | SELECT |
| Migrasi data inkremental | Baca dan tulis pada objek yang akan dimigrasikan |
Batasan
Database sumber
Batas tabel: Jika Anda memilih tabel sebagai objek migrasi dan mengganti nama tabel atau kolom tujuan, satu tugas mendukung hingga 1.000 tabel. Melebihi batas ini menyebabkan error permintaan. Bagi migrasi menjadi beberapa tugas atau migrasikan seluruh database sebagai satu objek.
Instans read-only: Anda tidak dapat memigrasikan data dari instans PolarDB-X 1.0 read-only.
Retensi log biner: Simpan log biner lebih dari 24 jam. Jika DTS tidak dapat membaca log biner, tugas gagal dan kehilangan data atau ketidakkonsistenan mungkin terjadi. Pastikan periode retensi log biner diatur sesuai persyaratan tersebut. Jika tidak, Service Level Agreement (SLA) DTS tidak menjamin keandalan atau kinerja layanan.
Operasi yang dilarang selama migrasi: Jangan lakukan upgrade atau downgrade instans sumber, migrasikan tabel yang sering diperbarui, ubah kunci shard, atau jalankan operasi DDL pada objek sumber. Operasi ini menyebabkan tugas migrasi gagal.
Batasan kunci asing: Selama migrasi skema dan migrasi data inkremental digabungkan, DTS menonaktifkan pemeriksaan batasan dan operasi kaskade pada kunci asing di tingkat session. Jika Anda menjalankan operasi cascade delete pada database sumber selama periode ini, ketidakkonsistenan data mungkin terjadi.
Perubahan jenis jaringan: Jika Anda mengubah jenis jaringan instans PolarDB-X 1.0 selama migrasi, perbarui pengaturan koneksi jaringan tugas migrasi tersebut.
Operasi tulis selama migrasi skema saja: Jika Anda menjalankan migrasi skema tanpa migrasi data inkremental, hentikan penulisan ke database sumber selama migrasi untuk mencegah ketidakkonsistenan data.
Batasan lainnya
Jadwalkan migrasi pada jam sepi untuk mengurangi dampak terhadap kinerja database sumber dan tujuan.
DTS secara otomatis mencoba ulang tugas yang gagal hingga tujuh hari. Sebelum beralih beban kerja ke database tujuan, hentikan atau lepas tugas yang gagal, atau jalankan
REVOKEuntuk mencabut izin tulis DTS pada database tujuan. Jika tidak, tugas yang gagal mungkin dilanjutkan dan menimpa data tujuan dengan data sumber.
Catatan penggunaan
DTS secara berkala memperbarui tabel dts_health_check.ha_health_check di database sumber untuk memajukan posisi log biner.
Penagihan
| Jenis migrasi | Biaya konfigurasi instans | Biaya lalu lintas internet |
|---|---|---|
| Migrasi skema | Gratis | Gratis |
| Migrasi data inkremental | Dikenai biaya. Lihat Ikhtisar penagihan. | — |
Jenis migrasi yang didukung
Schema migration
DTS memigrasikan skema objek sumber yang dipilih ke proyek DataHub tujuan. Kunci asing di database sumber juga dimigrasikan saat migrasi skema dipilih.
Incremental data migration
DTS terus-menerus menangkap dan memigrasikan perubahan inkremental dari database sumber ke DataHub setelah migrasi skema awal selesai. Hal ini memungkinkan aplikasi Anda tetap berjalan tanpa gangguan selama migrasi.
Operasi SQL yang didukung untuk migrasi inkremental
| Jenis operasi | Pernyataan SQL |
|---|---|
| DML | INSERT, UPDATE, DELETE |
| DDL | ADD COLUMN |
Buat tugas migrasi
Langkah 1: Buka halaman Tugas Migrasi Data
Login ke Konsol Data Management (DMS).
Di bilah navigasi atas, klik DTS.
Di panel navigasi kiri, pilih DTS (DTS) > Data Migration.
Operasi konsol dapat berbeda tergantung mode dan tata letak Konsol DMS. Lihat Simple mode dan Sesuaikan tata letak dan gaya Konsol DMS. Atau, buka langsung halaman Tugas Migrasi Data di konsol DTS baru.
Langkah 2: Pilih wilayah
Dari daftar drop-down di samping Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Di konsol DTS baru, pilih wilayah di pojok kiri atas.
Langkah 3: Konfigurasi database sumber dan tujuan
Klik Create Task, lalu konfigurasi database sumber dan tujuan.
Setelah memilih instans sumber dan tujuan, baca informasi Limits yang ditampilkan di bagian atas halaman sebelum melanjutkan.
Pengaturan database sumber
| Parameter | Deskripsi |
|---|---|
| Task Name | Nama tugas. DTS memberikan nama secara otomatis. Tentukan nama deskriptif agar mudah mengidentifikasi tugas. Nama tidak perlu unik. |
| Select an existing DMS database instance | (Opsional) Pilih instans yang sudah ada untuk mengisi otomatis parameter koneksi, atau biarkan kosong untuk mengonfigurasi secara manual. |
| Database Type | Pilih PolarDB-X 1.0. |
| Connection Type | Pilih Alibaba Cloud Instance. |
| Instance Region | Wilayah tempat instans PolarDB-X 1.0 sumber berada. |
| Replicate Data Across Alibaba Cloud Accounts | Pilih No untuk migrasi dalam akun yang sama. |
| Instance ID | ID instans PolarDB-X 1.0 sumber. |
| Database Account | Akun database untuk instans sumber. Lihat Prasyarat untuk izin yang diperlukan. |
| Database Password | Password untuk akun database. |
Destination Database
| Parameter | Deskripsi |
|---|---|
| Select an existing DMS database instance | (Opsional) Pilih instans yang sudah ada untuk mengisi otomatis parameter koneksi, atau biarkan kosong untuk mengonfigurasi secara manual. |
| Database Type | Pilih DataHub. |
| Connection Type | Pilih Alibaba Cloud Instance. |
| Instance Region | Wilayah tempat proyek DataHub tujuan berada. |
| Project | ID proyek DataHub tujuan. |
Langkah 4: Uji konektivitas
Klik Test Connectivity and Proceed.
DTS juga secara otomatis menambahkan blok CIDR servernya ke daftar putih alamat IP instans database Alibaba Cloud atau aturan security group Elastic Compute Service (ECS).
Menambahkan blok CIDR server DTS ke daftar putih alamat IP atau aturan security group Anda dapat mengekspos database terhadap risiko keamanan. Sebelum melanjutkan, ambil langkah perlindungan: gunakan kredensial akun yang kuat, batasi port yang terbuka, autentikasi panggilan API, dan audit secara berkala aturan daftar putih dan security group. Untuk database yang dikelola sendiri di pusat data atau dari penyedia pihak ketiga, tambahkan secara manual blok CIDR DTS ke daftar putih database. Lihat Tambahkan blok CIDR server DTS ke pengaturan keamanan database on-premises.
Langkah 5: Konfigurasi objek migrasi
| Parameter | Deskripsi |
|---|---|
| Migration Types | Pilih Schema Migration, Incremental Data Migration, atau keduanya. |
| Processing Mode of Conflicting Tables | Precheck and Report Errors: gagal dalam pemeriksaan awal jika tabel tujuan memiliki nama yang sama dengan tabel sumber. Gunakan object name mapping untuk mengganti nama tabel yang bentrok sebelum migrasi. Ignore Errors and Proceed: melewati pemeriksaan bentrok nama. Jika skema cocok, DTS melewati catatan dengan kunci utama duplikat. Jika skema berbeda, hanya kolom tertentu yang dimigrasikan atau tugas gagal. Gunakan dengan hati-hati. |
| Naming Rules of Additional Columns | DTS menambahkan kolom tambahan ke tabel tujuan setelah migrasi. Jika nama kolom tersebut bentrok dengan nama kolom yang sudah ada di tujuan, migrasi gagal. Pilih New Rule atau Previous Rule untuk mengontrol penamaan. Periksa bentrok sebelum memilih. Lihat Naming rules for additional columns. |
| Capitalization of Object Names in Destination Instance | Mengontrol kapitalisasi nama database, tabel, dan kolom di tujuan. Nilai default menggunakan kebijakan DTS. Lihat Specify the capitalization of object names in the destination instance. |
| Source Objects | Pilih satu atau beberapa objek, lalu klik |
| Selected Objects | Klik kanan objek untuk mengganti namanya, menambahkan kondisi filter SQL, atau memilih operasi SQL tertentu yang akan dimigrasikan. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Map object names dan Use SQL conditions to filter data. |
Jika database dipilih sebagai objek migrasi dan tabel sumber memiliki kunci utama (kolom tunggal atau komposit), kunci utama tersebut digunakan sebagai kunci distribusi di tujuan. Jika tabel sumber tidak memiliki kunci utama, DTS menghasilkan kolom kunci utama auto-increment di tujuan, yang dapat menyebabkan ketidakkonsistenan data.
Mengganti nama objek dengan object name mapping dapat menyebabkan objek dependen gagal dimigrasikan.
Langkah 6: Konfigurasi pengaturan lanjutan
Klik Next: Advanced Settings, lalu konfigurasi parameter berikut.
| Parameter | Deskripsi |
|---|---|
| Set Alerts | No: tanpa peringatan. Yes: mengirim notifikasi ketika tugas gagal atau latensi migrasi melebihi ambang batas. Tentukan ambang batas peringatan dan kontak. Lihat Configure monitoring and alerting. |
| Retry Time for Failed Connections | Berapa lama DTS mencoba ulang setelah kegagalan koneksi. Rentang: 10–1.440 menit. Default: 720 menit. Atur minimal 30 menit. Jika DTS terhubung kembali dalam jendela ini, tugas dilanjutkan. Jika tidak, tugas gagal. Jika beberapa tugas berbagi sumber atau tujuan, waktu coba ulang terpendek berlaku untuk semua. |
| The wait time before a retry when other issues occur in the source and destination databases | Berapa lama DTS mencoba ulang setelah kegagalan operasi DDL atau DML. Rentang: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Nilai ini harus lebih kecil dari nilai Retry Time for Failed Connections. |
| Configure ETL | Yes: mengaktifkan ekstrak, transformasi, dan muat (ETL). Masukkan pernyataan pemrosesan data di editor kode. Lihat Configure ETL in a data migration or data synchronization task. No: melewati konfigurasi ETL. |
DTS mengenakan biaya untuk upaya coba ulang. Segera lepaskan instans DTS setelah instans sumber dan tujuan dilepaskan.
Langkah 7: Jalankan pemeriksaan awal
Klik Next: Save Task Settings and Precheck.
Untuk melihat parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.
DTS memvalidasi konfigurasi tugas sebelum memulai migrasi. Pemeriksaan awal mencakup konektivitas, izin akun, pengaturan log biner, dan kompatibilitas objek.
Jika item pemeriksaan awal gagal, klik View Details untuk melihat error, perbaiki masalah, lalu klik Precheck Again.
Jika item pemeriksaan awal memicu peringatan yang dapat diabaikan dengan aman, klik Confirm Alert Details, lalu Ignore di dialog View Details, klik OK, dan klik Precheck Again.
Mengabaikan peringatan pemeriksaan awal dapat menyebabkan ketidakkonsistenan data atau risiko lainnya.
Langkah 8: Beli instans migrasi
Tunggu hingga tingkat keberhasilan pemeriksaan awal mencapai 100%, lalu klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasi kelas instans.
| Parameter | Deskripsi |
|---|---|
| Resource Group | Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat What is Resource Management?. |
| Instance Class | Kecepatan migrasi bervariasi tergantung kelas instans. Pilih kelas berdasarkan kebutuhan throughput Anda. Lihat Specifications of data migration instances. |
Langkah 9: Mulai migrasi
Pilih kotak centang Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start.
Tugas migrasi dimulai dan muncul di daftar tugas. Pantau kemajuan tugas dari sana.
Pemetaan tipe data
Langkah berikutnya
Setelah migrasi data inkremental berjalan dan latensi migrasi turun ke nol, verifikasi konsistensi data antara database sumber dan tujuan, lalu alihkan aplikasi Anda untuk menggunakan DataHub sebagai tujuan data.