Gunakan Data Transmission Service (DTS) untuk mengalirkan perubahan data dari instans PolarDB-X 2.0 ke proyek DataHub. DTS mendukung migrasi skema dan migrasi data inkremental pada jalur ini, sehingga database sumber dapat terus melayani lalu lintas sementara data dialirkan ke DataHub secara near real time.
Sebelum memulai
Sebelum memulai, pastikan Anda telah memiliki:
Instans PolarDB-X 2.0. Untuk detailnya, lihat Buat instans.
Proyek DataHub aktif untuk menerima data yang dimigrasikan. Untuk detailnya, lihat Memulai (Contoh Sinkronisasi) dan Kelola proyek.
Cara kerja
DTS terhubung ke instans PolarDB-X 2.0, membaca log biner, dan memublikasikan event perubahan ke proyek DataHub tujuan. Migrasi berjalan dalam dua fase:
Schema migration: DTS mereplikasi skema tabel (termasuk kunci asing) dari sumber ke DataHub sebelum aliran data dimulai.
Incremental data migration: Setelah migrasi skema selesai, DTS terus-menerus menangkap operasi INSERT, UPDATE, dan DELETE serta pernyataan DDL ADD COLUMN dari log biner dan menuliskannya ke DataHub. Instans sumber tetap melayani lalu lintas aplikasi selama proses tersebut.
Penagihan
| Jenis migrasi | Biaya konfigurasi tautan | Biaya transfer data |
|---|---|---|
| Migrasi skema | Gratis | Tidak dikenakan biaya dalam contoh ini |
| Migrasi data inkremental | Dikenakan biaya | Lihat Ikhtisar penagihan |
Batasan
Database sumber
| Batasan | Detail |
|---|---|
| Bandwidth | Server yang menghosting database sumber harus memiliki bandwidth keluar yang mencukupi. Bandwidth yang tidak mencukupi akan mengurangi kecepatan migrasi. |
| Tipe instans yang tidak didukung | Instans read-only Edisi Perusahaan PolarDB-X 2.0 tidak didukung. |
| Kendala tabel | Tabel harus memiliki PRIMARY KEY atau kendala UNIK dengan semua bidang unik. Jika tidak, tujuan mungkin berisi catatan duplikat. |
| Jumlah tabel | Jika Anda memilih tabel sebagai objek migrasi dan mengganti namanya di tujuan, satu tugas mendukung hingga 1.000 tabel. Untuk migrasi yang lebih besar, bagi tabel ke beberapa tugas atau migrasikan pada tingkat database. |
| Pencatatan biner (diperlukan untuk migrasi inkremental) | Pencatatan biner harus diaktifkan dan binlog_row_image harus diatur ke full. Pemeriksaan Awal gagal jika salah satu kondisi tidak terpenuhi. |
| Retensi log biner | Migrasi hanya inkremental: pertahankan log biner lebih dari 24 jam. Migrasi penuh + inkremental: pertahankan log biner minimal 7 hari; setelah migrasi penuh selesai, Anda dapat mengurangi retensi menjadi lebih dari 24 jam. Jika log biner kedaluwarsa sebelum DTS sempat membacanya, tugas gagal dan ketidakkonsistenan atau kehilangan data mungkin terjadi. SLA DTS tidak mencakup kegagalan yang disebabkan oleh retensi log yang tidak mencukupi. |
| DDL selama migrasi | Jangan menjalankan operasi DDL yang mengubah skema database atau tabel selama migrasi skema atau migrasi data penuh. Tugas akan gagal jika DDL terdeteksi. |
| Pemeriksaan kendala | DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade kunci asing pada tingkat sesi selama migrasi. Pembaruan atau penghapusan kaskade di sumber selama periode ini dapat menyebabkan ketidakkonsistenan data. |
| Perubahan jenis jaringan | Jika Anda mengubah jenis jaringan instans PolarDB-X 2.0 selama migrasi, perbarui pengaturan koneksi jaringan di tugas DTS agar sesuai. |
| Migrasi hanya penuh | Jangan menulis ke sumber selama migrasi hanya penuh. Untuk konsistensi data, pilih migrasi skema dan migrasi data inkremental. |
| Objek yang tidak didukung | Tabel dalam TABLEGROUP atau database/skema dengan atribut Locality tidak dapat dimigrasikan. Tabel yang namanya merupakan kata kunci cadangan SQL (misalnya, select) juga tidak didukung. |
Batasan lainnya
| Batasan | Detail |
|---|---|
| Granularitas migrasi | Hanya migrasi tingkat tabel yang didukung. |
| Ukuran bidang String | Ukuran maksimum satu bidang String di proyek DataHub tujuan adalah 2 MB. |
| Migrasi jam sepi | Evaluasi kinerja database sumber dan tujuan sebelum memulai. Menjalankan migrasi selama jam sepi mengurangi dampak terhadap beban database. |
| Pelanjutan tugas | DTS secara otomatis mencoba ulang tugas yang gagal hingga 7 hari. Sebelum beralih beban kerja ke tujuan, hentikan atau lepas tugas — atau cabut izin tulis dari akun database DTS — untuk mencegah tugas yang dilanjutkan menimpa data tujuan. |
| Pemulihan instans | Jika instans DTS gagal, tim bantuan DTS berusaha memulihkannya dalam waktu 8 jam. Selama pemulihan, DTS mungkin me-restart instans atau menyesuaikan parameter instans DTS (parameter database tidak diubah). Untuk daftar parameter yang mungkin berubah, lihat Ubah parameter instans. |
DTS secara berkala memperbarui tabeldts_health_check.ha_health_checkdi database sumber untuk memajukan offset log biner.
Izin yang diperlukan
Berikan akun database sumber izin berikut sebelum membuat tugas.
| Izin | Jenis migrasi | Kapan digunakan |
|---|---|---|
| SELECT | Migrasi skema, migrasi data inkremental | Membaca skema dan data tabel selama migrasi skema dan migrasi inkremental |
| REPLICATION SLAVE | Migrasi data inkremental | Terhubung ke sumber dan membaca event log biner |
| REPLICATION CLIENT | Migrasi data inkremental | Menjalankan SHOW MASTER STATUS dan SHOW BINARY LOGS untuk melacak posisi log |
Untuk instruksi pemberian izin, lihat Izin akun yang diperlukan untuk sinkronisasi data.
Pemetaan tipe data
Untuk pemetaan tipe data yang diterapkan selama migrasi skema, lihat Pemetaan tipe data untuk sinkronisasi skema awal.
Buat tugas migrasi
Konfigurasi end-to-end melibatkan lima langkah:
Buka halaman Data Migration.
Konfigurasikan database sumber dan tujuan.
Pilih objek dan konfigurasikan pengaturan.
Simpan pengaturan dan jalankan Pemeriksaan Awal.
Beli instans dan mulai migrasi.
Langkah 1: Buka halaman Data Migration
Gunakan salah satu konsol berikut untuk membuka halaman Data Migration.
Konsol DTS
Login ke Konsol DTS.Konsol DTS
Di panel navigasi kiri, klik Data Migration.
Di pojok kiri atas, pilih wilayah tempat instans migrasi berada.
Konsol DMS
Login ke Konsol DMS.Konsol DMS
Di bilah navigasi atas, arahkan pointer ke Data + AI > DTS (DTS) > Data Migration.
Dari daftar drop-down di sebelah kanan Data Migration Tasks, pilih wilayah tempat instans migrasi berada.
Langkah 2: Konfigurasikan database sumber dan tujuan
Klik Create Task.
PeringatanSetelah memilih instans sumber dan tujuan, baca bagian Limits di bagian atas halaman konfigurasi sebelum melanjutkan.
Konfigurasikan nama tugas dan database sumber.
Parameter Deskripsi Task Name DTS menghasilkan nama secara otomatis. Gunakan nama deskriptif untuk mengidentifikasi tugas. Unik tidak wajib. Select Existing Connection Pilih instans terdaftar dari daftar drop-down, atau konfigurasikan koneksi secara manual jika instans belum terdaftar. Untuk instans terdaftar, DTS mengisi otomatis parameter lainnya. Lihat Manage database connections. Database Type Pilih PolarDB-X 2.0. Connection Type Pilih Cloud Instance. Instance Region Pilih wilayah tempat instans PolarDB-X 2.0 sumber berada. Cross-account Pilih No (akun Alibaba Cloud yang sama). Instance ID Pilih ID instans PolarDB-X 2.0 sumber. Database Account Masukkan akun database. Lihat Izin yang diperlukan untuk izin minimum yang dibutuhkan. Database Password Masukkan password untuk akun database. Konfigurasikan database tujuan.
Parameter Deskripsi Select Existing Connection Pilih instans DataHub terdaftar, atau konfigurasikan koneksi secara manual. Database Type Pilih DataHub. Connection Type Pilih Cloud Instance. Instance Region Pilih wilayah tempat proyek DataHub tujuan berada. Project Pilih proyek DataHub tujuan. Klik Test Connectivity and Proceed.
Blok CIDR server DTS harus ditambahkan ke grup keamanan atau daftar putih database sumber dan tujuan agar uji koneksi berhasil. Lihat Tambahkan alamat IP server DTS ke daftar putih.
Langkah 3: Pilih objek dan konfigurasikan pengaturan
Konfigurasikan objek
Di halaman Configure Objects, konfigurasikan pengaturan berikut.
| Parameter | Deskripsi |
|---|---|
| Migration Types | Pilih Schema Migration dan Incremental Migration. Hanya kedua jenis migrasi ini yang didukung untuk jalur migrasi dari PolarDB-X 2.0 ke DataHub. Jika Anda melewatkan migrasi inkremental, jangan menulis ke instans sumber selama proses migrasi. |
| Naming Rules of Additional Columns | DTS menambahkan kolom sistem ke setiap tabel tujuan. Pilih New Rule atau Old Rule berdasarkan skema tabel tujuan Anda. Verifikasi bahwa nama kolom tambahan tidak bentrok dengan nama kolom yang sudah ada sebelum memilih. Lihat Nama dan definisi kolom tambahan. |
| Processing Mode of Conflicting Tables | Precheck and Report Errors: tugas gagal dalam Pemeriksaan Awal jika tabel tujuan memiliki nama yang sama dengan tabel sumber. Gunakan pemetaan nama objek untuk mengganti nama tabel yang bentrok sebelum melanjutkan. Ignore Errors and Proceed: melewati pemeriksaan nama duplikat. Dengan skema yang sama dan kunci primer yang sesuai, migrasi penuh melewatkan catatan yang sudah ada dan migrasi inkremental menimpanya. Dengan skema berbeda, hanya kolom yang sesuai yang dimigrasikan atau tugas gagal sepenuhnya. |
| Capitalization of Object Names in Destination Instance | Mengontrol kapitalisasi nama database, tabel, dan kolom di DataHub. Default ke DTS default policy. Lihat Tentukan kapitalisasi nama objek di instans tujuan. |
| Source Objects | Pilih database, tabel, atau kolom dari daftar Source Objects dan klik  untuk menambahkannya ke Selected Objects. Memilih hanya tabel mengecualikan view, trigger, dan prosedur tersimpan. |
| Selected Objects | Untuk mengganti nama satu objek, klik kanan objek tersebut di daftar. Lihat Petakan nama satu objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Petakan beberapa nama objek sekaligus. Perhatikan bahwa mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan. Untuk memfilter baris, klik kanan tabel dan atur kondisi WHERE. Lihat Atur kondisi filter. Untuk membatasi operasi SQL mana yang dimigrasikan, klik kanan objek migrasi dan pilih operasinya. |
Konfigurasikan pengaturan lanjutan
Klik Next: Advanced Settings dan konfigurasikan parameter berikut.
| Parameter | Deskripsi |
|---|---|
| Dedicated Cluster for Task Scheduling | Secara default, DTS menjadwalkan tugas ke kluster bersama. Untuk stabilitas lebih tinggi, beli kluster khusus. Lihat Apa itu kluster khusus DTS. |
| Retry Time for Failed Connections | Berapa lama DTS mencoba ulang saat koneksi ke sumber atau tujuan gagal. Rentang: 10–1.440 menit. Default: 720 menit. Atur nilai lebih dari 30. Jika beberapa tugas berbagi database sumber atau tujuan yang sama, nilai yang dikonfigurasi terakhir yang berlaku. DTS menagih instans selama periode percobaan ulang. |
| Retry Time for Other Issues | Berapa lama DTS mencoba ulang saat operasi DDL atau DML gagal. Rentang: 1–1.440 menit. Default: 10 menit. Atur nilai lebih dari 10. Nilai ini harus kurang dari Retry Time for Failed Connections. |
| Enable Throttling for Incremental Data Migration | Membatasi kecepatan migrasi untuk mengurangi beban di database tujuan. Saat diaktifkan, konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Tersedia hanya saat migrasi data inkremental dipilih. |
| Whether to delete SQL operations on heartbeat tables of forward and reverse tasks | Yesalert notification settings: DTS tidak menulis operasi heartbeat ke sumber. Latensi migrasi mungkin ditampilkan. No: DTS menulis operasi heartbeat ke sumber. Ini dapat memengaruhi backup fisik dan kloning database sumber. |
| Environment Tag | Tag opsional untuk mengidentifikasi lingkungan instans. |
| Configure ETL | Yes: Aktifkan fitur ekstrak, transformasi, dan muat (ETL) dan masukkan pernyataan pemrosesan data. Lihat Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data dan Apa itu ETL?. No: Nonaktifkan ETL. |
| Monitoring and Alerting | Yes: Konfigurasikan ambang batas peringatan dan kontak notifikasi. Peringatan muncul saat tugas gagal atau latensi migrasi melebihi ambang batas. Lihat Konfigurasikan pemantauan dan peringatan. No: Nonaktifkan peringatan. |
Langkah 4: Simpan pengaturan dan jalankan Pemeriksaan Awal
Klik Next: Save Task Settings and Precheck. Untuk meninjau parameter OpenAPI untuk tugas ini sebelum menyimpan, arahkan kursor ke tombol dan klik Preview OpenAPI parameters.
Tunggu hingga Pemeriksaan Awal selesai.
Jika item pemeriksaan gagal, klik View Details, perbaiki masalah yang dilaporkan, lalu klik Precheck Again.
Jika item pemeriksaan menunjukkan peringatan yang dapat diabaikan dengan aman, klik Confirm Alert Details > View Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan item peringatan dapat menyebabkan ketidakkonsistenan data.
Tugas migrasi tidak dapat dimulai sampai semua item Pemeriksaan Awal lolos.
Langkah 5: Beli instans dan mulai migrasi
Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.
Di halaman Purchase Instance, konfigurasikan instans.
Parameter Deskripsi Resource Group Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat Apa itu Resource Management?. Instance Class Kelas instans menentukan kecepatan migrasi. Pilih kelas berdasarkan volume data dan kebutuhan waktu Anda. Lihat Kelas instans migrasi data. Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms.
Klik Buy and Start, lalu klik OK.
Verifikasi tugas
Setelah tugas dimulai, buka halaman Data Migration untuk memantau statusnya.
Migrasi skema + migrasi inkremental: Tugas berjalan terus-menerus dan tidak berhenti otomatis. Kolom Status menunjukkan Running.
Schema migration only: Tugas berhenti otomatis. Kolom Status menunjukkan Completed.
Langkah selanjutnya
Untuk menghentikan migrasi dan beralih beban kerja ke DataHub, hentikan atau lepas tugas DTS sebelum mengarahkan ulang lalu lintas. Jika Anda tidak menghentikan tugas, DTS mungkin melanjutkannya dalam waktu 7 hari dan menimpa data di tujuan.
Untuk mengubah kecepatan migrasi setelah tugas dimulai, gunakan pengaturan pembatasan kecepatan di konfigurasi tugas.
Untuk detail pemetaan tipe data, lihat Pemetaan tipe data untuk sinkronisasi skema awal.