Data Transmission Service:Migrasi data dari PolarDB for PostgreSQL ke SelectDB

Database sumber

• Tabel yang akan dimigrasikan harus memiliki primary key atau indeks UNIQUE NOT NULL. Bergantung pada tabel Anda:

  • Jika semua tabel memiliki primary key atau indeks unik non-null: pastikan bidang tabel bersifat unik; jika tidak, data duplikat mungkin ada di database tujuan.

  • Jika beberapa tabel tidak memiliki primary key maupun indeks unik non-null: saat mengonfigurasi instans, pilih Schema Migration di bawah Migration Types, lalu pada langkah Configurations for Databases, Tables, and Columns, atur Engine ke duplicate untuk tabel-tabel tersebut. Jika tidak, instans migrasi mungkin gagal atau data hilang.

• Selama migrasi skema dan migrasi data penuh, jangan menjalankan operasi DDL yang mengubah skema database atau tabel — tugas migrasi akan gagal.

• Selama migrasi data inkremental, satu perubahan data yang melebihi 256 MB menyebabkan instans migrasi gagal secara permanen. Anda harus mengonfigurasi ulang instans migrasi.

• Transaksi berdurasi panjang selama migrasi inkremental dapat menyebabkan akumulasi log write-ahead logging (WAL), yang berpotensi menghabiskan disk space pada database sumber.

Database tujuan

• Tabel dalam instans SelectDB tujuan harus menggunakan engine Unique atau duplicate.

• Nama database dan tabel harus dimulai dengan huruf. Gunakan fitur pemetaan nama objek untuk mengganti nama objek yang tidak dimulai dengan huruf, atau objek dengan nama yang mengandung karakter Tionghoa.

• Jangan menambahkan node backend (BE) ke instans SelectDB selama migrasi — tugas akan gagal. Restart instans migrasi untuk melanjutkan.

• Jangan membuat klaster dalam instans SelectDB tujuan selama migrasi — tugas akan gagal. Restart instans migrasi untuk melanjutkan.

Perilaku migrasi

• Satu instans migrasi hanya dapat memigrasikan satu database. Untuk memigrasikan beberapa database, buat instans migrasi terpisah untuk setiap database.

• DTS tidak mendukung tabel ekstensi TimescaleDB atau tabel dengan pewarisan lintas-skema.

• DTS tidak memvalidasi metadata seperti sequences. Verifikasi validitas metadata secara manual setelah migrasi.

• Saat memigrasikan tabel partisi, sertakan baik tabel induk maupun semua partisi anak sebagai objek migrasi. Tabel induk dari tabel partisi PostgreSQL tidak menyimpan data secara langsung — semua data berada di partisi anak. Partisi anak yang tidak disertakan menyebabkan ketidakkonsistenan data.

• Dalam skenario penggabungan multi-tabel (beberapa tabel sumber dimigrasikan ke satu tabel tujuan), skema semua tabel sumber harus identik.

• Anda tidak dapat menjalankan operasi DDL yang memodifikasi beberapa kolom sekaligus atau memodifikasi tabel yang sama secara berturut-turut.

• DTS membuat tabel sementara berikut di database sumber selama migrasi inkremental. Jangan menghapusnya — penghapusan menyebabkan tugas gagal. DTS menghapusnya secara otomatis setelah instans migrasi dirilis: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, dan public.aliyun_dts_instance.

Perilaku engine Unique

Jika tabel tujuan menggunakan engine Unique, semua unique key di tabel tujuan harus ada di tabel sumber dan disertakan sebagai objek migrasi — jika tidak, ketidakkonsistenan data mungkin terjadi.

Perilaku engine Duplicate

Jika tabel tujuan menggunakan engine Duplicate:

• DTS mengonversi pernyataan UPDATE dan DELETE menjadi pernyataan INSERT.

• Baris duplikat mungkin muncul di tujuan dalam kasus-kasus berikut: terjadi retry, instans migrasi direstart, atau dua atau lebih operasi DML dilakukan pada baris yang sama setelah migrasi dimulai. Gunakan kolom tambahan (_is_deleted, _version, dan _record_id) untuk mengidentifikasi dan menghapus duplikat.

Persyaratan migrasi data inkremental

Sebelum menulis data ke tabel yang termasuk dalam migrasi inkremental, jalankan perintah berikut pada setiap tabel di database sumber:

ALTER TABLE schema.table REPLICA IDENTITY FULL;

Ganti schema dan table dengan nama skema dan nama tabel yang sebenarnya. Jalankan perintah ini selama jam sepi dan jangan mengunci tabel — penguncian dapat menyebabkan deadlock.

Jika Anda melewati item pemeriksaan awal terkait, DTS akan menjalankan perintah ini secara otomatis selama inisialisasi instans — saat instans pertama kali dijalankan, atau saat granularitas objek migrasi diatur ke Skema dan tabel baru dibuat atau dibangun ulang menggunakan perintah RENAME.

Pengelolaan slot replikasi

DTS membuat slot replikasi dengan awalan dts_sync_ di database sumber untuk mereplikasi data inkremental. Slot tersebut menyimpan log inkremental hingga 15 menit.

Saat tugas migrasi gagal atau instans migrasi dirilis, DTS mencoba membersihkan slot replikasi secara otomatis. Pembersihan manual diperlukan dalam kasus-kasus berikut:

• Kata sandi akun database sumber diubah selama migrasi.

• Alamat IP DTS dihapus dari daftar putih selama migrasi.

• Terjadi failover primary/secondary — login ke database sekunder untuk melakukan pembersihan.

Slot replikasi yang tidak dibersihkan akan terakumulasi dan mengonsumsi disk space, yang dapat menyebabkan database sumber tidak tersedia.

Langkah 1: Buka halaman Data Migration

Gunakan salah satu metode berikut:

Langkah 2: Buat tugas

Klik Create Task untuk membuka halaman konfigurasi tugas.

Langkah 3: Konfigurasi database sumber dan tujuan

Konfigurasikan parameter yang dijelaskan dalam tabel berikut.

Setelah menyelesaikan konfigurasi, klik Test Connectivity and Proceed di bagian bawah halaman.

Alamat IP server DTS harus ditambahkan ke pengaturan keamanan database sumber dan tujuan. DTS dapat menambahkan alamat IP ini secara otomatis, atau Anda dapat menambahkannya secara manual. Lihat Add DTS server IP addresses to a whitelist.

Langkah 4: Konfigurasi objek migrasi

Di halaman Configure Objects, atur parameter berikut.

Parameter	Deskripsi
Migration Types	Pilih jenis migrasi berdasarkan strategi Anda: - Full Data Migration (tidak toleransi downtime): Pilih Schema Migration dan Full Data Migration. Hentikan semua penulisan ke sumber sebelum memulai. - Online migration (tanpa downtime): Pilih Schema Migration, Full Data Migration, dan Incremental Data Migration.
Processing Mode of Conflicting Tables	- Precheck and Report Errors: DTS memeriksa tabel dengan nama yang sama di tujuan. Jika ditemukan duplikat, pemeriksaan awal gagal. Untuk mengatasi, ganti nama tabel tujuan menggunakan fitur object name mapping. - Ignore Errors and Proceed: DTS melewati pemeriksaan nama duplikat. Peringatan Hal ini dapat menyebabkan ketidakkonsistenan data — jika skema cocok, catatan sumber akan menimpa catatan tujuan dengan primary key yang sama; jika skema berbeda, migrasi mungkin gagal atau menghasilkan data yang tidak lengkap. Gunakan dengan hati-hati.
Capitalization of Object Names in Destination Instance	Mengontrol kapitalisasi nama database, tabel, dan kolom di tujuan. Nilai default adalah DTS default policy. Lihat Specify the capitalization of object names in the destination instance.
Source Objects	Pilih objek yang akan dimigrasikan. Klik ikon untuk memindahkannya ke Selected Objects. Granularitas objek migrasi dapat berupa skema, tabel, atau kolom.
Selected Objects	- Untuk memetakan objek ke nama atau tujuan berbeda, klik kanan objek dan pilih opsi pemetaan. Lihat Map object names. - Untuk menghapus objek, klik objek tersebut lalu klik ikon . - Untuk mengatur parameter bucket_count untuk tabel (tersedia saat Schema Migration dipilih dan granularitas objek migrasi adalah tabel): klik kanan tabel, atur Enable Parameter Settings ke Yesalert notification settings, masukkan nilai, lalu klik OK. - Untuk memfilter baris berdasarkan kondisi SQL, klik kanan tabel dan tentukan kondisinya. Lihat Specify filter conditions. - Untuk memilih operasi SQL mana yang akan dimigrasikan secara inkremental, klik kanan objek dan pilih operasinya.

Langkah 5: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Langkah 6: Konfigurasi bidang database dan tabel (opsional)

Klik Next: Configure Database and Table Fields untuk mengatur Primary Key Column, Distribution Key, dan Engine untuk tabel tujuan.

Langkah ini tersedia hanya saat Schema Migration dipilih. Untuk melihat semua tabel, atur Definition Status ke All.

Primary Key Column dapat berupa composite primary key. Pilih satu atau beberapa kolom dari Primary Key Column untuk digunakan sebagai Distribution Key.

Untuk tabel tanpa primary key atau Kendala UNIK, atur Engine ke duplicate — jika tidak, migrasi mungkin gagal atau data hilang.

Langkah 7: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat pratinjau parameter API untuk mengonfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters sebelum melanjutkan.

DTS menjalankan pemeriksaan awal sebelum memulai migrasi. Jika pemeriksaan awal gagal:

• Untuk item yang gagal: klik View Details, analisis hasilnya, selesaikan masalahnya, lalu klik Precheck Again.

• Untuk item peringatan: jika peringatan dapat diabaikan, klik Confirm Alert Details > Ignore > OK > Precheck Again. Perhatikan bahwa mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 8: Beli instans

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman Purchase Instance, konfigurasikan kelas instans:

   Bagian	Parameter	Deskripsi
   New Instance Class	Resource Group	Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat Apa itu Resource Management?.
   	Instance Class	Kelas instans menentukan kecepatan migrasi. Lihat Instance classes of data migration instances.

3. Baca dan centang kotak Data Transmission Service (Pay-as-you-go) Service Terms.

4. Klik Buy and Start, lalu klik OK di dialog konfirmasi.

Monitor progres di halaman Data Migration:

• Hanya migrasi penuh: tugas berhenti otomatis saat selesai. Status menunjukkan Completed.

• Termasuk migrasi inkremental: tugas berjalan terus-menerus dan tidak pernah berhenti otomatis. Status menunjukkan Running.

Selama migrasi data penuh, DTS mengonsumsi sumber daya baca dan tulis pada database sumber dan tujuan, yang meningkatkan beban database. Jalankan migrasi selama jam sepi ketika Beban CPU pada kedua database di bawah 30%.

Latensi migrasi inkremental

DTS menggunakan kebijakan sinkronisasi batch untuk mengurangi beban pada tujuan. Secara default, setiap objek sinkronisasi ditulis paling banyak sekali setiap 5 detik, sehingga latensi sinkronisasi normal biasanya dalam 10 detik.

Untuk mengurangi latensi, sesuaikan parameter selectdb.reservoir.timeout.milliseconds dari instans migrasi di Konsol DTS. Rentang valid adalah 1.000–10.000 milidetik.

Waktu batching yang lebih rendah meningkatkan frekuensi penulisan, yang meningkatkan beban dan waktu respons pada tujuan. Hal ini pada gilirannya dapat meningkatkan latensi sinkronisasi. Sesuaikan berdasarkan beban aktual tujuan.

Pemulihan kegagalan instans

Jika instans migrasi gagal, tim dukungan DTS akan mencoba pemulihan dalam waktu 8 jam. Selama pemulihan, instans mungkin direstart atau parameternya disesuaikan (hanya parameter instans DTS yang dimodifikasi — parameter database tidak diubah). Untuk daftar parameter yang mungkin dimodifikasi, lihat Modify instance parameters.

Migrasi di jam sepi

Jalankan migrasi selama jam sepi ketika Beban CPU pada database sumber dan tujuan di bawah 30%. Hal ini mengurangi risiko degradasi kinerja pada beban kerja produksi.