Data Transmission Service:Migrasikan data dari database PostgreSQL yang dikelola sendiri ke kluster PolarDB untuk PostgreSQL (Kompatibel dengan Oracle)

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

• Kluster PolarDB untuk PostgreSQL (Kompatibel dengan Oracle). Untuk informasi lebih lanjut, lihat Buat kluster PolarDB untuk PostgreSQL (Kompatibel dengan Oracle).

• Ruang penyimpanan yang tersedia mencukupi di kluster tujuan (harus melebihi ukuran total data dari database sumber).

• Akun dan izin database yang diperlukan (lihat Izin yang diperlukan).

Pilih jenis migrasi

Pilih jenis migrasi berdasarkan toleransi downtime Anda.

Disarankan: Pilih kedua opsi Full Data Migration dan Incremental Data Migration agar aplikasi tetap berjalan selama migrasi. Jika hanya memilih migrasi penuh, hentikan semua operasi write ke database sumber sebelum memulai—jika tidak, akan terjadi ketidakkonsistenan data.

Izin yang diperlukan

Tentukan database owner saat membuat database tujuan.

Untuk instruksi membuat akun dan memberikan izin, lihat:

• PostgreSQL yang dikelola sendiri: CREATE USER dan GRANT.

• PolarDB untuk PostgreSQL (Kompatibel dengan Oracle): Buat akun database.

Penagihan

Operasi SQL yang didukung untuk migrasi inkremental

Catatan penggunaan

Selama migrasi skema, DTS memigrasikan kunci asing dari database sumber ke database tujuan.

Selama migrasi data penuh dan inkremental, DTS menonaktifkan sementara pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat sesi. Melakukan operasi CASCADE atau DELETE pada database sumber selama migrasi dapat menyebabkan ketidakkonsistenan data.

Source database limits

Batasan lainnya

Batas	Detail
Buat database dan tabel terlebih dahulu	Buat database dan tabel tujuan di kluster tujuan sebelum mengonfigurasi tugas migrasi.
Tabel baru atau berganti nama selama migrasi inkremental	Jika Anda membuat tabel atau menjalankan RENAME pada tabel dalam skema yang dipilih untuk migrasi, eksekusi ALTER TABLE schema.table REPLICA IDENTITY FULL; sebelum menulis data ke tabel tersebut. Ganti schema dan table dengan nama aktual.
Tabel temporary di database sumber	DTS membuat tabel temporary di database sumber: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, dan public.dts_args_session. Jangan hapus tabel-tabel ini selama migrasi. Mereka akan dihapus otomatis saat instans DTS dilepas.
Tabel heartbeat	DTS membuat tabel heartbeat bernama dts_postgres_heartbeat di database sumber untuk melacak latensi migrasi inkremental.
Replication slot	DTS membuat replication slot dengan awalan dts_sync_ di database sumber, yang menyimpan log inkremental hingga 15 menit. Slot ini akan dihapus otomatis saat tugas dilepas atau gagal. Jika terjadi alih bencana primer/sekunder pada instans ApsaraDB for PostgreSQL sumber, masuk ke instans sekunder untuk menghapus replication slot secara manual.
Satu database per tugas	Satu tugas migrasi hanya memigrasikan data dari satu database. Untuk memigrasikan beberapa database, buat tugas terpisah untuk masing-masing.
Dampak performa	Migrasi data penuh menggunakan sumber daya baca dan tulis di database sumber dan tujuan, meningkatkan beban server. Jadwalkan migrasi pada jam sepi.
Pertumbuhan tablespace	Operasi INSERT bersamaan selama migrasi penuh menyebabkan fragmentasi tabel di database tujuan. Ukuran tablespace tujuan diperkirakan lebih besar daripada sumber setelah migrasi.
Presisi FLOAT/DOUBLE	DTS mengambil nilai FLOAT dan DOUBLE menggunakan ROUND(COLUMN, PRECISION). Presisi default: 38 digit untuk FLOAT, 308 digit untuk DOUBLE. Verifikasi apakah nilai default ini memenuhi kebutuhan Anda dan sesuaikan jika perlu.
Retry tugas gagal	DTS mencoba ulang tugas yang gagal hingga 7 hari. Sebelum mengalihkan beban kerja ke database tujuan, hentikan atau lepaskan tugas yang gagal. Atau, eksekusi REVOKE untuk mencabut izin tulis DTS pada database tujuan—jika tidak, data sumber dapat menimpa data tujuan saat tugas gagal dilanjutkan.
Metadata sequence	DTS tidak memvalidasi metadata sequence. Setelah mengalihkan beban kerja, sequence di database tujuan tidak otomatis dilanjutkan dari nilai maksimum di sumber. Sebelum alih bencana, kueri nilai maksimum sequence saat ini di database sumber dan tetapkan sebagai nilai awal di database tujuan. Gunakan SQL berikut untuk mendapatkan pernyataan setval:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

Persiapkan database sumber

Ikuti langkah-langkah sesuai versi PostgreSQL Anda.

Konfigurasi tugas migrasi

1. Buka halaman Data Migration Tasks.

   1. Masuk ke Konsol Data Management (DMS).

   2. Di bilah navigasi atas, klik DTS.

   3. Di panel navigasi kiri, pilih DTS (DTS) > Data Migration.

   - Navigasi bervariasi tergantung mode konsol DMS. Lihat Simple mode dan Sesuaikan tata letak dan gaya konsol DMS. - Atau, langsung buka halaman Data Migration Tasks di konsol DTS baru.

2. Dari daftar drop-down di samping Data Migration Tasks, pilih wilayah tempat instans migrasi data berada.

   Di konsol DTS baru, pilih wilayah di pojok kiri atas.

3. Klik Create Task. Konfigurasikan database sumber dan tujuan menggunakan parameter berikut.

   Peringatan

   Setelah memilih instans sumber dan tujuan, baca limits yang ditampilkan di bagian atas halaman sebelum melanjutkan.

   Source database

   Parameter	Deskripsi
   Database Type	Pilih PostgreSQL.
   Access Method	Pilih Express Connect, VPN Gateway, or Smart Access Gateway. Untuk persiapan jaringan, lihat Ikhtisar persiapan.
   Instance Region	Wilayah tempat database sumber berada.
   Replicate Data Across Alibaba Cloud Accounts	Pilih No untuk skenario ini.
   Connected VPC	Virtual private cloud (VPC) yang terhubung ke database sumber.
   IP Address	Alamat IP server database sumber.
   Port Number	Port layanan database sumber. Default: 5432.
   Database Name	Nama database sumber.
   Database Account	Akun untuk database sumber. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.

   Destination database

   Parameter	Deskripsi
   Database Type	Pilih PolarDB (Compatible with Oracle).
   Access Method	Pilih Express Connect, VPN Gateway, or Smart Access Gateway.
   Instance Region	Wilayah tempat kluster PolarDB tujuan berada.
   Connected VPC	VPC yang terhubung ke kluster tujuan. Temukan ID VPC di halaman Ikhtisar kluster.
   Domain Name or IP Address	Alamat IP node primer di kluster tujuan. Jalankan ping terhadap cluster endpoint untuk mendapatkan alamat IP.
   Port Number	Port layanan database tujuan. Default: 1521.
   Database Name	Nama database di kluster tujuan.
   Database Account	Akun untuk kluster tujuan. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.

4. Jika database sumber memiliki daftar putih alamat IP, tambahkan Blok CIDR server DTS ke dalamnya. Lalu klik Test Connectivity and Proceed.

   Peringatan

   Menambahkan Blok CIDR server DTS ke daftar putih database atau grup keamanan ECS menimbulkan risiko keamanan. Sebelum melanjutkan, ambil langkah pencegahan: perkuat kata sandi akun, batasi port yang terbuka, autentikasi panggilan API, audit rutin daftar putih IP dan aturan grup keamanan, serta hapus Blok CIDR yang tidak sah. Gunakan Express Connect, VPN Gateway, atau Smart Access Gateway untuk menghubungkan database ke DTS bila memungkinkan.

5. Konfigurasikan objek migrasi dan pengaturan lanjutan.

   Jenis dan objek migrasi

   Parameter	Deskripsi
   Migration Types	Pilih Full Data Migration untuk migrasi satu kali dengan downtime. Pilih kedua opsi Full Data Migration dan Incremental Data Migration untuk meminimalkan downtime. Jika Anda tidak memilih Incremental Data Migration, hentikan operasi write ke database sumber selama migrasi untuk memastikan konsistensi data.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah tujuan berisi tabel dengan nama yang sama seperti sumber. Jika nama identik ada, pemeriksaan awal gagal dan tugas tidak dapat dimulai. Gunakan pemetaan nama objek untuk mengganti nama tabel tujuan jika diperlukan. Ignore Errors and Proceed: melewati pemeriksaan nama duplikat. Peringatan Hal ini dapat menyebabkan ketidakkonsistenan data. Catatan dengan nilai kunci primer yang sama tidak dimigrasikan, dan perbedaan skema dapat menyebabkan migrasi parsial atau kegagalan tugas.
   Source Objects	Pilih objek dari bagian Source Objects dan klik ikon panah untuk memindahkannya ke Selected Objects. Granularitas yang dapat dipilih: kolom, tabel, atau skema. Memilih tabel atau kolom mengecualikan view, trigger, dan prosedur tersimpan.
   Selected Objects	Untuk mengganti nama satu objek di tujuan, klik kanan objek tersebut di Selected Objects. Lihat Petakan nama satu objek. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Petakan beberapa nama objek sekaligus. Catatan Mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan. Untuk memfilter baris, klik kanan tabel dan tentukan kondisi WHERE. Lihat Gunakan kondisi SQL untuk memfilter data.

6. Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

   Parameter	Deskripsi
   Set Alerts	No: menonaktifkan peringatan. Yes: mengaktifkan peringatan. Tentukan ambang batas peringatan dan kontak peringatan. Lihat Konfigurasi pemantauan dan peringatan.
   Retry Time for Failed Connections	Jendela retry untuk koneksi yang gagal. DTS mencoba ulang segera dalam jendela ini. Rentang: 10–1.440 menit. Default: 120 menit. Atur minimal 30 menit. Jika DTS terhubung kembali dalam jendela, tugas dilanjutkan; jika tidak, tugas gagal. Catatan Jika beberapa tugas berbagi database sumber atau tujuan yang sama dan memiliki jendela retry berbeda, jendela terpendek yang berlaku. DTS mengenakan biaya untuk instans selama periode retry.
   Retry time for other issues	Jendela retry untuk operasi DML atau DDL yang gagal setelah tugas dimulai. Rentang: 1–1.440 menit. Default: 10 menit. Atur minimal 10 menit. Penting Nilai ini harus kurang dari Retry Time for Failed Connections.
   Configure ETL	Yes: mengaktifkan fitur ekstrak, transformasi, dan muat (ETL). Masukkan pernyataan pemrosesan data di editor kode. Lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data dan Apa itu ETL?. No: menonaktifkan ETL.

7. Klik Next: Save Task Settings and Precheck.

   - Untuk melihat pratinjau parameter OpenAPI untuk tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters. - DTS menjalankan pemeriksaan awal sebelum memulai tugas. Tugas hanya dapat dimulai setelah lulus pemeriksaan awal. - Jika pemeriksaan awal gagal, klik View Details di samping setiap item yang gagal. Perbaiki masalah berdasarkan pesan error, lalu jalankan pemeriksaan awal lagi. - Jika pemeriksaan awal menampilkan peringatan: jika peringatan tidak dapat diabaikan, perbaiki masalah dan jalankan pemeriksaan awal lagi. Jika peringatan dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

8. Tunggu hingga tingkat keberhasilan mencapai 100%, lalu klik Next: Purchase Instance.

9. Di halaman Purchase Instance, konfigurasikan kelas instans.

   Parameter	Deskripsi
   Resource Group	Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat Apa itu Resource Management?.
   Instance Class	Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan kebutuhan Anda. Lihat Spesifikasi instans migrasi data.

10. Baca dan terima Syarat Layanan Data Transmission Service (Pay-as-you-go) dengan memilih kotak centang.

11. Klik Buy and Start. Pantau progres tugas di daftar tugas.

Verifikasi dan Peralihan

Sebelum mengalihkan traffic produksi ke kluster tujuan, selesaikan langkah-langkah berikut.