Data Transmission Service:Migrasi data dari database Oracle yang dikelola sendiri ke instans AnalyticDB for PostgreSQL

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Memiliki database Oracle yang dikelola sendiri dan instans AnalyticDB for PostgreSQL tujuan. Untuk membuat instans tujuan, lihat Buat instans.

• Database Oracle berjalan dalam Mode ARSIPLOG dengan log arsip yang dapat diakses dan periode retensi yang sesuai. Lihat Managing Archived Redo Log Files.

• Pencatatan tambahan diaktifkan pada database Oracle, dengan SUPPLEMENTAL_LOG_DATA_PK dan SUPPLEMENTAL_LOG_DATA_UI diatur ke Yes. Lihat Supplemental Logging.

• Memahami kemampuan dan batasan DTS untuk migrasi Oracle. Gunakan Advanced Database & Application Migration (ADAM) untuk mengevaluasi database Anda sebelum migrasi. Lihat Persiapkan database Oracle dan Ikhtisar.

Jenis migrasi

Memilih strategi migrasi:

Operasi SQL yang didukung untuk migrasi inkremental

Penagihan

Batasan

Selama migrasi skema, DTS memigrasikan kunci asing dari database sumber ke database tujuan. Selama migrasi data penuh dan inkremental, DTS sementara menonaktifkan pemeriksaan kendala dan operasi kaskade pada kunci asing di tingkat sesi. Operasi penghapusan kaskade pada sumber selama migrasi dapat menyebabkan inkonsistensi data.

Batasan database sumber:

• Server harus memiliki bandwidth keluar yang mencukupi. Bandwidth yang tidak mencukupi mengurangi kecepatan migrasi.

• Untuk database Oracle RAC yang terhubung melalui Express Connect: tentukan VIP untuk database, bukan alamat IP Single Client Access Name (SCAN). Setelah VIP ditentukan, failover node tidak didukung.

• Untuk database Oracle RAC yang terhubung melalui Express Connect, VPN Gateway, Smart Access Gateway, Database Gateway, atau Cloud Enterprise Network (CEN): gunakan satu VIP, bukan alamat IP Single Client Access Name (SCAN) saat mengonfigurasi database sumber. Setelah VIP ditentukan, failover node tidak didukung untuk database Oracle RAC.

• Jika bidang VARCHAR2 berisi string kosong (dianggap sebagai NULL di Oracle) dan kolom tujuan yang sesuai memiliki kendala NOT NULL, tugas migrasi gagal.

• Tabel yang akan dimigrasikan harus memiliki kendala PRIMARY KEY atau UNIQUE dengan semua bidang unik. Tanpa kendala ini, database tujuan mungkin berisi catatan duplikat.

• Untuk Oracle 12c dan versi lebih baru: nama tabel tidak boleh melebihi 30 byte.

• Jika Anda memilih tabel sebagai objek migrasi dan perlu mengganti nama tabel atau kolom di tujuan, satu tugas mendukung maksimal 1.000 tabel. Untuk lebih dari 1.000 tabel, buat beberapa tugas atau migrasikan seluruh database.

• Untuk migrasi inkremental, persyaratan retensi redo dan archive log: Retensi log yang tidak mencukupi dapat menyebabkan tugas gagal, atau mengakibatkan inkonsistensi atau kehilangan data. Perjanjian Tingkat Layanan (SLA) DTS tidak berlaku jika persyaratan retensi tidak dipenuhi.

  • Hanya migrasi inkremental: simpan log lebih dari 24 jam.

  • Migrasi penuh + migrasi inkremental: simpan log minimal 7 hari. Setelah migrasi penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam.

• Selama migrasi skema dan migrasi data penuh: jangan melakukan operasi DDL pada database sumber.

• Hanya selama migrasi penuh: jangan menulis data ke database sumber selama migrasi.

• Selama migrasi: jangan memperbarui bidang LONGTEXT.

Batasan lainnya:

• Hanya tabel yang dapat dipilih sebagai objek migrasi. Tabel append-optimized (AO) tidak didukung di tujuan.

• Jika pemetaan kolom digunakan untuk migrasi non-seluruh-tabel atau skema sumber dan tujuan berbeda, kolom sumber yang tidak ada di tujuan akan hilang.

• AnalyticDB for PostgreSQL tidak mendukung terminator string '\0'. DTS menghilangkan terminator saat menulis, yang menyebabkan inkonsistensi data.

• Jalankan migrasi selama jam sepi. Migrasi data penuh menggunakan sumber daya baca dan tulis di sumber dan tujuan, yang meningkatkan beban database.

• Migrasi data penuh dengan operasi INSERT bersamaan menyebabkan fragmentasi pada tabel tujuan. Setelah migrasi selesai, ukuran ruang tabel tujuan akan lebih besar daripada sumber.

• DTS mencoba melanjutkan tugas yang gagal hingga 7 hari. Sebelum beralih beban kerja ke tujuan, hentikan atau lepas tugas yang gagal, atau jalankan REVOKE untuk menghapus izin tulis akun DTS. Jika tidak, tugas yang dilanjutkan dapat menimpa data tujuan.

Pemetaan tipe data

Untuk pemetaan tipe data antara Oracle dan AnalyticDB for PostgreSQL, lihat Pemetaan tipe data antar database heterogen.

Siapkan akun database Oracle

Buat akun di database Oracle dan berikan izin yang diperlukan berdasarkan jenis migrasi yang akan Anda gunakan.

Lewati langkah ini jika Anda sudah memiliki akun dengan izin yang diperlukan.

Izin yang diperlukan berdasarkan jenis migrasi:

Untuk membuat akun Oracle, lihat CREATE USER dan GRANT.

Untuk tujuan AnalyticDB for PostgreSQL, akun awal memiliki izin tulis yang diperlukan. Atau, gunakan akun dengan izin RDS_SUPERUSER. Lihat Buat akun database dan Kelola pengguna dan izin.

Buat tugas migrasi

1. Buka halaman Tugas Migrasi Data.

   1. Login ke Konsol Data Management (DMS).

   2. Di bilah navigasi atas, klik DTS.

   3. Di panel navigasi kiri, pilih DTS (DTS) > Data Migration.

   Tata letak konsol dapat berbeda. Lihat Mode simple dan Sesuaikan tata letak dan gaya konsol DMS. Anda juga dapat langsung membuka halaman Tugas Migrasi Data di konsol DTS baru.

2. Dari daftar drop-down di samping Tugas Migrasi Data, pilih wilayah tempat instans migrasi berada.

   Di konsol DTS baru, pilih wilayah di pojok kiri atas.

3. Klik Create Task. Di wizard Create Data Migration Task, konfigurasikan database sumber dan tujuan.

   Peringatan

   Baca batasan yang ditampilkan di bagian atas halaman sebelum melanjutkan. Melewatkan langkah ini dapat menyebabkan tugas gagal atau mengakibatkan inkonsistensi data.

   Parameter database sumber:

   Parameter	Deskripsi
   Task Name	Masukkan nama deskriptif untuk mengidentifikasi tugas. Nama tugas tidak perlu unik.
   Database Type	Pilih Oracle.
   Connection Type	Pilih metode akses untuk database sumber. Contoh ini menggunakan Public IP Address. Untuk metode akses lain, siapkan lingkungan yang diperlukan terlebih dahulu. Lihat Ikhtisar persiapan.
   Instance Region	Pilih wilayah tempat database Oracle sumber berada.
   Hostname or IP address	Masukkan titik akhir untuk database Oracle sumber.
   Port Number	Masukkan port layanan. Default: 1521. Port harus dapat diakses melalui Internet dalam contoh ini.
   Oracle Type	Pilih Non-RAC Instance (memerlukan SID) atau RAC or PDB Instance (memerlukan Service Name). Contoh ini menggunakan Non-RAC Instance.
   Database Account	Masukkan akun Oracle. Lihat Siapkan akun database Oracle untuk izin yang diperlukan.
   Database Password	Masukkan kata sandi akun.

   Parameter database tujuan:

   Parameter	Deskripsi
   Database Type	Pilih AnalyticDB for PostgreSQL.
   Connection Type	Pilih Alibaba Cloud Instance.
   Instance Region	Pilih wilayah tempat instans tujuan berada.
   Instance ID	Pilih instans AnalyticDB for PostgreSQL tujuan.
   Database Name	Masukkan nama database tujuan.
   Database Account	Masukkan akun database tujuan. Lihat Siapkan akun database Oracle untuk izin yang diperlukan.
   Database Password	Masukkan kata sandi akun.

4. Jika database sumber memiliki daftar putih alamat IP yang dikonfigurasi, tambahkan blok CIDR server DTS ke daftar putih tersebut. Lalu klik Test Connectivity and Proceed.

   Peringatan

   Menambahkan blok CIDR server DTS ke daftar putih database atau aturan security group ECS Anda menciptakan potensi risiko keamanan. Ambil tindakan pencegahan sebelum melanjutkan: gunakan kredensial yang kuat, batasi port yang terbuka, autentikasi panggilan API, dan tinjau secara berkala aturan daftar putih. Untuk konektivitas yang lebih aman, gunakan Express Connect, VPN Gateway, atau Smart Access Gateway alih-alih akses IP publik.

5. Konfigurasikan objek dan pengaturan migrasi.

   Mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan.

   Parameter	Deskripsi
   Migration Types	Pilih jenis migrasi sesuai kebutuhan Anda. Untuk migrasi satu kali, pilih Schema Migration dan Full Data Migration. Untuk menjaga layanan tetap berjalan selama migrasi, pilih juga Incremental Data Migration. Jika Anda tidak memilih Incremental Data Migration, jangan menulis data ke database sumber selama migrasi.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa adanya nama tabel identik antara sumber dan tujuan sebelum memulai. Tugas gagal dalam pemeriksaan awal jika terdapat konflik. Gunakan pemetaan nama objek untuk menyelesaikan konflik. Lihat Map object names. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel identik. Jika skema identik, DTS melewati catatan dengan kunci primer yang cocok. Jika skema berbeda, hanya kolom tertentu yang dimigrasikan atau tugas gagal. Gunakan dengan hati-hati.
   Source Objects	Pilih objek yang akan dimigrasikan dan klik ikon panah untuk menambahkannya ke Selected Objects.
   Selected Objects	Untuk mengganti nama satu objek di tujuan, klik kanan objek tersebut. Lihat Map the name of a single object. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Map multiple object names at a time. Untuk memfilter baris berdasarkan kondisi, klik kanan tabel dan tentukan kondisi klausa WHERE. Lihat Set filter conditions. Untuk memilih operasi SQL tertentu untuk migrasi inkremental pada tabel atau database, klik kanan objek dan pilih operasi tersebut.

6. Klik Next: Advanced Settings dan konfigurasikan parameter berikut. Verifikasi data: Untuk menggunakan verifikasi data, lihat Configure data verification.

   Pengaturan lanjutan:

   Parameter	Deskripsi
   Select the dedicated cluster used to schedule the task	Secara default, DTS menjadwalkan ke kluster bersama. Untuk menggunakan kluster khusus, beli terlebih dahulu. Lihat What is a DTS dedicated cluster?
   Retry Time for Failed Connections	Durasi DTS mencoba ulang ketika tidak dapat terhubung ke database sumber atau tujuan. Rentang valid: 10–1.440 menit. Default: 720 menit. Atur nilai ini lebih dari 30 menit agar masalah jaringan sementara tidak menyebabkan tugas gagal. Jika DTS terhubung kembali dalam periode ini, tugas dilanjutkan secara otomatis. Catatan Ketika beberapa tugas berbagi database sumber atau tujuan yang sama, waktu coba ulang yang paling baru diatur berlaku untuk semuanya. Biaya instans DTS tetap berjalan selama percobaan ulang.
   The wait time before a retry when other issues occur in the source and destination databases	Durasi DTS mencoba ulang ketika operasi DDL atau DML gagal. Rentang valid: 1–1.440 menit. Default: 10 menit. Atur nilai ini lebih dari 10 menit. Nilai ini harus kurang dari nilai Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Membatasi migrasi penuh untuk mengurangi beban pada sumber dan tujuan. Konfigurasikan Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Tersedia hanya jika Full Data Migration dipilih.
   Enable Throttling for Incremental Data Migration	Membatasi migrasi inkremental. Konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Tersedia hanya jika Incremental Data Migration dipilih.
   Environment Tag	Tag opsional untuk mengidentifikasi instans DTS berdasarkan lingkungan (misalnya, produksi atau uji).
   Actual Write Code	Format encoding untuk menulis data ke database tujuan.
   Configure ETL	Mengaktifkan fitur ekstrak, transformasi, muat (ETL). Pilih Yes untuk memasukkan pernyataan pemrosesan data. Lihat Configure ETL in a data migration or data synchronization task. Pilih No untuk melewati. Lihat What is ETL?
   Monitoring and Alerting	Pilih Yes untuk menerima peringatan ketika tugas gagal atau latensi migrasi melebihi ambang batas. Tentukan ambang batas peringatan dan kontak. Lihat Configure monitoring and alerting for a new DTS task. Pilih No untuk melewati.

7. Tentukan kolom kunci primer dan kolom kunci distribusi untuk tabel yang akan dimigrasikan ke instans AnalyticDB for PostgreSQL.

8. Klik Next: Save Task Settings and Precheck.

   Untuk melihat pratinjau parameter panggilan API, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview API Call.

9. Tunggu hingga pemeriksaan awal selesai. Tunggu hingga tingkat keberhasilan mencapai 100%, lalu klik Next: Purchase Instance.

   • Jika suatu item gagal, klik View Details di samping item yang gagal, perbaiki masalahnya, lalu jalankan pemeriksaan awal lagi.

   • Jika muncul peringatan untuk suatu item, klik Confirm Alert Details. Pada dialog View Details, klik Ignore, konfirmasi tindakan tersebut, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidaksesuaian data.

10. Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.

11. Klik Buy and Start. Pantau perkembangan tugas di halaman Task Management.

Langkah selanjutnya

Setelah migrasi selesai dan sebelum Anda beralih beban kerja ke instans tujuan:

• Hentikan atau lepas tugas DTS yang gagal, atau jalankan REVOKE untuk menghapus izin tulis DTS pada database tujuan. DTS dapat melanjutkan tugas yang gagal hingga 7 hari dan menimpa data tujuan.

• Validasi konsistensi data antara sumber dan tujuan. Lihat Configure data verification.

• Untuk pemetaan tipe data yang didukung antara Oracle dan AnalyticDB for PostgreSQL, lihat Pemetaan tipe data antar database heterogen.