Data Transmission Service:Migrasi data dari instans PolarDB-X 1.0 ke instans AnalyticDB for PostgreSQL

Sebelum memulai

Tinjau batasan berikut sebelum mengonfigurasi tugas migrasi:

• Tipe penyimpanan sumber: Instans PolarDB-X 1.0 harus menggunakan ApsaraDB RDS for MySQL sebagai tipe penyimpanannya. PolarDB for MySQL tidak didukung.

• Kebutuhan bandwidth: Server tempat database sumber berada harus memiliki bandwidth outbound yang mencukupi. Jika tidak, kecepatan migrasi data akan terpengaruh.

• Batasan tabel sumber: Tabel yang akan dimigrasikan harus memiliki kendala PRIMARY KEY atau UNIQUE, dengan semua bidang bernilai unik. Tanpa kendala ini, database tujuan mungkin berisi catatan duplikat.

• Batas jumlah tabel: Jika Anda memilih tabel sebagai objek migrasi dan perlu mengganti nama tabel atau kolom di tujuan, satu tugas mendukung hingga 1.000 tabel. Tugas yang melebihi batas ini akan mengembalikan kesalahan permintaan. Untuk memigrasikan lebih dari 1.000 tabel, bagi migrasi menjadi beberapa tugas atau migrasikan seluruh database.

• Migrasi inkremental — konfigurasi binlog: Untuk migrasi data inkremental, atur parameter binlog_row_image dari instans ApsaraDB RDS for MySQL yang terhubung ke nilai full. Jika parameter ini tidak diatur dengan benar, pemeriksaan awal gagal dan tugas tidak dapat dimulai.

• Jenis tabel tujuan yang tidak didukung: Tabel tujuan tidak boleh berupa tabel append-optimized (AO).

• Tipe data yang tidak didukung: Tipe GEOMETRY, CURVE, SURFACE, MULTIPOINT, MULTILINESTRING, MULTIPOLYGON, dan GEOMETRYCOLLECTION tidak dapat dimigrasikan.

• Instans read-only: Instans read-only pada lapisan komputasi PolarDB-X 1.0 tidak didukung.

• Metode pemisahan: Sumber daya penyimpanan PolarDB-X 1.0 hanya mendukung pemisahan horizontal (untuk database dan tabel). Pemisahan vertikal tidak didukung.

Selama migrasi

• Retensi log biner:

  • Hanya migrasi inkremental: log biner harus dipertahankan lebih dari 24 jam.

  • Migrasi penuh + inkremental: log biner harus dipertahankan minimal tujuh hari.

  • Setelah migrasi data penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam.

  Penting

  Jika log biner tidak dipertahankan sesuai durasi yang disyaratkan, DTS mungkin gagal membacanya, menyebabkan kegagalan tugas, ketidakkonsistenan data, atau kehilangan data. Perjanjian tingkat layanan (SLA) DTS tidak mencakup kegagalan yang disebabkan oleh retensi log biner yang tidak mencukupi.

• Perubahan jenis jaringan: Jika Anda mengubah jenis jaringan instans PolarDB-X 1.0 selama migrasi, perbarui pengaturan koneksi jaringan dalam tugas migrasi tersebut.

• Operasi yang dilarang pada sumber: Jangan melakukan penskalaan kapasitas instans sumber (termasuk instans ApsaraDB RDS for MySQL yang terhubung), mengubah distribusi database dan tabel fisik, memigrasikan tabel yang sering diperbarui, mengubah kunci shard, atau melakukan operasi DDL. Tindakan ini menyebabkan kegagalan tugas atau ketidakkonsistenan data.

• Isolasi penulisan: Tulis data ke database tujuan hanya melalui DTS. Menulis dari sumber lain selama migrasi menyebabkan ketidakkonsistenan data.

• Column mapping: Jika pemetaan kolom digunakan untuk migrasi tabel parsial, atau jika skema sumber dan tujuan berbeda, data pada kolom sumber yang tidak memiliki padanan di tujuan akan hilang.

• Task Topology: DTS memigrasikan data PolarDB-X 1.0 dari semua instans ApsaraDB RDS for MySQL yang terhubung, menjalankan subtask untuk setiap instans. Lacak status subtask di Task Topology.

• Dampak performa: Migrasi data penuh menggunakan sumber daya baca dan tulis dari database sumber dan tujuan, yang dapat meningkatkan beban database. Jalankan tugas migrasi selama jam sepi. Setelah migrasi data penuh, ruang tabel tujuan lebih besar daripada sumber karena fragmentasi dari operasi INSERT konkuren.

Langkah 1: Konfigurasi database sumber dan tujuan

1. Masuk ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik DTS.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Migration.

   Anda juga dapat langsung menuju ke halaman Tugas Migrasi Data di Konsol DTS baru. Langkah-langkahnya mungkin sedikit berbeda tergantung pada mode dan tata letak Konsol DMS. Untuk detailnya, lihat Mode simple dan Sesuaikan tata letak dan gaya Konsol DMS.

4. Dari daftar drop-down di samping Tugas Migrasi Data, pilih wilayah tempat instans migrasi berada.

   Di Konsol DTS baru, pilih wilayah di pojok kiri atas.

5. Klik Create Task. Di halaman wizard Buat Tugas, konfigurasikan database sumber dan tujuan.

   Pengaturan umum

   Parameter	Deskripsi
   Task Name	Nama tugas. DTS secara otomatis menetapkan nama. Tentukan nama deskriptif agar tugas mudah diidentifikasi. Nama tidak perlu unik.

   Database sumber

   Parameter	Deskripsi
   Select an existing DMS database instance	(Opsional) Pilih instans database DMS terdaftar untuk mengisi otomatis parameter koneksi. Jika tidak memilih instans yang sudah ada, konfigurasikan parameter secara manual.
   Database Type	Pilih PolarDB-X 1.0.
   Access Method	Pilih Alibaba Cloud Instance.
   Instance Region	Wilayah tempat instans PolarDB-X 1.0 sumber berada.
   Replicate Data Across Alibaba Cloud Accounts	Pilih No untuk migrasi dalam akun yang sama.
   Instance ID	ID instans PolarDB-X 1.0 sumber.
   Database Account	Akun untuk instans sumber. Untuk izin yang diperlukan, lihat Izin yang diperlukan.
   Database Password	Password untuk akun database.

   Database tujuan

   Parameter	Deskripsi
   Select an existing DMS database instance	(Opsional) Pilih instans database DMS terdaftar untuk mengisi otomatis parameter koneksi. Jika tidak memilih instans yang sudah ada, konfigurasikan parameter secara manual.
   Database Type	Pilih AnalyticDB for PostgreSQL.
   Access Method	Pilih Alibaba Cloud Instance.
   Instance Region	Wilayah tempat instans AnalyticDB for PostgreSQL tujuan berada.
   Instance ID	ID instans AnalyticDB for PostgreSQL tujuan.
   Database Name	Nama database di instans tujuan yang menerima objek yang dimigrasikan.
   Database Account	Akun untuk instans tujuan. Untuk izin yang diperlukan, lihat Izin yang diperlukan.
   Database Password	Password untuk akun database.

6. Klik Test Connectivity and Proceed. DTS secara otomatis menambahkan blok CIDR-nya ke daftar putih alamat IP instans database Alibaba Cloud (seperti ApsaraDB RDS for MySQL) atau ke aturan grup keamanan instans Elastic Compute Service (ECS) yang meng-host database yang dikelola sendiri. Untuk database yang dikelola sendiri yang tersebar di beberapa instans ECS, tambahkan secara manual blok CIDR DTS ke aturan grup keamanan setiap instans ECS. Untuk database yang dikelola sendiri di pusat data atau di-host oleh penyedia pihak ketiga, tambahkan secara manual blok CIDR DTS ke daftar putih alamat IP database. Untuk daftar lengkap blok CIDR DTS, lihat Tambahkan blok CIDR server DTS ke pengaturan keamanan database on-premises.

   Peringatan

   Menambahkan blok CIDR DTS ke daftar putih alamat IP atau aturan grup keamanan menimbulkan risiko keamanan. Sebelum menggunakan DTS, ambil langkah pencegahan seperti: memperkuat keamanan akun dan password, membatasi port yang terbuka, mengautentikasi panggilan API, secara berkala mengaudit daftar putih dan aturan grup keamanan, serta menghubungkan database ke DTS melalui Express Connect, VPN Gateway, atau Smart Access Gateway.

Langkah 2: Pilih jenis dan objek migrasi

Konfigurasikan parameter berikut dan klik Next: Advanced Settings.

Pilih jenis migrasi

DTS mendukung tiga jenis migrasi. Pilih sesuai kebutuhan Anda:

• Migrasi Skema + Migrasi Data Penuh: Memigrasikan skema tabel dan semua data yang ada. Gunakan opsi ini jika Anda dapat menghentikan sementara penulisan ke database sumber selama migrasi.

• Migrasi Skema + Migrasi Data Penuh + Migrasi Data Inkremental: Memigrasikan data yang ada dan terus mereplikasi perubahan berikutnya (INSERT, UPDATE, DELETE). Gunakan opsi ini untuk meminimalkan downtime dan menjaga kontinuitas layanan.

Jika Anda tidak memilih Incremental Data Migration, hindari menulis ke database sumber selama migrasi agar konsistensi data antara sumber dan tujuan tetap terjaga.

Objek dan pengaturan

Parameter	Deskripsi
Migration Types	Pilih jenis migrasi seperti yang dijelaskan di atas.
Processing Mode of Conflicting Tables	Precheck and Report Errors (default): memeriksa keberadaan tabel dengan nama identik di sumber dan tujuan sebelum migrasi dimulai. Jika terdapat konflik, pemeriksaan awal gagal dan tugas tidak dapat dimulai. Gunakan Map object names untuk mengganti nama tabel yang bentrok. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel identik. Jika skema cocok, catatan dengan kunci primer duplikat tidak dimigrasikan. Jika skema berbeda, hanya kolom tertentu yang dimigrasikan atau tugas gagal. Gunakan opsi ini dengan hati-hati.
Capitalization of Object Names in Destination Instance	Mengatur kapitalisasi nama database, tabel, dan kolom di instans tujuan. Default: DTS default policy. Untuk detailnya, lihat Specify the capitalization of object names in the destination instance.
Source Objects	Pilih tabel dari daftar Source Objects, lalu klik untuk menambahkannya ke daftar Selected Objects. Hanya tabel yang dapat dipilih sebagai objek migrasi.
Selected Objects	Untuk mengganti nama satu objek, klik kanan objek tersebut dan gunakan Map the name of a single object. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas dan gunakan Map multiple object names at a time. Untuk memfilter data menggunakan kondisi SQL, klik kanan suatu objek dan tentukan kondisinya. Untuk informasi selengkapnya, lihat Use SQL conditions to filter data. Catatan Mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan.

Langkah 3: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Langkah 4: (Opsional) Konfigurasi bidang database dan tabel

Klik Next: Configure Database and Table Fields untuk menentukan Type, Primary Key Column, dan Distribution Key pada tabel yang sedang dimigrasikan ke instans AnalyticDB for PostgreSQL.

Langkah ini tersedia hanya jika Schema Migration dipilih. Atur Definition Status ke Semua untuk melihat dan mengubah semua tabel. Untuk kunci primer komposit, satu atau beberapa kolom kunci primer juga harus ditentukan sebagai kolom kunci distribusi. Untuk detailnya, lihat Kelola tabel dan Definisikan distribusi tabel.

Langkah 5: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat parameter API guna mengonfigurasi tugas ini secara terprogram, arahkan pointer ke Berikutnya: Simpan Pengaturan Tugas dan Pemeriksaan Awal lalu klik Preview OpenAPI parameters.

DTS menjalankan pemeriksaan awal sebelum migrasi dimulai. Tunggu hingga pemeriksaan awal selesai:

• Jika pemeriksaan awal lolos, lanjutkan ke langkah berikutnya.

• Jika pemeriksaan awal gagal, klik View Details di sebelah item yang gagal, perbaiki masalah berdasarkan pesan kesalahan, lalu klik Precheck Again.

• Jika muncul peringatan pemeriksaan awal:

  • Jika peringatan tidak dapat diabaikan, klik View Details, perbaiki masalah, lalu jalankan pemeriksaan awal lagi.

  • Jika peringatan dapat diabaikan, klik Confirm Alert Details, lalu klik Ignore di kotak dialog Lihat Detail, klik OK, lalu klik Precheck Again.

  Peringatan

  Mengabaikan peringatan pemeriksaan awal dapat menyebabkan ketidakkonsistenan data atau risiko lain terhadap workload Anda.

Langkah 6: Beli dan mulai instans migrasi

1. Tunggu hingga success rate mencapai 100%, lalu klik Purchase Instance.

2. Di halaman Purchase Instance, konfigurasikan kelas instans.

   Parameter	Deskripsi
   Resource Group	Kelompok sumber daya untuk instans migrasi. Default: kelompok sumber daya default. Untuk detailnya, lihat Apa itu Resource Management?
   Instance Class	Kelas instans menentukan kecepatan migrasi. Pilih kelas berdasarkan workload Anda. Untuk detailnya, lihat Spesifikasi instans migrasi data.

3. Baca Syarat Layanan Data Transmission Service (Pay-as-you-go) dan centang kotak untuk menyetujui.

4. Klik Buy and Start. Tugas migrasi dimulai dan muncul di daftar tugas.