Data Transmission Service:Migrasi\ data\ dari\ database\ PostgreSQL\ yang\ dikelola\ sendiri\ ke\ klaster\ PolarDB\ for\ PostgreSQL

PostgreSQL 10.1 atau lebih baru

1. Login ke server yang menjalankan database PostgreSQL yang dikelola sendiri.

2. Edit postgresql.conf. Atur wal_level ke logical, dan atur max_wal_senders dan max_replication_slots ke nilai yang lebih besar daripada jumlah: slot replikasi yang sedang digunakan ditambah jumlah instans DTS yang menggunakan database ini sebagai sumber. Misalnya, jika Anda saat ini memiliki 2 slot replikasi yang digunakan dan berencana menjalankan 3 instans DTS terhadap database ini, atur kedua parameter tersebut ke nilai lebih dari 5 (misalnya, 10).

   Restart database PostgreSQL setelah memodifikasi postgresql.conf agar perubahan berlaku.

   # - Settings -
   
   wal_level = logical           # minimal, replica, or logical
                                 # (change requires restart)
   
   ......
   
   # - Sending Server(s) -
   
   max_wal_senders = 10          # max number of walsender processes
                                 # (change requires restart)
   #wal_keep_segments = 0        # in logfile segments, 16MB each; 0 disables
   #wal_sender_timeout = 60s     # in milliseconds; 0 disables
   
   max_replication_slots = 10    # max number of replication slots
                                 # (change requires restart)

3. Tambahkan blok CIDR server DTS ke pg_hba.conf. Tambahkan hanya blok CIDR untuk wilayah tempat database tujuan berada. Lihat Tambahkan alamat IP server DTS ke daftar putih.

   Setelah memodifikasi pg_hba.conf, jalankan SELECT pg_reload_conf(); atau restart database agar perubahan berlaku. Jika Anda telah mengatur alamat IP di pg_hba.conf ke 0.0.0.0/0, lewati langkah ini. Untuk detail tentang pg_hba.conf, lihat The pg_hba.conf File.

   

4. Buat database dan skema target di klaster tujuan agar sesuai dengan objek sumber yang akan dimigrasikan.

PostgreSQL 9.4.8 hingga 10.0

1. Unduh dan instal PostgreSQL dari source.

   1. Unduh kode sumber PostgreSQL untuk versi Anda dari situs resmi PostgreSQL.

   2. Jalankan perintah berikut untuk mengonfigurasi, mengompilasi, dan menginstal:

   Penting

   - Versi OS PostgreSQL harus sesuai dengan versi GNU Compiler Collection (GCC). - Jika sudo ./configure gagal dengan pesan readline library not found. Use --without-readline to disable readline support., jalankan sudo ./configure --without-readline sebagai gantinya. - Jika Anda menggunakan metode instalasi lain, kompilasi plugin ali_decoding di lingkungan pengujian dengan OS dan versi GCC yang sama.

   sudo ./configure
   sudo make
   sudo make install

2. Unduh, kompilasi, dan instal plugin ali_decoding yang disediakan oleh DTS.

   1. Salin file output ke direktori yang diperlukan.

   # contrib/ali_decoding/Makefile
   MODULE_big = ali_decoding
   MODULES = ali_decoding
   OBJS    = ali_decoding.o
   
   DATA = ali_decoding--0.0.1.sql ali_decoding--unpackaged--0.0.1.sql
   
   EXTENSION = ali_decoding
   
   NAME = ali_decoding
   
   #subdir = contrib/ali_decoding
   #top_builddir = ../..
   #include $(top_builddir)/src/Makefile.global
   #include $(top_srcdir)/contrib/contrib-global.mk
   
   #PG_CONFIG = /usr/pgsql-9.6/bin/pg_config
   #pgsql_lib_dir := $(shell $(PG_CONFIG) --libdir)
   #PGXS := $(shell $(PG_CONFIG) --pgxs)
   #include $(PGXS)
   
   # Jalankan perintah berikut untuk menginstal plug-in ali_decoding:
   ifdef USE_PGXS
   PG_CONFIG = pg_config
   PGXS := $(shell $(PG_CONFIG) --pgxs)
   include $(PGXS)
   else
   subdir = contrib/ali_decoding
   top_builddir = ../..
   include $(top_builddir)/src/Makefile.global
   include $(top_srcdir)/contrib/contrib-global.mk
   endif

   sudo make
   sudo make install

   

   

3. Buat database dan skema target di klaster tujuan agar sesuai dengan objek sumber yang akan dimigrasikan.

Langkah 1: Buka halaman Data Migration

Langkah 2: Konfigurasi database sumber dan tujuan

1. Klik Create Task.

2. Konfigurasikan database sumber dan tujuan.

   Peringatan

   Setelah memilih instans sumber dan tujuan, tinjau Limits yang ditampilkan di bagian atas halaman untuk menghindari masalah konfigurasi tugas.

   Database sumber (PostgreSQL yang dikelola sendiri di ECS)

   Parameter	Deskripsi
   Task Name	DTS menghasilkan nama secara otomatis. Tentukan nama deskriptif untuk mengidentifikasi tugas. Nama tugas tidak perlu unik.
   Select Existing Connection	Pilih instans terdaftar dari daftar drop-down, atau konfigurasi koneksi secara manual.
   Database Type	Pilih PostgreSQL.
   Access Method	Pilih lokasi penerapan database sumber. Contoh ini menggunakan Self-managed Database on ECS. Untuk metode akses lainnya, lihat Persiapan.
   Instance Region	Wilayah tempat database PostgreSQL sumber berada.
   ECS Instance ID	ID instans ECS yang meng-host database sumber.
   Port Number	Port layanan. Default: 5432.
   Database Name	Nama database yang berisi objek yang akan dimigrasikan.
   Database Account	Akun database sumber. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.
   Encryption	Pilih Non-encrypted atau SSL-encrypted. Untuk SSL: unggah CA Certificate (wajib), dan opsional Client Certificate, Private Key of Client Certificate, dan Private Key Password of Client Certificate.

   Database tujuan (PolarDB for PostgreSQL)

   Parameter	Deskripsi
   Select Existing Connection	Pilih instans terdaftar dari daftar drop-down, atau konfigurasi koneksi secara manual.
   Database Type	Pilih PolarDB for PostgreSQL.
   Access Method	Pilih Alibaba Cloud Instance.
   Instance Region	Wilayah tempat klaster PolarDB for PostgreSQL tujuan berada.
   Instance ID	ID klaster PolarDB for PostgreSQL tujuan.
   Database Name	Nama database tujuan untuk menerima objek yang dimigrasikan.
   Database Account	Akun database tujuan. Lihat Izin yang diperlukan.
   Database Password	Kata sandi untuk akun database.

3. Klik Test Connectivity and Proceed.

   - Blok CIDR server DTS harus ditambahkan ke pengaturan keamanan database sumber dan tujuan. Lihat Tambahkan alamat IP server DTS ke daftar putih. - Jika database sumber atau tujuan dikelola sendiri dan Access Method bukan Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Langkah 3: Pilih objek migrasi dan konfigurasi pengaturan lanjutan

1. Di halaman Configure Objects, konfigurasikan pengaturan migrasi.

   - Jika Schema Migration tidak dipilih, buat database dan tabel target di tujuan sebelum memulai, dan aktifkan pemetaan nama objek di Selected Objects. - Jika tabel berisi kolom SERIAL dan Schema Migration dipilih, pilih juga Sequence atau migrasikan seluruh skema.

   Parameter	Deskripsi
   Migration Types	Pilih jenis migrasi sesuai skenario Anda. Untuk detail, lihat Pilih jenis migrasi.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: gagal dalam pemeriksaan awal jika sumber dan tujuan memiliki tabel dengan nama identik. Gunakan pemetaan nama objek untuk menyelesaikan konflik sebelum migrasi. Ignore Errors and Proceed: melewati pemeriksaan konflik. Selama migrasi penuh, DTS mempertahankan catatan tujuan yang sudah ada. Selama migrasi inkremental, DTS menimpa catatan tujuan. Jika skema berbeda, hanya kolom yang cocok yang dimigrasikan atau tugas gagal.
   Source Objects	Pilih skema atau tabel yang akan dimigrasikan. Klik ikon panah untuk menambahkannya ke Selected Objects. Jika Anda memilih tabel, DTS tidak memigrasikan view, trigger, atau stored procedure.
   Selected Objects	Klik kanan objek untuk mengganti namanya (lihat Pemetaan nama objek tunggal), atur kondisi filter WHERE, atau pilih operasi SQL yang akan dimigrasikan. Klik Batch Edit untuk mengganti nama beberapa objek sekaligus (lihat Pemetaan nama beberapa objek sekaligus). Mengganti nama objek dapat menyebabkan objek dependen gagal dimigrasikan.

2. Klik Next: Advanced Settings dan konfigurasikan opsi lanjutan.

   Parameter	Deskripsi
   Dedicated Cluster for Task Scheduling	Secara default, DTS menjadwalkan tugas ke kluster bersama. Untuk stabilitas yang lebih baik, beli kluster khusus. Lihat Apa itu kluster khusus DTS.
   Retry Time for Failed Connections	Berapa lama DTS mencoba kembali saat koneksi gagal. Rentang: 10–1.440 menit. Default: 720. Atur lebih dari 30 menit. Jika koneksi berhasil dalam jangka waktu ini, DTS melanjutkan tugas; jika tidak, tugas berhenti. Jika beberapa tugas berbagi sumber atau tujuan yang sama, nilai yang paling baru diatur berlaku. Biaya DTS tetap berjalan selama percobaan ulang.
   Retry Time for Other Issues	Berapa lama DTS mencoba kembali saat terjadi kegagalan DDL atau DML. Rentang: 1–1.440 menit. Default: 10. Atur lebih dari 10 menit. Harus kurang dari Retry Time for Failed Connections.
   Enable Throttling for Full Data Migration	Membatasi kecepatan migrasi penuh untuk mengurangi beban pada sumber dan tujuan. Konfigurasikan QPS (Queries Per Second) to the source database, RPS (Rows Per Second) migrasi data penuh, dan Data migration speed for full migration (MB/s). Tersedia hanya jika Full Data Migration dipilih.
   Enable Throttling for Incremental Data Migration	Membatasi kecepatan migrasi inkremental. Konfigurasikan RPS of Incremental Data Migration dan Data migration speed for incremental migration (MB/s). Tersedia hanya jika Incremental Data Migration dipilih.
   Environment Tag	Opsional. Beri label lingkungan pada instans.
   Configure ETL	Aktifkan ekstrak, transformasi, dan muat (ETL) untuk menerapkan aturan pemrosesan data selama migrasi. Pilih Yespengaturan pemberitahuan peringatan untuk memasukkan pernyataan di editor kode. Lihat Konfigurasi ETL dalam tugas migrasi data atau sinkronisasi data.
   Monitoring and Alerting	Pilih Yes untuk menerima peringatan saat tugas gagal atau latensi migrasi melebihi ambang batas. Konfigurasikan ambang batas peringatan dan kontak notifikasi. Lihat Konfigurasi pemantauan dan peringatan saat membuat tugas DTS.

3. Klik Next Step: Data Verification untuk mengonfigurasi tugas verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.

Langkah 4: Jalankan pemeriksaan awal dan beli instans

1. Klik Next: Save Task Settings and Precheck.

   • Untuk melihat pratinjau parameter API sebelum menyimpan, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

   - DTS menjalankan pemeriksaan awal sebelum tugas migrasi dimulai. Tugas tidak dapat dimulai sampai pemeriksaan awal berhasil. - Untuk item pemeriksaan awal yang gagal, klik View Details untuk melihat penyebabnya, perbaiki, lalu jalankan kembali pemeriksaan awal. - Untuk peringatan pemeriksaan awal: jika peringatan tidak dapat diabaikan, perbaiki masalah dan jalankan kembali pemeriksaan awal. Jika peringatan dapat diabaikan, klik Confirm Alert Details > Ignore > OK > Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

2. Saat Success Rate mencapai 100%, klik Next: Purchase Instance.

3. Di halaman Purchase Instance, konfigurasikan instans.

   Parameter	Deskripsi
   Resource Group	Kelompok sumber daya untuk instans migrasi. Default: default resource group. Lihat Apa itu Resource Management?
   Instance Class	Kelas instans menentukan kecepatan migrasi. Pilih berdasarkan beban kerja Anda. Lihat Kelas instans migrasi data.

4. Pilih kotak centang Data Transmission Service (Pay-as-you-go) Service Terms.

5. Klik Buy and Start, lalu klik OK di dialog konfirmasi.

Langkah 5: Pantau progres migrasi

Buka halaman Data Migration untuk memantau tugas.

• Hanya migrasi penuh: tugas berhenti otomatis saat selesai. Status menunjukkan Completed.

• Migrasi penuh + inkremental: tugas berjalan terus-menerus. Status menunjukkan Running. Migrasi inkremental tidak berhenti sampai Anda melepaskannya secara manual.

Kapan harus beralih (migrasi inkremental)

Lakukan peralihan saat database sumber tidak menerima penulisan baru dan latensi migrasi mencapai 0. Verifikasi hal-hal berikut sebelum beralih:

Langkah-langkah peralihan

1. Hentikan penulisan ke database sumber.

2. Tunggu hingga latensi migrasi inkremental mencapai 0.

3. Perbarui nilai sequence di database tujuan. Lihat Perbarui nilai sequence di database tujuan.

4. Hentikan atau lepaskan tugas migrasi DTS untuk mencegahnya dilanjutkan dan menimpa data tujuan.

5. Alihkan string koneksi aplikasi Anda ke klaster tujuan.