Data Transmission Service:Konfigurasikan sinkronisasi data dua arah antara instans RDS PostgreSQL dan klaster PolarDB for PostgreSQL

Pencegahan sinkronisasi melingkar

Untuk mencegah perubahan berputar tak henti-hentinya, DTS membuat skema bernama dts di database sumber dan tujuan saat instansi sinkronisasi dua arah berjalan. DTS menggunakan skema ini untuk melacak perubahan mana yang berasal dari replikasi, sehingga perubahan tersebut tidak direplikasi ulang ke arah sebaliknya.

Jangan ubah skema dts selama tugas sedang berjalan.

Arah sinkronisasi DDL

Operasi DDL hanya disinkronkan dalam arah maju (sumber ke tujuan). Operasi DDL diabaikan dalam arah balik.

Aturan tugas maju dan balik

Ketika kedua tugas dikonfigurasi untuk menyinkronkan objek yang sama:

• Hanya satu tugas (biasanya tugas maju) yang dapat menyinkronkan data penuh dan data inkremental. Tugas lainnya hanya menyinkronkan data inkremental.

• Data yang disinkronkan oleh tugas maju tidak digunakan sebagai data sumber untuk tugas balik.

Batasan database sumber

Batasan lainnya

Untuk mengkueri nilai maksimum sequence di database sumber sebelum mengalihkan beban kerja:

do language plpgsql $$
declare
  nsp name;
  rel name;
  val int8;
begin
  for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S'
  loop
    execute format($_$select last_value from %I.%I$_$, nsp, rel) into val;
    raise notice '%',
    format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1);
  end loop;
end;
$$;

Pernyataan SQL yang dikembalikan mencakup semua sequence di database sumber. Jalankan hanya pernyataan yang relevan dengan kebutuhan Anda di database tujuan.

Kasus khusus

Langkah 1: Buka halaman Sinkronisasi Data

Gunakan salah satu metode berikut:

Langkah 2: Buat tugas

Klik Create Task untuk menuju halaman konfigurasi tugas.

Klik New Configuration Page di pojok kanan atas jika halaman menampilkan Back to Previous Version. Lewati langkah ini jika Back to Previous Version sudah ditampilkan.

Beberapa parameter berbeda antara versi halaman konfigurasi baru dan sebelumnya. Gunakan versi baru.

Langkah 3: Konfigurasikan database sumber dan tujuan

Langkah 4: Uji konektivitas dan lanjutkan

Klik Test Connectivity and Proceed di bagian bawah halaman.

Pastikan Blok CIDR server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan. Lihat Tambahkan Blok CIDR server DTS. Untuk database yang dikelola sendiri yang tidak diatur ke Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Langkah 5: Konfigurasikan objek yang akan disinkronkan

1. Pada langkah Configure Objects, atur parameter berikut:

   Parameter	Deskripsi
   Synchronization Types	Pilih Schema Synchronization, Full Data Synchronization, dan Incremental Data Synchronization. DTS pertama-tama menyinkronkan data historis sebagai dasar untuk sinkronisasi inkremental berikutnya.
   Synchronization Topology	Pilih Two-way Synchronization.
   Exclude DDL Operations	Pilih Yespengaturan pemberitahuan peringatan untuk mengecualikan sinkronisasi DDL, atau No untuk menyertakannya. Operasi DDL hanya disinkronkan dalam arah maju. Parameter ini hanya muncul saat mengonfigurasi tugas maju.
   Global Conflict Resolution Policy	Pilih kebijakan untuk menangani konflik. Lihat Dukungan deteksi konflik untuk detailnya. Kebijakan ini tidak berlaku selama jendela latensi saat Anda menjeda dan memulai ulang tugas — data di tujuan ditimpa secara default selama jendela tersebut.
   Processing Mode of Conflicting Tables	Precheck and Report Errors: pemeriksaan awal gagal jika tujuan berisi tabel dengan nama yang sama seperti tabel sumber. Gunakan Map object names untuk mengganti nama tabel tujuan jika tidak dapat dihapus atau diganti namanya. Ignore Errors and Proceed: melewati pemeriksaan awal untuk nama tabel yang identik. Selama sinkronisasi data penuh, catatan tujuan yang ada dengan kunci primer atau unik yang cocok dipertahankan. Selama sinkronisasi inkremental, catatan tersebut ditimpa. Jika skema berbeda, inisialisasi data mungkin gagal. Lanjutkan dengan hati-hati.
   Source Objects	Pilih objek dari bagian Source Objects dan klik ikon panah untuk memindahkannya ke bagian Selected Objects. Anda dapat memilih kolom, tabel, atau skema.
   Selected Objects	Klik kanan objek untuk mengganti namanya di tujuan (lihat Map object names), atur kondisi filter WHERE (lihat Tentukan kondisi filter), atau pilih operasi SQL mana yang akan disinkronkan untuk objek tersebut. Klik objek lalu klik ikon hapus untuk menghapusnya. Perhatikan bahwa mengganti nama objek dapat menyebabkan objek dependen gagal disinkronkan.

2. Klik Next: Advanced Settings dan konfigurasikan hal berikut:

   Parameter	Deskripsi
   Dedicated Cluster for Task Scheduling	Secara default, DTS menggunakan kluster bersama. Untuk meningkatkan stabilitas, beli kluster khusus. Lihat Apa itu kluster khusus DTS.
   Retry Time for Failed Connections	Rentang waktu untuk mencoba koneksi yang gagal setelah tugas dimulai. Nilai valid: 10–1.440 menit. Default: 720 menit. Atur lebih dari 30 menit. Jika DTS terhubung kembali dalam jendela ini, tugas dilanjutkan. Jika tidak, tugas gagal. Jika beberapa tugas berbagi database sumber atau tujuan yang sama, jendela retry terpendek yang berlaku. DTS menagih instansi selama percobaan ulang.
   Retry Time for Other Issues	Rentang waktu untuk mencoba ulang operasi DDL atau DML yang gagal. Nilai valid: 1–1.440 menit. Default: 10 menit. Atur lebih dari 10 menit. Nilai ini harus kurang dari Retry Time for Failed Connections.
   Enable Throttling for Full Data Synchronization	Batasi penggunaan sumber daya baca/tulis selama sinkronisasi data penuh. Konfigurasikan Queries per second (QPS) to the source database, RPS of Full Data Migration, dan Data migration speed for full migration (MB/s). Hanya tersedia jika Full Data Synchronization dipilih.
   Enable Throttling for Incremental Data Synchronization	Batasi penggunaan sumber daya selama sinkronisasi inkremental. Konfigurasikan RPS of Incremental Data Synchronization dan Data synchronization speed for incremental synchronization (MB/s).
   Environment Tag	Tag untuk mengidentifikasi instansi DTS. Opsional.
   Configure ETL	Pilih Yes untuk mengaktifkan ekstrak, transformasi, muat (ETL) dan masukkan pernyataan pemrosesan data. Pilih No untuk melewati. Lihat Apa itu ETL? dan Konfigurasikan ETL dalam tugas migrasi data atau sinkronisasi data.
   Monitoring and Alerting	Pilih Yes untuk menerima notifikasi saat tugas gagal atau latensi sinkronisasi melebihi ambang batas. Konfigurasikan ambang batas peringatan dan pengaturan notifikasi. Lihat Konfigurasikan pemantauan dan peringatan saat membuat tugas DTS. Pilih No untuk melewati.

3. Klik Next Step: Data Verification untuk mengonfigurasi verifikasi data. Untuk informasi selengkapnya, lihat Mengonfigurasi tugas verifikasi data.

Langkah 6: Simpan pengaturan dan jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck di bagian bawah halaman.

Untuk melihat pratinjau parameter API untuk tugas ini, arahkan pointer ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters sebelum melanjutkan.

DTS menjalankan pemeriksaan awal sebelum memulai tugas. Tugas hanya dimulai setelah pemeriksaan awal berhasil.

Jika pemeriksaan awal gagal, klik View Details di sebelah setiap item yang gagal, selesaikan masalahnya, lalu klik Precheck Again.

Jika pemeriksaan awal memicu peringatan:

Untuk peringatan yang tidak dapat diabaikan: klik View Details, perbaiki masalahnya, lalu jalankan ulang pemeriksaan awal.

Untuk peringatan yang dapat diabaikan: klik Confirm Alert Details > Ignore > OK > Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 7: Beli instansi sinkronisasi

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman buy, konfigurasikan hal berikut:

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di kotak dialog konfirmasi, klik OK.

Tugas muncul di daftar tugas. Anda dapat memantau perkembangannya di sana.

Langkah 8: Tunggu hingga tugas maju mulai berjalan

Tunggu hingga Status tugas sinkronisasi maju berubah menjadi Running dan sinkronisasi awal selesai.

Langkah 9: Konfigurasikan tugas sinkronisasi balik

1. Temukan tugas sinkronisasi balik di daftar tugas dan klik Configure Task di kolom Actions.

2. Konfigurasikan tugas balik dengan mengikuti Langkah 3–6. Terapkan batasan dari Perbedaan utama antara tugas maju dan balik:

   Penting

   - Tukar sumber dan tujuan: sumber untuk tugas balik adalah tujuan tugas maju (PolarDB for PostgreSQL), dan tujuan adalah sumber tugas maju (ApsaraDB RDS for PostgreSQL). - Instance Region tetap dan tidak dapat diubah. - Konfigurasikan hanya parameter yang muncul di Konsol — lebih sedikit parameter yang ditampilkan untuk tugas balik. - Tabel yang sudah disinkronkan ke tujuan oleh tugas maju dikecualikan dari pemeriksaan Processing Mode of Conflicting Tables dalam arah balik. - Jangan gunakan kembali objek yang dipilih dari tugas maju untuk tugas balik. - Hindari menggunakan fitur pemetaan nama objek — hal ini dapat menyebabkan ketidakkonsistenan data.

3. Tunggu hingga Success Rate mencapai 100%, lalu klik Back.

Langkah 10: Verifikasi sinkronisasi dua arah sedang berjalan

Tunggu hingga Status kedua tugas sinkronisasi maju dan balik berubah menjadi Running. Sinkronisasi data dua arah kini aktif.