Data Transmission Service:Konfigurasikan sinkronisasi data satu arah antar instans ApsaraDB RDS for PostgreSQL

Persyaratan database sumber

• Tabel harus memiliki PRIMARY KEY atau UNIQUE constraint, dengan semua field unik. Tanpa constraint ini, database tujuan mungkin berisi catatan duplikat.

  Jika Anda membuat tugas sinkronisasi tanpa memilih Schema Synchronization, tabel tujuan harus memiliki PRIMARY KEY atau constraint NOT NULL UNIQUE yang sama dengan tabel sumber. Jika tidak, catatan duplikat mungkin muncul.

• Jika Anda memilih tabel sebagai objek sinkronisasi dan ingin mengganti nama tabel atau kolom di tujuan, satu tugas mendukung maksimal 5.000 tabel. Untuk lebih dari 5.000 tabel, bagi beban kerja ke beberapa tugas atau lakukan sinkronisasi di tingkat database, bukan tingkat tabel.

• DTS tidak dapat menyinkronkan temporary tables, internal triggers, atau prosedur dan fungsi internal tertentu yang ditulis dalam C. DTS dapat menyinkronkan parameter kustom tipe COMPOSITE, ENUM, dan RANGE. Tabel harus memiliki constraint PRIMARY KEY, FOREIGN KEY, UNIQUE, atau CHECK.

• DTS membuat replication slot dengan awalan dts_sync_ pada database sumber, memberi DTS akses ke log inkremental dari 15 menit terakhir. Replication slot yang menumpuk dapat menghabiskan ruang disk. Atur alarm penggunaan disk pada instans sumber saat logical replication aktif. Perilaku pembersihan replication slot:

  • Setelah instans DTS dilepas, slot tersebut dihapus secara otomatis—kecuali jika Anda mengubah password database sumber atau menghapus alamat IP DTS dari daftar putih IP, dalam hal ini Anda harus menghapus slot tersebut secara manual.

  • Jika terjadi switchover primary/secondary pada sumber, login ke database secondary dan hapus slot tersebut secara manual.

• DTS membuat tabel temporary berikut di database sumber untuk menangkap pernyataan DDL, skema tabel inkremental, dan informasi heartbeat. Jangan menghapusnya selama sinkronisasi berjalan—tabel-tabel ini akan dihapus secara otomatis saat instans DTS dilepas: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session

• DTS menambahkan tabel heartbeat bernama dts_postgres_heartbeat ke database sumber untuk melacak latensi sinkronisasi secara akurat.

• Untuk melakukan switchover primary/secondary pada instans ApsaraDB RDS for PostgreSQL sumber tanpa mengganggu sinkronisasi, aktifkan fitur Logical Replication Slot Failover terlebih dahulu. Lihat Logical Replication Slot Failover.

• Jika satu perubahan data inkremental melebihi 256 MB, instans sinkronisasi yang sedang berjalan akan gagal dan tidak dapat dipulihkan—Anda harus mengonfigurasi ulang tugas tersebut.

• Selama Sinkronisasi skema dan migrasi data penuh, jangan jalankan pernyataan DDL yang mengubah skema database atau tabel. Tugas akan gagal jika Anda melakukannya.

• Jika database sumber memiliki transaksi jangka panjang selama Sinkronisasi data inkremental, log WAL yang dihasilkan sebelum transaksi tersebut dikomit dapat menumpuk dan menghabiskan ruang disk.

• Jika dilakukan peningkatan versi utama pada database sumber saat instans sinkronisasi sedang berjalan, instans tersebut akan gagal dan tidak dapat dipulihkan—Anda harus mengonfigurasi ulang tugas tersebut.

Persyaratan lainnya

• Satu tugas hanya menyinkronkan data dari satu database. Untuk menyinkronkan beberapa database, buat tugas terpisah untuk masing-masing.

• DTS tidak dapat menyinkronkan tabel yang memiliki hubungan inheritance lintas skema.

• Jika Anda memilih skema sebagai objek sinkronisasi, jalankan pernyataan berikut sebelum menulis data ke tabel baru atau berganti nama dalam skema tersebut:

  ALTER TABLE schema.table REPLICA IDENTITY FULL;

  Ganti schema dan table dengan nama aktual. Jalankan pernyataan ini selama jam sepi dan hindari mengunci tabel—menguncinya saat menjalankan pernyataan ini dapat menyebabkan deadlock.

• DTS tidak memvalidasi metadata seperti sequences. Periksa validitas sequence secara manual.

• Sebelum mengalihkan workload ke database tujuan, perbarui nilai awal sequences di tujuan. Setelah dialihkan, sequence yang baru ditulis tidak akan dilanjutkan dari nilai maksimum di sumber.

• Ketika akun tujuan adalah akun istimewa atau superuser dan tabel yang disinkronkan berisi foreign keys, triggers, atau event triggers, DTS sementara mengatur session_replication_role ke replica pada tingkat sesi. Jika akun tujuan tidak memiliki izin yang diperlukan, atur parameter ini ke replica secara manual. Operasi CASCADE UPDATE atau DELETE pada sumber selama periode ini dapat menyebabkan inkonsistensi data. Setelah tugas dilepas, atur kembali parameter ke origin.

• Menulis data dari sumber lain ke database tujuan selama sinkronisasi berjalan menyebabkan inkonsistensi data. Misalnya, menjalankan pernyataan DDL online dari DMS sambil sumber lain menulis ke database tujuan dapat menyebabkan kehilangan data.

• Jika tugas gagal, dukungan teknis DTS akan mencoba memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas (bukan parameter database) mungkin dimodifikasi.

Persyaratan untuk jenis database sumber tertentu

ApsaraDB RDS for PostgreSQL

Jangan mengubah endpoint atau zona instans sumber selama sinkronisasi berjalan. Hal ini akan menyebabkan tugas gagal.

Database PostgreSQL yang dikelola sendiri sebagai sumber

Nilai max_wal_senders dan max_replication_slots masing-masing harus lebih besar dari jumlah total replication slot yang sedang digunakan ditambah jumlah instans DTS yang direncanakan untuk database ini.

Sumber Cloud SQL for PostgreSQL (Google Cloud)

Atur Database Account ke akun dengan izin cloudsqlsuperuser. Saat memilih objek untuk disinkronkan, pilih hanya objek yang diizinkan dikelola oleh akun tersebut, atau berikan izin OWNER pada objek tersebut kepada akun tersebut.

Akun dengan izin cloudsqlsuperuser tidak dapat mengelola data yang dimiliki oleh akun lain dengan izin yang sama.

Langkah 1: Buka halaman sinkronisasi data

Gunakan Konsol DTS atau Konsol DMS.

Langkah 2: Buat tugas

1. Klik Create Task.

2. Jika halaman menampilkan tombol New Configuration Page di pojok kanan atas, klik tombol tersebut.

   Lewati langkah ini jika yang ditampilkan adalah Back to Previous Version. Halaman konfigurasi baru dan versi sebelumnya mungkin sedikit berbeda—gunakan versi baru.

Langkah 3: Konfigurasikan database sumber dan tujuan

Langkah 4: Uji konektivitas

Klik Test Connectivity and Proceed di bagian bawah halaman.

Blok CIDR server DTS harus ditambahkan ke pengaturan keamanan kedua database. Lihat Add the CIDR blocks of DTS servers. Jika salah satu database dikelola sendiri dan tidak diatur ke akses Alibaba Cloud Instance, klik Test Connectivity di dialog CIDR Blocks of DTS Servers.

Langkah 5: Konfigurasikan objek untuk disinkronkan

Pada langkah Configure Objects, atur parameter berikut:

Langkah 6: Konfigurasikan pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan hal berikut:

Langkah 7: Konfigurasikan verifikasi data (opsional)

Klik Next Step: Data Verification untuk mengatur verifikasi. Lihat Configure a data verification task.

Langkah 8: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke tombol lalu klik Preview OpenAPI parameters sebelum melanjutkan.

DTS menjalankan pemeriksaan awal sebelum tugas dapat dimulai. Jika pemeriksaan awal gagal:

• Klik View Details di samping setiap item yang gagal, selesaikan masalahnya, lalu klik Precheck Again.

• Jika suatu item menampilkan peringatan yang dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan inkonsistensi data.

Langkah 9: Beli dan mulai instans

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman pembelian, konfigurasikan hal berikut:

   Section	Parameter	Description
   New Instance Class	Billing Method	Subscription: Anda membayar untuk langganan saat membuat instans sinkronisasi data. Metode penagihan langganan lebih hemat biaya dibanding metode penagihan bayar sesuai pemakaian untuk penggunaan jangka panjang. Pay-as-you-go: Instans bayar sesuai penggunaan ditagih per jam. Metode penagihan bayar sesuai penggunaan cocok untuk penggunaan jangka pendek. Jika Anda tidak lagi memerlukan instans sinkronisasi data bayar sesuai penggunaan, Anda dapat melepas instans tersebut untuk mengurangi biaya.
   	Resource Group Settings	Kelompok sumber daya tempat instans sinkronisasi data berada. Nilai default: default resource group. Untuk informasi lebih lanjut, lihat What is Resource Management?
   	Instance Class	DTS menyediakan kelas instans dengan kecepatan sinkronisasi berbeda. Anda dapat memilih kelas instans sesuai kebutuhan bisnis. Untuk informasi lebih lanjut, lihat Instance classes of data synchronization instances.
   	Subscription Duration	Jika Anda memilih metode penagihan subscription, tentukan durasi langganan dan jumlah instans sinkronisasi data yang ingin dibuat. Durasi langganan dapat berupa satu hingga sembilan bulan, satu tahun, dua tahun, tiga tahun, atau lima tahun. Note Parameter ini hanya tersedia jika Anda memilih metode penagihan Subscription.

3. Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms.

4. Klik Buy and Start, lalu klik OK di dialog.

Lihat progres tugas di daftar tugas.