Data Transmission Service:Sinkronisasi data dari instans ApsaraDB RDS for PostgreSQL ke instans AnalyticDB for PostgreSQL

Persyaratan tabel dan skema

• Tabel harus memiliki PRIMARY KEY atau kendala UNIQUE dengan semua bidang unik. Tanpa ini, database tujuan mungkin berisi catatan duplikat.

  Catatan

  Jika Anda membuat tabel tujuan di luar DTS (tanpa memilih Schema Synchronization untuk Synchronization Types), pastikan tabel tujuan memiliki PRIMARY KEY atau kendala NOT NULL UNIQUE yang sama dengan tabel sumber.

• Hanya tabel yang dapat dipilih sebagai objek sinkronisasi — bukan view, fungsi, atau jenis objek lainnya.

• Satu tugas hanya dapat menyinkronkan data dari satu database. Untuk menyinkronkan beberapa database, buat tugas terpisah untuk masing-masing.

• Tabel dengan hubungan pewarisan lintas skema tidak dapat disinkronkan.

• Tabel tujuan tidak boleh merupakan tabel append-optimized (AO).

• DTS tidak menyinkronkan tipe data berikut: VARBIT, GEOMETRY, UUID, TSQUERY, TSVECTOR, dan TXID_SNAPSHOT.

Pemetaan kolom dan perbedaan skema

• Jika Anda menggunakan pemetaan kolom untuk sinkronisasi non-seluruh-tabel, atau jika skema tabel sumber dan tujuan berbeda, data di kolom yang ada di sumber tetapi tidak di tujuan akan hilang.

• Jika Anda mengganti nama tabel atau kolom di database tujuan menggunakan fitur pemetaan nama objek, menyinkronkan lebih dari 5.000 tabel dalam satu tugas menyebabkan error permintaan. Untuk tabel yang melebihi 5.000, konfigurasikan beberapa tugas atau sinkronkan seluruh database.

Persyaratan log WAL

Database sumber harus memenuhi persyaratan pencatatan log terlebih dahulu (WAL) berikut:

• Atur wal_level ke logical.

• Untuk sinkronisasi inkremental saja: simpan log WAL selama lebih dari 24 jam.

• Untuk sinkronisasi penuh plus inkremental: simpan log WAL minimal 7 hari. Setelah sinkronisasi penuh selesai, Anda dapat mengatur periode retensi menjadi lebih dari 24 jam.

Kegagalan memenuhi persyaratan ini dapat menyebabkan DTS gagal memperoleh log WAL, sehingga tugas gagal atau, dalam kasus luar biasa, terjadi inkonsistensi atau kehilangan data.

Batasan runtime

• Jangan mengeksekusi pernyataan DDL selama sinkronisasi skema atau sinkronisasi data penuh. Melakukannya akan menyebabkan tugas gagal.

• Jika Anda menambahkan tabel ke skema yang disinkronkan atau mengganti nama tabel menggunakan RENAME, eksekusi ALTER TABLE schema.table REPLICA IDENTITY FULL; sebelum menulis data ke tabel. Ini mencegah inkonsistensi data. Lakukan operasi ini selama jam sepi untuk menghindari deadlock.

  Catatan

  Ganti schema dan table dengan nama skema dan nama tabel yang sebenarnya.

• Jangan menghapus tabel sementara yang dibuat oleh DTS di database sumber: public.dts_pg_class, public.dts_pg_attribute, public.dts_pg_type, public.dts_pg_enum, public.dts_postgres_heartbeat, public.dts_ddl_command, public.dts_args_session, dan public.aliyun_dts_instance. DTS secara otomatis menghapus tabel-tabel ini saat instans dilepas.

• Transaksi berdurasi panjang di database sumber dapat menyebabkan akumulasi log WAL dan menghabiskan disk space.

• Jika database sumber menjalani peningkatan versi utama saat tugas sedang berjalan, tugas akan gagal dan tidak dapat dipulihkan. Konfigurasi ulang tugas tersebut.

• Satu perubahan data inkremental tidak boleh melebihi 256 MB. Jika melebihi, tugas akan gagal dan tidak dapat dipulihkan. Konfigurasi ulang tugas tersebut.

Slot replikasi

DTS membuat slot replikasi dengan awalan dts_sync_ di database sumber. Slot ini menyimpan log inkremental dari 15 menit terakhir.

DTS juga menambahkan tabel heartbeat bernama dts_postgres_heartbeat ke database sumber untuk melacak latensi sinkronisasi.

Batasan khusus sumber

ApsaraDB RDS for PostgreSQL:

• Jangan mengubah titik akhir atau zona instans RDS for PostgreSQL sumber saat tugas sedang berjalan. Melakukannya akan menyebabkan tugas gagal.

• Untuk melakukan alih bencana primary/secondary pada instans sumber, aktifkan fitur Logical Replication Slot Failover terlebih dahulu. Lihat Logical Replication Slot Failover.

PostgreSQL yang dikelola sendiri:

• Atur max_wal_senders dan max_replication_slots ke nilai yang lebih besar daripada jumlah slot replikasi yang sudah ada ditambah jumlah instans DTS yang akan dibuat.

• Alih bencana primary/secondary pada database PostgreSQL yang dikelola sendiri menyebabkan tugas gagal.

Google Cloud SQL for PostgreSQL:

• Atur parameter Database Account ke akun dengan izin cloudsqlsuperuser. Saat memilih objek untuk disinkronkan, pilih hanya objek yang dikelola oleh akun tersebut, atau berikan izin OWNER pada objek tersebut kepada akun tersebut.

  Catatan

  Akun dengan izin cloudsqlsuperuser tidak dapat mengelola data yang dimiliki oleh akun lain dengan izin yang sama.

Konsistensi data

• Evaluasi dampak terhadap kinerja database sumber dan tujuan sebelum memulai tugas. Jalankan tugas selama jam sepi.

• Selama sinkronisasi data penuh, operasi INSERT konkuren menyebabkan fragmentasi tabel di database tujuan, sehingga ruang tabel tujuan mungkin lebih besar daripada sumber setelah sinkronisasi penuh selesai.

• Inkonsistensi data terjadi jika data dari sumber selain DTS ditulis ke database tujuan selama sinkronisasi. Jika Anda menggunakan Data Management (DMS) untuk melakukan operasi DDL Online sementara sumber lain menulis ke tujuan, kehilangan data mungkin terjadi.

• Jika Anda hanya menggunakan DTS untuk menulis data ke tujuan, gunakan DMS untuk melakukan operasi DDL Online pada tabel sumber selama sinkronisasi. Lihat Ubah skema tanpa mengunci tabel.

Pemulihan tugas

Jika tugas DTS gagal, dukungan teknis DTS mencoba memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas (bukan parameter database) mungkin dimodifikasi. Untuk detail parameter yang mungkin berubah, lihat bagian Modifikasi parameter instans di Modifikasi parameter instans DTS.

Langkah 1: Buka Tugas Sinkronisasi Data

1. Masuk ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik Data + AI.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

   Catatan

   • Navigasi dapat berbeda tergantung mode dan tata letak Konsol DMS. Lihat Mode simple dan Sesuaikan tata letak dan gaya Konsol DMS.

   • Anda juga dapat langsung membuka halaman Tugas Sinkronisasi Data di Konsol DTS baru.

Langkah 2: Buat tugas

1. Di sisi kanan Data Synchronization Tasks, pilih wilayah tempat instans sinkronisasi akan berada.

   Catatan

   Di Konsol DTS baru, pilih wilayah di bilah navigasi atas.

2. Klik Create Task.

3. (Opsional) Klik New Configuration Page di pojok kanan atas.

   Catatan

   • Lewati langkah ini jika tombol Back to Previous Version yang ditampilkan.

   • Gunakan halaman konfigurasi baru — beberapa parameter berbeda antar versi.

Langkah 3: Konfigurasi database sumber dan tujuan

Konfigurasikan parameter berikut:

Nama tugas

Database sumber

Database tujuan

Langkah 4: Uji konektivitas

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud dan aturan grup keamanan database yang dihosting di ECS. Untuk database yang dikelola sendiri di pusat data atau platform cloud pihak ketiga, tambahkan secara manual blok CIDR server DTS ke daftar putih database. Lihat Blok CIDR server DTS.

Langkah 5: Konfigurasi objek sinkronisasi

Konfigurasi objek dan penanganan konflik

Parameter	Deskripsi
DDL and DML Operations to Be Synchronized	Operasi SQL yang akan disinkronkan. Untuk mengonfigurasi per tabel, klik kanan objek di Selected Objects dan pilih operasinya. Lihat Operasi SQL yang mendukung sinkronisasi inkremental.
Processing Mode of Conflicting Tables	Precheck and Report Errors: gagal dalam pemeriksaan awal jika tabel tujuan memiliki nama yang sama dengan tabel sumber. Gunakan pemetaan nama objek untuk menyelesaikan konflik. Ignore Errors and Proceed: melewati pemeriksaan konflik nama. Selama sinkronisasi penuh, catatan tujuan yang sudah ada dengan kunci primer atau unik yang cocok dipertahankan; selama sinkronisasi inkremental, catatan tersebut ditimpa. Jika skema berbeda, inisialisasi mungkin sebagian gagal.
Capitalization of Object Names in Destination Instance	Cara DTS menangani kapitalisasi nama database, tabel, dan kolom di tujuan. Default adalah DTS default policy. Lihat Tentukan kapitalisasi nama objek di instans tujuan.
Source Objects	Pilih objek dari bagian ini dan klik untuk menambahkannya ke Selected Objects. Granularitas yang dapat dipilih: kolom, tabel, atau skema.
Selected Objects	Klik kanan tabel untuk mengganti namanya, mengatur filter data, atau mengonfigurasi operasi SQL per tabel. Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit. Lihat Pemetaan nama objek dan Atur kondisi filter.

Catatan

Mengganti nama objek menggunakan pemetaan nama objek dapat menyebabkan objek dependen gagal disinkronkan.

Langkah 6: Simpan pengaturan dan jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Langkah 7: Beli dan mulai instans

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman pembelian, konfigurasikan hal berikut:

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di dialog konfirmasi, klik OK.

Tugas muncul di daftar tugas. Anda dapat memantau progresnya di sana.