Data Transmission Service:Sinkronisasi PolarDB-X 1.0 ke AnalyticDB for PostgreSQL

Persyaratan database sumber

• Tabel harus memiliki kendala PRIMARY KEY atau UNIQUE, dan semua bidang dalam kendala tersebut harus unik. Tanpa ini, database tujuan mungkin berisi catatan duplikat.

  • Tabel yang hanya memiliki kendala UNIQUE tidak mendukung sinkronisasi skema. Gunakan tabel dengan kendala PRIMARY KEY jika memungkinkan.

  • Tabel dengan indeks sekunder tidak dapat disinkronkan.

• Jika Anda memilih tabel sebagai objek dan berencana mengganti nama tabel atau kolom di tujuan, satu tugas dapat menyinkronkan hingga 5.000 tabel. Melebihi batas ini menyebabkan error permintaan. Bagi pekerjaan menjadi beberapa tugas, atau lakukan sinkronisasi pada tingkat database.

• Parameter binlog_row_image dari instans ApsaraDB RDS for MySQL yang terhubung harus diatur ke full. Jika tidak, pemeriksaan awal gagal dan tugas tidak dapat dimulai.

• Retensi log biner: Jika periode retensi terlalu singkat, DTS mungkin gagal membaca log biner, yang dapat menyebabkan kegagalan tugas atau ketidakkonsistenan data. Perjanjian tingkat layanan (SLA) DTS tidak mencakup kegagalan yang disebabkan oleh retensi log biner yang tidak mencukupi.

  • Incremental data synchronization only: Simpan log biner selama minimal 24 jam.

  • Sinkronisasi data penuh + sinkronisasi data inkremental: Pertahankan log biner setidaknya selama 7 hari. Setelah sinkronisasi data penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam.

Pembatasan selama sinkronisasi

• Jika Anda mengubah jenis jaringan instans PolarDB-X 1.0 selama sinkronisasi, perbarui pengaturan koneksi jaringan tugas DTS agar sesuai.

• Jangan melakukan penskalaan kapasitas instans sumber, mengubah distribusi database fisik dan tabel, mengubah kunci shard, atau melakukan operasi DDL pada instans sumber. Tindakan ini dapat menyebabkan tugas gagal atau menghasilkan data yang tidak konsisten.

• Jangan menyinkronkan tabel yang sering diakses selama jam sibuk.

Batasan lainnya

• Tabel tujuan tidak boleh merupakan tabel append-optimized (AO).

• Tipe data berikut tidak didukung: GEOMETRY, CURVE, SURFACE, MULTIPOINT, MULTILINESTRING, MULTIPOLYGON, GEOMETRYCOLLECTION.

• Jika pemetaan kolom digunakan, atau jika skema sumber dan tujuan berbeda, data di kolom sumber yang tidak ada di tujuan akan hilang.

• Instans read-only pada lapisan komputasi PolarDB-X 1.0 tidak didukung.

• PolarDB-X 1.0 hanya mendukung pemisahan horizontal (berdasarkan database dan tabel). Pemisahan vertikal tidak didukung.

• Ketika DTS menyinkronkan instans PolarDB-X 1.0, data didistribusikan ke instans ApsaraDB RDS for MySQL yang terhubung dan menjalankan satu subtugas per instans. Status subtugas muncul di Task Topology.

Dampak performa

Selama sinkronisasi data penuh awal, DTS membaca dari sumber dan menulis ke tujuan secara bersamaan. Hal ini meningkatkan beban pada kedua database. Jadwalkan sinkronisasi data penuh selama jam sepi.

Setelah sinkronisasi data penuh awal selesai, operasi INSERT bersamaan menyebabkan fragmentasi tabel di tujuan. Ruang tabel yang digunakan di database tujuan akan lebih besar daripada di sumber.

Untuk mencegah ketidakkonsistenan data, hindari menulis ke database tujuan dari proses lain selama tugas DTS sedang berjalan.

Langkah 1: Buka halaman Sinkronisasi Data

Gunakan salah satu konsol berikut:

Langkah 2: Buat tugas

Klik Create Task untuk membuka wizard tugas.

Pengaturan tugas

Database sumber

Database tujuan

Langkah 3: Uji konektivitas

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud dan ke aturan grup keamanan instans Elastic Compute Service (ECS) yang menghosting database yang dikelola sendiri. Untuk database di pusat data atau penyedia cloud pihak ketiga, tambahkan blok CIDR secara manual. Lihat Tambahkan blok CIDR server DTS.

Langkah 4: Konfigurasi objek dan opsi sinkronisasi

Synchronization types

Pilih fase mana yang akan dijalankan:

Secara default, Incremental Data Synchronization telah dipilih. Anda juga harus memilih Schema Synchronization dan Full Data Synchronization untuk mendapatkan pipeline sinkronisasi lengkap dan berkelanjutan.

Mode pemrosesan untuk tabel yang bentrok

Pengaturan tingkat objek lainnya

Langkah 5: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings.

Langkah 6: (Opsional) Konfigurasi bidang tabel untuk AnalyticDB for PostgreSQL

Jika Anda memilih Schema Synchronization, klik Next: Configure Database and Table Fields untuk menentukan cara pembuatan tabel di tujuan.

Atur Definition Status ke All untuk melihat dan mengubah semua tabel.

Langkah 7: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat parameter API untuk konfigurasi tugas ini sebelum menyimpan, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.

DTS menjalankan pemeriksaan awal sebelum memulai tugas. Hasil pemeriksaan awal terbagi menjadi dua kategori:

• Gagal: Item pemeriksaan menghalangi tugas untuk dimulai. Perbaiki masalah tersebut lalu klik Precheck Again.

• Peringatan: Tugas dapat dilanjutkan, tetapi masalah tersebut mungkin memengaruhi data atau bisnis Anda. Tinjau setiap item peringatan dan putuskan apakah akan menyelesaikannya atau mengakui dan melanjutkan: Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

  • Untuk menyelesaikan: perbaiki masalah, lalu klik Precheck Again.

  • Untuk mengakui: klik Confirm Alert Details, lalu klik Ignore di kotak dialog, klik OK, lalu klik Precheck Again.

Langkah 8: Beli dan mulai instans

Ketika Success Rate mencapai 100%, klik Next: Purchase Instance.

Di halaman buy, konfigurasikan instans:

Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di kotak dialog konfirmasi, klik OK.

Tugas muncul di daftar tugas. Pantau perkembangannya dari sana.