Data Transmission Service:Sinkronisasi data dari instans PolarDB-X 2.0 ke kluster PolarDB for MySQL

Database sumber

• Tabel yang akan disinkronkan harus memiliki kendala PRIMARY KEY atau UNIQUE dengan semua field bernilai unik. Jika tidak, database tujuan mungkin berisi catatan duplikat.

• Jika Anda memilih tabel sebagai objek yang akan disinkronkan dan perlu mengganti nama tabel atau kolom di tujuan, satu tugas dapat menyinkronkan hingga 5.000 tabel. Untuk menyinkronkan lebih dari 5.000 tabel, konfigurasikan beberapa tugas atau lakukan sinkronisasi pada tingkat database.

• Persyaratan retensi log biner:

  • Hanya sinkronisasi data inkremental: pertahankan log biner minimal selama 24 jam.

  • Sinkronisasi data penuh + sinkronisasi data inkremental: pertahankan log biner minimal selama tujuh hari selama proses sinkronisasi penuh. Setelah sinkronisasi penuh selesai, Anda dapat mengurangi periode retensi menjadi lebih dari 24 jam. Jika tidak, DTS mungkin gagal memperoleh log biner dan tugas bisa gagal. Dalam kondisi luar biasa, ketidakkonsistenan atau kehilangan data dapat terjadi. Pastikan Anda mengatur periode retensi log biner sesuai dengan persyaratan di atas. Jika tidak, keandalan layanan dan kinerja yang dinyatakan dalam Perjanjian Tingkat Layanan (SLA) DTS tidak dapat tercapai.

• Nama tabel yang mengandung huruf kapital hanya mendukung sinkronisasi skema.

• Objek TABLEGROUP serta database atau skema dengan atribut Locality tidak didukung.

• Selama sinkronisasi skema dan sinkronisasi data penuh, jangan menjalankan pernyataan DDL yang mengubah skema database atau tabel. Melakukannya akan menyebabkan tugas gagal.

Perilaku kunci asing

• Selama sinkronisasi skema, DTS menyinkronkan kunci asing dari sumber ke tujuan.

• Selama sinkronisasi penuh dan inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat session. Jika Anda menjalankan operasi pembaruan atau penghapusan kaskade pada sumber selama sinkronisasi, ketidakkonsistenan data dapat terjadi.

Batasan lainnya

• Jalankan sinkronisasi selama jam sepi. Sinkronisasi data penuh mengonsumsi sumber daya baca dan tulis pada kedua database dan meningkatkan beban pada server database.

• Setelah sinkronisasi data penuh, ruang tabel tujuan lebih besar daripada sumber karena operasi INSERT konkuren selama sinkronisasi penuh menciptakan fragmentasi.

• Jangan gunakan pt-online-schema-change untuk operasi DDL pada objek yang disinkronkan. Melakukannya dapat menyebabkan sinkronisasi gagal.

• Selama sinkronisasi, tulis data ke tujuan hanya melalui DTS. Menggunakan alat lain untuk menulis data ke tujuan, dikombinasikan dengan operasi DDL Online DMS, dapat menyebabkan kehilangan data.

• Jika pernyataan DDL gagal dieksekusi di tujuan, DTS tetap menjalankan pernyataan tersebut. Periksa pernyataan DDL yang gagal di log tugas.

• Nama kolom MySQL tidak peka huruf besar/kecil. Jika sumber memiliki kolom yang namanya hanya berbeda dalam kapitalisasi, datanya ditulis ke kolom tujuan yang sama, sehingga menghasilkan keluaran yang tidak diharapkan.

• Jika data yang akan disinkronkan mengandung karakter empat byte (seperti karakter langka atau emoji), tabel tujuan harus menggunakan set karakter UTF8mb4. Jika Anda menggunakan sinkronisasi skema, atur parameter character_set_server di tujuan ke UTF8mb4.

• Setelah sinkronisasi selesai (status berubah menjadi Completed), jalankan analyze table <Nama Tabel> untuk memverifikasi bahwa data telah ditulis dengan benar. Misalnya, alih bencana ketersediaan tinggi (HA) di sumber mungkin menyisakan data hanya di memori, sehingga menyebabkan kehilangan data.

• Jika tugas DTS gagal, dukungan teknis DTS akan berupaya memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas mungkin dimodifikasi (parameter database tidak dimodifikasi). Parameter yang mungkin dimodifikasi mencakup, namun tidak terbatas pada, parameter dalam bagian Modifikasi parameter instans pada topik Modifikasi parameter instans DTS.

• DTS memperbarui tabel dts_health_check.ha_health_check di database sumber secara berkala untuk memajukan posisi file log biner.

Langkah 1: Buka halaman Tugas Sinkronisasi Data

1. Masuk ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik Data + AI.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

Langkah 2: Pilih wilayah

Di sisi kanan Tugas Sinkronisasi Data, pilih wilayah tempat instans sinkronisasi berada.

Langkah 3: Konfigurasi database sumber dan tujuan

Klik Create Task. Di wizard Create Data Synchronization Task, konfigurasikan parameter berikut.

Task Name

Source Database

Destination Database

Langkah 4: Uji konektivitas

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud dan ke aturan grup keamanan instans Elastic Compute Service (ECS) yang menghosting database yang dikelola sendiri. Jika database dideploy pada beberapa instans ECS, Anda harus menambahkan blok CIDR server DTS secara manual ke aturan grup keamanan setiap instans ECS. Untuk database yang dikelola sendiri di pusat data atau penyedia cloud pihak ketiga, tambahkan blok CIDR server DTS secara manual ke daftar putih database. Untuk informasi selengkapnya, lihat Tambahkan blok CIDR server DTS.

Langkah 5: Pilih objek dan konfigurasi pengaturan

Konfigurasikan parameter berikut.

Jenis sinkronisasi

Penanganan tabel bentrok

Objek yang akan disinkronkan

Pilih objek dari bagian Source Objects, lalu klik ikon untuk memindahkannya ke bagian Selected Objects. Anda dapat memilih kolom, tabel, atau database. Jika Anda memilih tabel atau kolom, DTS tidak menyinkronkan view, trigger, atau prosedur tersimpan.

Di bagian Selected Objects:

• Untuk mengganti nama satu objek, klik kanan objek tersebut. Untuk informasi selengkapnya, lihat Pemetaan nama satu objek.

• Untuk mengganti nama beberapa objek sekaligus, klik Batch Edit di pojok kanan atas. Untuk informasi selengkapnya, lihat Pemetaan nama beberapa objek sekaligus.

• Untuk memfilter operasi SQL yang akan disinkronkan untuk objek tertentu, klik kanan objek tersebut dan pilih operasi yang diinginkan. Untuk operasi yang didukung, lihat Operasi SQL yang didukung.

• Untuk memfilter baris berdasarkan kondisi, klik kanan objek tersebut dan tentukan klausa WHERE. Untuk informasi selengkapnya, lihat Tentukan kondisi filter.

Langkah 6: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan parameter berikut.

Langkah 7: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

DTS menjalankan pemeriksaan awal sebelum tugas dimulai. Jika pemeriksaan awal gagal:

• Klik View Details di samping setiap item yang gagal, diagnosa masalahnya, selesaikan, lalu jalankan kembali pemeriksaan awal.

• Jika item peringatan dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 8: Beli instans

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter berikut.

Langkah 9: Mulai tugas

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di kotak dialog konfirmasi, klik OK.

Lacak progres tugas di daftar tugas.