Data Transmission Service:Sinkronisasi data dari kluster PolarDB for MySQL ke instans RDS for MySQL

Persyaratan database sumber

• Tabel harus memiliki PRIMARY KEY atau kendala UNIK dengan semua field unik. Jika tidak, catatan duplikat mungkin muncul di tujuan. Jika tabel tidak memiliki keduanya, aktifkan fitur penulisan Exactly-Once saat mengonfigurasi instans sinkronisasi dua arah. Untuk informasi lebih lanjut, lihat Sinkronisasi tabel tanpa primary key atau kendala UNIK.

• Jika Anda memilih tabel sebagai objek sinkronisasi dan perlu mengganti nama tabel atau kolom di tujuan, satu tugas mendukung hingga 1.000 tabel. Untuk lebih dari 1.000 tabel, konfigurasikan beberapa tugas atau pilih seluruh database sebagai objek sinkronisasi.

• Untuk sinkronisasi data inkremental, binary logging harus diaktifkan dan parameter loose_polar_log_bin harus diatur ke on. Untuk informasi lebih lanjut, lihat Aktifkan binary logging dan Ubah parameter.

• Jangan mengeksekusi pernyataan DDL yang mengubah skema database atau tabel selama sinkronisasi skema atau sinkronisasi data penuh. Melakukannya menyebabkan tugas gagal.

Mengaktifkan binary logging pada kluster PolarDB for MySQL menimbulkan biaya penyimpanan untuk file log biner. Atur periode retensi log biner berdasarkan jenis tugas Anda: minimal 24 hours untuk sinkronisasi inkremental saja, atau minimal 7 hari untuk sinkronisasi penuh dan inkremental. Setelah sinkronisasi data penuh selesai, Anda dapat menyesuaikan periode retensi menjadi lebih dari 24 jam. Periode retensi yang tidak mencukupi dapat menyebabkan DTS gagal memperoleh log biner, yang berpotensi menyebabkan kegagalan tugas. Dalam kondisi luar biasa, ketidakkonsistenan atau kehilangan data dapat terjadi. Pastikan Anda mengonfigurasi periode retensi log biner sesuai persyaratan di atas. Jika tidak, keandalan atau kinerja layanan yang dinyatakan dalam Perjanjian Tingkat Layanan (SLA) DTS mungkin tidak dijamin.

Batasan objek sinkronisasi

• DTS tidak menyinkronkan node read-only dari kluster PolarDB for MySQL sumber.

• DTS tidak menyinkronkan tabel eksternal Object Storage Service (OSS) dari kluster sumber.

• Jika objek sinkronisasi mencakup data dengan karakter empat byte (seperti karakter langka atau emoji), tabel tujuan harus menggunakan set karakter UTF8mb4. Jika Anda menggunakan sinkronisasi skema, atur parameter character_set_server di database tujuan ke UTF8mb4.

• Nama kolom dalam database MySQL tidak peka huruf besar/kecil. Jika beberapa kolom di database sumber memiliki nama yang hanya berbeda dalam kapitalisasi, datanya ditulis ke kolom yang sama di tujuan, yang dapat menghasilkan hasil tak terduga.

Batasan operasi DDL

• Jangan gunakan pt-online-schema-change untuk melakukan operasi DDL pada tabel sumber selama sinkronisasi. Melakukannya menyebabkan tugas gagal.

• Jika tidak ada sumber data eksternal yang menulis ke database tujuan selama sinkronisasi, gunakan Data Management (DMS) untuk melakukan operasi DDL Online pada tabel sumber. Untuk informasi lebih lanjut, lihat Lakukan operasi DDL tanpa lock.

• Jika sumber data eksternal menulis ke database tujuan selama sinkronisasi dan Anda juga menjalankan pernyataan DDL Online, kehilangan data dapat terjadi di tujuan.

• Jika pernyataan DDL gagal dieksekusi di tujuan, tugas tetap berjalan. Tinjau pernyataan DDL yang gagal di log tugas. Untuk informasi lebih lanjut, lihat Lihat log tugas.

Aturan sinkronisasi dua arah

Instans sinkronisasi dua arah terdiri dari tugas maju dan tugas balik. Ketika suatu objek termasuk dalam kedua tugas:

• Hanya satu tugas yang dapat menyinkronkan data penuh dan data inkremental. Tugas lainnya hanya menyinkronkan data inkremental.

• Data yang disinkronkan oleh tugas saat ini tidak digunakan sebagai data sumber untuk tugas lainnya.

Catatan lainnya

• Setelah sinkronisasi selesai (status berubah menjadi Completed), jalankan analyze table <Nama Tabel> untuk memverifikasi integritas data. Dalam kasus seperti alih bencana ketersediaan tinggi (HA) di database sumber, data mungkin hanya ditulis ke memori, menyebabkan kehilangan data.

• Jika tugas DTS gagal, dukungan teknis DTS berupaya memulihkan tugas dalam waktu 8 jam. Selama pemulihan, tugas mungkin dimulai ulang dan parameter tugas mungkin diubah. Parameter database tidak diubah.

Selama sinkronisasi skema, DTS menyinkronkan kunci asing dari database sumber ke tujuan. Selama sinkronisasi data penuh dan sinkronisasi data inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat sesi. Melakukan operasi pembaruan atau penghapusan kaskade pada sumber selama sinkronisasi dapat menyebabkan ketidakkonsistenan data.

DTS mengeksekusi CREATE DATABASE IF NOT EXISTS \test\`` pada database sumber secara berkala untuk memajukan posisi file log biner.

Langkah 1: Buka halaman Tugas Sinkronisasi Data

1. Masuk ke Konsol Data Management (DMS).

2. Di bilah navigasi atas, klik Data + AI.

3. Di panel navigasi kiri, pilih DTS (DTS) > Data Synchronization.

Operasi dapat berbeda tergantung mode dan tata letak Konsol DMS. Untuk informasi lebih lanjut, lihat Mode simple dan Sesuaikan tata letak dan gaya Konsol DMS. Anda juga dapat langsung menuju halaman Tugas Sinkronisasi Data di Konsol DTS baru.

Langkah 2: Pilih wilayah

Di sisi kanan Tugas Sinkronisasi Data, pilih wilayah tempat instans sinkronisasi data berada.

Di Konsol DTS baru, pilih wilayah di bilah navigasi atas.

Langkah 3: Buat tugas

Klik Create Task untuk membuka halaman konfigurasi tugas.

Opsi: Klik New Configuration Page di pojok kanan atas.

Lewati langkah ini jika Back to Previous Version ditampilkan di pojok kanan atas. Halaman konfigurasi baru direkomendasikan karena beberapa parameter berbeda antar versi.

Langkah 4: Konfigurasi database sumber dan tujuan

Konfigurasikan parameter berikut:

Database sumber

Database tujuan

Langkah 5: Uji konektivitas dan konfigurasi objek

Klik Test Connectivity and Proceed di bagian bawah halaman.

DTS secara otomatis menambahkan blok CIDR servernya ke daftar putih instans database Alibaba Cloud. Untuk database yang dikelola sendiri yang di-hosting di ECS, DTS juga menambahkan blok CIDR ke aturan security group ECS—pastikan instans ECS dapat mengakses database, dan tambahkan blok CIDR secara manual ke setiap instans ECS jika database tersebar di beberapa instans. Untuk database on-premises atau cloud pihak ketiga, tambahkan blok CIDR DTS secara manual ke daftar putih database. Untuk informasi lebih lanjut, lihat bagian Blok CIDR server DTS.

Setelah uji konektivitas berhasil, konfigurasikan objek yang akan disinkronkan:

Parameter	Deskripsi
Synchronization Types	Pilih Schema Synchronization, Full Data Synchronization, dan Incremental Data Synchronization. Setelah pemeriksaan awal, DTS menyinkronkan data historis dari sumber ke tujuan sebagai garis dasar untuk sinkronisasi inkremental.
Method to Migrate Triggers in Source Database	(Hanya tersedia saat Schema Synchronization dipilih) Metode untuk menyinkronkan trigger. Konfigurasikan sesuai kebutuhan Anda. Untuk informasi lebih lanjut, lihat Sinkronisasi atau migrasi trigger dari database sumber.
Synchronization Topology	Pilih One-way Synchronization.
Processing Mode of Conflicting Tables	Precheck and Report Errors: memeriksa apakah tujuan memiliki tabel dengan nama yang sama dengan sumber. Jika nama identik ada, kesalahan dikembalikan dan tugas tidak dapat dimulai. Gunakan pemetaan nama objek untuk mengganti nama tabel yang bentrok jika tidak dapat dihapus atau diganti namanya. Untuk informasi lebih lanjut, lihat Pemetaan nama objek. Ignore Errors and Proceed: melewati pemeriksaan bentrok nama. Peringatan Opsi ini dapat menyebabkan ketidakkonsistenan data. Selama sinkronisasi data penuh, catatan dengan kunci primer atau unik yang cocok di tujuan dipertahankan. Selama sinkronisasi inkremental, catatan tersebut ditimpa. Jika skema berbeda, inisialisasi mungkin sebagian gagal atau tugas gagal.
Capitalization of Object Names in Destination Instance	Kebijakan kapitalisasi untuk nama database, tabel, dan kolom di tujuan. Default-nya adalah DTS default policy. Untuk informasi lebih lanjut, lihat Tentukan kapitalisasi nama objek di instans tujuan.
Source Objects	Pilih objek dari bagian Source Objects dan klik untuk menambahkannya ke Selected Objects. Anda dapat memilih kolom, tabel, atau database. Memilih tabel atau kolom mengecualikan view, trigger, dan prosedur tersimpan dari sinkronisasi.
Selected Objects	Klik kanan objek untuk mengganti namanya atau mengatur kondisi filter. Klik Batch Edit untuk mengganti nama beberapa objek sekaligus. Untuk informasi lebih lanjut, lihat Pemetaan nama objek dan Tentukan kondisi filter. Mengganti nama objek dengan pemetaan nama objek dapat menyebabkan objek dependen gagal disinkronkan.

Langkah 6: Konfigurasi pengaturan lanjutan

Klik Next: Advanced Settings dan konfigurasikan hal berikut:

Langkah 7: Konfigurasi verifikasi data (opsional)

Klik Next Step: Data Verification untuk mengatur verifikasi data. Untuk informasi lebih lanjut, lihat Konfigurasi tugas verifikasi data.

Langkah 8: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

• Untuk melihat pratinjau parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

Tugas harus lulus pemeriksaan awal sebelum dapat dimulai.

Jika pemeriksaan awal gagal, klik View Details di samping setiap item yang gagal, selesaikan masalahnya, lalu jalankan kembali pemeriksaan awal.

Jika peringatan dipicu: untuk peringatan yang tidak dapat diabaikan, selesaikan masalahnya dan jalankan kembali pemeriksaan awal. Untuk peringatan yang dapat diabaikan, klik Confirm Alert Details, lalu klik Ignore di kotak dialog, konfirmasi, dan klik Precheck Again.

Langkah 9: Beli instans sinkronisasi data

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman buy, konfigurasikan parameter berikut:

Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di kotak dialog konfirmasi, klik OK.

Tugas muncul di daftar tugas. Anda dapat memantau perkembangannya di sana.