Data Transmission Service:Sinkronisasi data dari instans ApsaraDB RDS for MySQL ke instans PolarDB-X 2.0

Persyaratan database sumber

• Tabel harus memiliki PRIMARY KEY atau kendala UNIK dengan semua field unik. Tanpa kendala ini, database tujuan mungkin berisi catatan duplikat.

• Saat melakukan sinkronisasi tingkat tabel dengan penggantian nama objek (seperti mengganti nama tabel atau kolom), satu Tugas mendukung hingga 1.000 tabel. Tugas yang melebihi batas ini akan mengembalikan error permintaan. Untuk menyinkronkan lebih dari 1.000 tabel, bagi pekerjaan tersebut ke beberapa Tugas atau sinkronkan seluruh database.

• Persyaratan log biner:

  • Untuk ApsaraDB RDS for MySQL: Binary logging diaktifkan secara default. Verifikasi bahwa binlog_row_image diatur ke full—DTS akan mengembalikan error selama Pemeriksaan Awal jika pengaturan ini tidak ada. Lihat Ubah parameter instans. Simpan log biner minimal selama 3 hari (disarankan 7 hari).

  • Untuk MySQL yang dikelola sendiri: Aktifkan binary logging, atur binlog_format ke row, dan atur binlog_row_image ke full. Simpan log biner minimal selama 7 hari. Untuk kluster dual-primary, atur juga log_slave_updates ke ON agar DTS dapat menangkap semua log biner. Lihat Buat akun untuk database MySQL yang dikelola sendiri dan konfigurasikan binary logging.

  Penting

  Jika log biner dipurge sebelum DTS membacanya, Tugas sinkronisasi akan gagal. Dalam kasus luar biasa, ketidakkonsistenan atau kehilangan data dapat terjadi. Retensi log biner yang tidak mencukupi tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS.

• Jangan menjalankan pernyataan DDL yang mengubah skema database atau tabel selama sinkronisasi skema atau sinkronisasi data penuh. Melakukan hal tersebut menyebabkan Tugas gagal.

• Data yang dihasilkan oleh operasi perubahan log biner—seperti data yang dipulihkan dari backup fisik atau data dari operasi kaskade—tidak disinkronkan ke tujuan. Jika diperlukan, hapus dan tambahkan kembali tabel yang terpengaruh dari objek sinkronisasi tanpa mengganggu bisnis Anda. Lihat Ubah objek yang akan disinkronkan.

• Jika sumber adalah MySQL 8.0.23 atau versi lebih baru dan datanya mencakup kolom tak terlihat (invisible columns), DTS tidak dapat membaca kolom tersebut dan terjadi kehilangan data.

  • Untuk membuat kolom menjadi terlihat, jalankan: ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;

  • Tabel tanpa primary key eksplisit akan menghasilkan primary key tak terlihat secara otomatis. Jadikan primary key ini terlihat sebelum sinkronisasi. Lihat Generated Invisible Primary Keys.

Batasan lainnya

• DTS tidak menyinkronkan tipe data berikut: BIT, VARBIT, GEOMETRY, ARRAY, UUID, TSQUERY, TSVECTOR, dan TXID_SNAPSHOT.

• Indeks awalan tidak dapat disinkronkan. Jika database sumber berisi indeks awalan, Tugas mungkin gagal.

• Jalankan Tugas sinkronisasi selama jam sepi. Sinkronisasi data penuh awal menggunakan resource baca dan tulis pada database sumber dan tujuan, yang meningkatkan beban.

• Setelah sinkronisasi data penuh awal, ruang tabel tujuan lebih besar daripada sumber karena INSERT konkuren menyebabkan fragmentasi tabel.

• Saat melakukan sinkronisasi tingkat tabel, jangan gunakan pt-online-schema-change untuk operasi DDL Online. Gunakan Data Management (DMS) sebagai gantinya. Lihat Lakukan operasi DDL tanpa lock.

• Menulis data dari sumber lain ke tujuan selama sinkronisasi menyebabkan ketidakkonsistenan data.

• Jika fitur EncDB diaktifkan pada instans RDS MySQL sumber, sinkronisasi data penuh tidak dapat dilakukan.

  Catatan Instans RDS MySQL dengan Enkripsi Data Transparan (TDE) yang diaktifkan mendukung sinkronisasi skema, sinkronisasi data penuh, dan sinkronisasi data inkremental.

• Selama sinkronisasi skema, DTS menyinkronkan kunci asing dari sumber ke tujuan. Selama sinkronisasi data penuh dan sinkronisasi data inkremental, DTS sementara menonaktifkan pemeriksaan kendala kunci asing dan operasi kaskade pada tingkat session. Jika Anda melakukan operasi update atau delete kaskade pada sumber selama sinkronisasi, ketidakkonsistenan data dapat terjadi.

• Jika Tugas DTS gagal, dukungan teknis DTS akan memulihkannya dalam waktu 8 jam. Selama pemulihan, Tugas mungkin dimulai ulang dan parameter Tugas (bukan parameter database) mungkin dimodifikasi.

Kasus khusus

• Sumber MySQL yang dikelola sendiri: Alih bencana primary/secondary selama Tugas sinkronisasi aktif menyebabkan Tugas gagal. Jika tidak ada operasi DML yang terjadi pada sumber dalam waktu lama, pembacaan latensi sinkronisasi mungkin tidak akurat—jalankan operasi DML untuk memperbarui latensi. Jika Anda menyinkronkan seluruh database, buat tabel heartbeat yang menerima write setiap detik untuk mempertahankan pelacakan latensi yang akurat.

• Sumber ApsaraDB RDS for MySQL: Instans RDS MySQL 5.6 read-only yang tidak mencatat log transaksi tidak dapat digunakan sebagai sumber.

• Untuk kedua jenis sumber, DTS secara berkala mengeksekusi CREATE DATABASE IF NOT EXISTS 'test' pada database sumber untuk memajukan posisi file log biner.

Langkah 1: Buka konsol DTS

Buka halaman Sinkronisasi Data di konsol DTS.

Langkah 2: Pilih wilayah

Di pojok kiri atas, pilih wilayah tempat instans sinkronisasi data akan berada.

Langkah 3: Konfigurasikan database sumber dan tujuan

Klik Create Task. Di wizard Create Data Synchronization Task, konfigurasikan database sumber dan tujuan menggunakan parameter berikut.

Database sumber

Database tujuan

Langkah 4: Uji konektivitas

Klik Test Connectivity and Proceed.

DTS secara otomatis menambahkan Blok CIDR servernya ke daftar putih instans database Alibaba Cloud dan ke aturan grup keamanan database yang di-hosting di ECS. Untuk database yang dikelola sendiri di pusat data atau yang disediakan oleh penyedia layanan cloud pihak ketiga, tambahkan secara manual Blok CIDR server DTS ke daftar putih database Anda. Lihat Blok CIDR server DTS.

Langkah 5: Konfigurasikan objek dan pengaturan lanjutan

Pengaturan dasar

Pengaturan lanjutan

Langkah 6: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

DTS melakukan pemeriksaan awal sebelum Tugas dapat dimulai. Jika pemeriksaan awal gagal:

• Klik View Details di sebelah setiap item yang gagal, selesaikan masalahnya, lalu jalankan pemeriksaan awal lagi.

• Jika item peringatan dapat diabaikan, klik Confirm Alert Details, lalu Ignore, klik OK, dan klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidakkonsistenan data.

Langkah 7: Beli instans sinkronisasi

Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

Di halaman buy, konfigurasikan hal berikut:

Langkah 8: Mulai Tugas

Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms, lalu klik Buy and Start. Di dialog konfirmasi, klik OK.

Tugas muncul di daftar Tugas. DTS menyinkronkan data historis dari sumber ke tujuan, lalu beralih ke sinkronisasi inkremental secara otomatis.