Data Transmission Service:Sinkronisasi data dari instans ApsaraDB RDS for MySQL ke instans PolarDB-X 1.0

ApsaraDB RDS for MySQL

Binary logging diaktifkan secara default pada instans ApsaraDB RDS for MySQL. Pastikan bahwa:

• Parameter binlog_row_image diatur ke full. Jika tidak, terjadi kesalahan pemeriksaan awal dan tugas tidak dapat dimulai. Lihat Atur parameter instans.

• Log biner lokal disimpan selama minimal 3 hari (disarankan 7 hari). Jika log dipurge sebelum DTS sempat membacanya, tugas akan gagal. Dalam kasus ekstrem, dapat terjadi kehilangan data atau inkonsistensi. Tugas yang gagal karena retensi log tidak mencukupi tidak dicakup oleh Perjanjian Tingkat Layanan (SLA) DTS. Untuk mengatur Retention Period log biner lokal, lihat Hapus log lokal secara otomatis.

Instans hanya baca ApsaraDB RDS for MySQL 5.6 tidak mencatat log transaksi dan tidak dapat digunakan sebagai database sumber.

MySQL yang dikelola sendiri

Untuk database MySQL yang dikelola sendiri, konfigurasikan parameter berikut:

Simpan log biner selama minimal 7 hari. Jika log dipurge sebelum DTS sempat membacanya, tugas akan gagal, dan masalah yang disebabkan oleh retensi log tidak mencukupi tidak dicakup oleh SLA DTS.

Persyaratan tambahan:

• Arsitektur primary/primary: Aktifkan parameter log_slave_updates agar DTS dapat memperoleh semua log biner dari kedua node. Lihat Buat akun database untuk database MySQL yang dikelola sendiri dan konfigurasikan binary logging.

• Amazon Aurora MySQL atau instans mode klaster: Pastikan nama domain atau alamat IP yang dikonfigurasi untuk tugas selalu mengarah ke node read/write (RW). Jika tidak, tugas mungkin tidak berjalan dengan baik.

Batasan database sumber

• Server tempat database sumber di-deploy harus memiliki bandwidth keluar yang mencukupi. Bandwidth yang tidak mencukupi mengurangi kecepatan sinkronisasi.

• Tabel yang akan disinkronkan harus memiliki primary key atau kendala UNIK dengan nilai bidang unik. Tabel yang tidak memiliki kendala ini dapat menghasilkan data duplikat di tujuan.

• Hanya tabel yang dapat dipilih sebagai objek sinkronisasi.

• Saat menggunakan pemetaan nama objek (misalnya, memetakan nama tabel atau kolom), satu tugas mendukung maksimal 1.000 tabel. Untuk menyinkronkan lebih dari 1.000 tabel dengan pemetaan nama, bagi menjadi beberapa tugas.

• Kelas penyimpanan instans PolarDB-X 1.0 harus RDS MySQL (RDS kustom privat). PolarDB MySQL tidak didukung.

• Jangan lakukan operasi DDL selama sinkronisasi data penuh — hal ini menyebabkan tugas gagal.

  Selama fase sinkronisasi penuh, DTS melakukan kueri ke database sumber dan dapat menghasilkan kunci metadata, yang dapat memblokir operasi DDL pada sumber.

• Perubahan data dari operasi yang tidak tercatat dalam log biner tidak disinkronkan. Ini mencakup pemulihan data menggunakan backup fisik dan operasi kaskade.

  Jika hal ini terjadi, hapus database atau tabel yang terpengaruh dari objek sinkronisasi, lalu tambahkan kembali jika bisnis Anda mengizinkannya. Lihat Ubah objek sinkronisasi.

• Kolom tak terlihat (MySQL 8.0.23 dan seterusnya): Jika data yang akan disinkronkan berisi kolom tak terlihat, DTS tidak dapat memperoleh data di kolom tersebut, yang dapat menyebabkan kehilangan data. Jalankan perintah berikut untuk menjadikan kolom tak terlihat menjadi terlihat:

  ALTER TABLE <table_name> ALTER COLUMN <column_name> SET VISIBLE;

  Tabel tanpa primary key secara otomatis menghasilkan primary key tak terlihat, yang juga harus dijadikan terlihat. Lihat Invisible Columns dan Generated Invisible Primary Keys.

• Jika tabel PolarDB-X 1.0 tujuan memiliki auto partitioning aktif (auto_partition=true), setiap pernyataan DDL yang dieksekusi pada sumber hanya boleh berisi satu alter_specification. Jika tidak, DTS melaporkan kesalahan (TDDL-4998: Multi alter specifications when create GSI not support yet). Untuk mengeksekusi pernyataan DDL yang berisi beberapa item alter_specification, pisahkan setiap alter_specification menjadi pernyataan DDL terpisah dan eksekusi satu per satu. Untuk informasi lebih lanjut, lihat ALTER TABLE.

Batasan lainnya

• EncDB (always-confidential): Sinkronisasi data penuh tidak didukung ketika fitur always-confidential (EncDB) diaktifkan pada instans RDS MySQL sumber.

  Instans dengan Enkripsi Data Transparan (TDE) yang diaktifkan mendukung sinkronisasi skema, sinkronisasi data penuh, dan sinkronisasi data inkremental.

• Jika Anda melakukan operasi DDL online yang menggunakan tabel sementara di database sumber, seperti menggabungkan beberapa tabel, data dapat hilang di database tujuan atau instans DTS dapat gagal.

• Jangan gunakan alat seperti pt-online-schema-change untuk melakukan operasi DDL online pada objek yang sedang disinkronkan — hal ini menyebabkan tugas gagal.

• Menulis data dari sumber lain ke database tujuan selama sinkronisasi dapat menyebabkan inkonsistensi data.

• Evaluasi dampak kinerja pada database sumber dan tujuan sebelum memulai sinkronisasi. Jalankan tugas sinkronisasi selama jam sepi jika memungkinkan. Sinkronisasi data penuh menggunakan sumber daya baca dan tulis pada kedua database dan dapat meningkatkan beban server.

• Setelah sinkronisasi data penuh selesai, operasi INSERT konkuren dapat menyebabkan fragmentasi pada tabel tujuan. Ruang tabel yang digunakan pada database tujuan mungkin lebih besar daripada database sumber.

• Jika instans DTS gagal, tim dukungan DTS akan berusaha memulihkannya dalam waktu 8 jam. Operasi pemulihan dapat mencakup me-restart instans atau menyesuaikan parameter instans DTS (bukan parameter database). Lihat Ubah parameter instans.

Kasus khusus untuk sumber MySQL yang dikelola sendiri

• Jika terjadi failover primary/secondary di database sumber selama sinkronisasi, tugas akan gagal.

• Latensi sinkronisasi dihitung dari selisih antara timestamp saat ini dan timestamp dari catatan data terakhir yang disinkronkan. Jika tidak ada operasi DML yang dilakukan pada database sumber dalam waktu lama, latensi yang ditampilkan mungkin tidak akurat. Lakukan operasi DML pada sumber untuk memperbarui pembacaan latensi.

  Jika Anda memilih untuk menyinkronkan seluruh database, buatlah tabel heartbeat. DTS memperbarui atau menulis ke tabel heartbeat setiap detik untuk menjaga akurasi pembacaan latensi.

• DTS secara berkala menjalankan CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

Kasus khusus untuk sumber ApsaraDB RDS for MySQL

• Instans ApsaraDB RDS for MySQL yang tidak mencatat log transaksi, seperti instans hanya baca ApsaraDB RDS for MySQL 5.6, tidak dapat digunakan sebagai database sumber.

• DTS secara berkala menjalankan CREATE DATABASE IF NOT EXISTS `test` pada database sumber untuk memajukan offset log biner.

Langkah 1: Buka halaman Sinkronisasi Data

Gunakan konsol DTS atau konsol DMS.

Langkah 2: Konfigurasi database sumber dan tujuan

1. Klik Create Task.

2. Di halaman konfigurasi tugas, atur parameter berikut.

Umum

Database sumber

Database tujuan

1. Klik Test Connectivity and Proceed.

Pastikan blok CIDR server DTS telah ditambahkan ke pengaturan keamanan database sumber dan tujuan. Lihat Tambahkan alamat IP server DTS ke daftar putih. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang tidak diakses melalui Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Langkah 3: Konfigurasi objek sinkronisasi

Di langkah Configure Objects, atur parameter berikut.

Klik Next: Advanced Settings.

Langkah 4: Konfigurasi pengaturan lanjutan

Langkah 5: Jalankan pemeriksaan awal

Klik Next: Save Task Settings and Precheck.

Untuk melihat parameter API untuk konfigurasi tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck lalu klik Preview OpenAPI parameters.

Tugas menjalankan pemeriksaan awal sebelum dimulai. Tugas hanya dapat dimulai setelah pemeriksaan awal berhasil.

• Jika ada item yang gagal, klik View Details di sebelah item yang gagal, perbaiki masalahnya, lalu klik Precheck Again.

• Jika suatu item memicu peringatan yang dapat diabaikan, klik Confirm Alert Details, lalu klik Ignore > OK > Precheck Again. Mengabaikan item peringatan dapat menyebabkan inkonsistensi data.

Langkah 6: Beli instans

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman pembelian, konfigurasikan parameter berikut.

1. Baca dan pilih Data Transmission Service (Pay-as-you-go) Service Terms.

2. Klik Buy and Start, lalu klik OK untuk mengonfirmasi.

Tugas muncul di daftar tugas. Pantau perkembangannya di sana.