Data Transmission Service:Migrasi data dari instans ApsaraDB RDS for MySQL ke instans ApsaraMQ for Kafka

Database sumber

Persyaratan log biner untuk migrasi inkremental

Sebelum mengaktifkan migrasi data inkremental, verifikasi dan konfigurasikan pengaturan MySQL berikut:

Untuk instans MySQL yang dikelola sendiri, Anda dapat memperbaiki pengaturan yang tidak sesuai dengan menjalankan perintah yang sesuai:

-- Atur format log biner
SET GLOBAL binlog_format = 'ROW';

-- Atur gambar baris log biner
SET GLOBAL binlog_row_image = 'FULL';

Batasan lainnya

• Anda hanya dapat memilih tabel sebagai objek yang akan dimigrasikan.

• Lakukan migrasi selama jam sepi untuk mengurangi beban pada server sumber dan tujuan.

• Sebelum mengalihkan beban kerja produksi ke tujuan, hentikan atau rilis tugas DTS apa pun yang gagal dalam 7 hari terakhir. DTS mencoba melanjutkan tugas yang gagal secara otomatis, yang dapat menimpa data di tujuan. Sebagai alternatif, cabut izin tulis dari akun DTS di tujuan.

• Jika data dari sumber lain ditulis ke tujuan selama migrasi, akan terjadi ketidaksesuaian data.

• Jika kluster Kafka tujuan ditingkatkan atau diturunkan spesifikasinya selama migrasi, restart tugas migrasi.

• Jika Enkripsi Data Transparan (TDE) diaktifkan pada instans RDS MySQL sumber, migrasi skema, migrasi data penuh, dan migrasi data inkremental semuanya didukung. Jika fitur EncDB diaktifkan sebagai gantinya, migrasi data penuh tidak didukung.

• Jika tugas DTS gagal, dukungan teknis DTS akan mencoba memulihkannya dalam waktu 8 jam. Selama pemulihan, tugas mungkin di-restart dan parameter tingkat tugas mungkin dimodifikasi. Parameter database tidak diubah.

Kasus khusus

MySQL yang dikelola sendiri:

• Jika terjadi alih bencana primer/sekunder saat tugas sedang berjalan, tugas akan gagal.

• Latensi migrasi mungkin tampak tidak akurat jika tidak ada operasi DML yang dijalankan di sumber dalam waktu lama. Jalankan operasi DML apa pun di sumber untuk memperbarui latensi. Jika Anda memigrasikan seluruh database, buat tabel heartbeat yang menerima pembaruan setiap detik.

• DTS secara berkala menjalankan CREATE DATABASE IF NOT EXISTS \test\`` di sumber untuk memajukan posisi log biner.

ApsaraDB RDS for MySQL:

• Instans RDS MySQL V5.6 read-only (yang tidak mencatat log transaksi) tidak dapat digunakan sebagai sumber untuk migrasi data inkremental.

• DTS secara berkala menjalankan CREATE DATABASE IF NOT EXISTS \test\`` di sumber untuk memajukan posisi log biner.

DTS Avro

Catatan mengikuti definisi skema DTS Avro. Lihat skema di GitHub.

Canal JSON

Catatan ditulis dalam format Canal JSON. Contoh berikut menunjukkan event INSERT khas:

{
  "data": [
    {
      "id": "1",
      "name": "example_value",
      "updated_at": "2026-01-01 00:00:00"
    }
  ],
  "database": "example_db",
  "es": 1735689600000,
  "id": 1,
  "isDdl": false,
  "mysqlType": {
    "id": "int(11)",
    "name": "varchar(255)",
    "updated_at": "datetime"
  },
  "old": null,
  "pkNames": ["id"],
  "sql": "",
  "sqlType": {
    "id": 4,
    "name": 12,
    "updated_at": 93
  },
  "table": "example_table",
  "ts": 1735689600123,
  "type": "INSERT"
}

Untuk event UPDATE, bidang old berisi nilai pra-gambar (nilai kolom sebelum perubahan).

Untuk detail parameter lengkap dan contoh kode konsumen, lihat Format data Canal JSON.

Langkah 1: Buka halaman Migrasi Data

Gunakan salah satu konsol berikut:

Langkah 2: Konfigurasikan database sumber dan tujuan

1. Klik Create Task.

   Peringatan

   Setelah mengonfigurasi sumber dan tujuan, baca Limits yang ditampilkan di bagian atas halaman sebelum melanjutkan. Melewatkan langkah ini dapat menyebabkan tugas gagal atau ketidaksesuaian data.

2. Konfigurasikan parameter dalam tabel berikut.

Source Database

Destination Database

1. Klik Test Connectivity and Proceed.

   DTS harus dapat mengakses sumber dan tujuan. Tambahkan blok CIDR server DTS ke pengaturan keamanan kedua database. Lihat Tambahkan blok CIDR server DTS. Jika sumber atau tujuan adalah database yang dikelola sendiri dengan metode akses selain Alibaba Cloud Instance, klik Test Connectivity di kotak dialog CIDR Blocks of DTS Servers.

Langkah 3: Pilih objek migrasi dan konfigurasikan pengaturan

1. Di halaman Configure Objects, atur parameter berikut.

1. Klik Next: Advanced Settings.

Langkah 4: Jalankan pemeriksaan awal

1. Untuk melihat pratinjau parameter API untuk tugas ini, arahkan kursor ke Next: Save Task Settings and Precheck dan klik Preview OpenAPI parameters.

2. Klik Next: Save Task Settings and Precheck. DTS menjalankan pemeriksaan awal otomatis sebelum memulai tugas. Jika ada item yang gagal:

   • Klik View Details di sebelah item yang gagal, perbaiki masalahnya, lalu klik Precheck Again.

   • Jika item peringatan tidak kritis dan dapat diabaikan, klik Confirm Alert Details > Ignore > OK, lalu klik Precheck Again. Mengabaikan peringatan dapat menyebabkan ketidaksesuaian data.

Langkah 5: Beli instans dan mulai tugas

1. Tunggu hingga Success Rate mencapai 100%, lalu klik Next: Purchase Instance.

2. Di halaman Purchase Instance, konfigurasikan hal berikut:

1. Baca dan terima Data Transmission Service (Pay-as-you-go) Service Terms dengan memilih kotak centang.

2. Klik Buy and Start, lalu klik OK di dialog konfirmasi.