全部产品
Search
文档中心

Data Transmission Service:Melacak perubahan data dari kluster PolarDB untuk MySQL

更新时间:Jul 03, 2025

Anda dapat menggunakan Data Transmission Service (DTS) untuk melacak perubahan data secara real-time. Fitur ini cocok untuk skenario seperti pembaruan cache ringan, decoupling bisnis, pemrosesan data asinkron, serta sinkronisasi operasi ekstraksi, transformasi, dan pemuatan (ETL). Topik ini menjelaskan cara melacak perubahan data dari kluster PolarDB untuk MySQL.

Prasyarat

Fitur pencatatan biner harus diaktifkan untuk kluster PolarDB untuk MySQL. Untuk informasi lebih lanjut, lihat Mengaktifkan Pencatatan Biner.

Peringatan

  • DTS tidak melacak operasi DDL yang dilakukan menggunakan gh-ost atau pt-online-schema-change. Akibatnya, klien pelacakan perubahan mungkin gagal menulis data yang dikonsumsi ke tabel tujuan karena konflik skema.

  • Jika database sumber terlibat dalam tugas lain seperti migrasi data yang sedang berlangsung, DTS mungkin melacak perubahan data objek lain. Dalam hal ini, Anda harus menyaring data yang dilacak secara manual pada klien pelacakan perubahan.

Prosedur

  1. Buat instance pelacakan perubahan. Untuk informasi lebih lanjut, lihat Membeli Instance Pelacakan Perubahan.

    Catatan

    Di halaman pembelian, atur Source Database ke PolarDB dan pilih wilayah tempat kluster PolarDB sumber berada.

  2. Masuk ke Konsol DTS.

  3. Di panel navigasi sebelah kiri, klik Change Tracking.

  4. Di bagian atas halaman Change Tracking Tasks, pilih wilayah tempat instance pelacakan perubahan berada.

  5. Temukan instance pelacakan perubahan, lalu klik Configure Channel di kolom Aksi.

  6. Konfigurasikan database sumber dan jenis jaringan untuk tugas pelacakan perubahan. Configure the source database and network type

    Bagian

    Parameter

    Deskripsi

    Tidak Ada

    Nama Tugas

    DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama informatif untuk kemudahan identifikasi. Anda tidak perlu menggunakan nama tugas unik.

    Database Sumber

    Tipe Instance

    Nilai parameter ini diatur ke PolarDB Instance dan tidak dapat diubah.

    Tipe Database

    Nilai parameter ini diatur ke PolarDB dan tidak dapat diubah.

    Wilayah Instance

    source region yang Anda pilih di halaman pembelian. Anda tidak dapat mengubah nilai parameter ini.

    ID Instance PolarDB

    Pilih ID kluster PolarDB sumber.

    Akun Database

    Masukkan akun database dari kluster PolarDB sumber.

    Catatan

    Akun tersebut harus memiliki izin SELECT pada objek yang diperlukan, izin REPLICATION CLIENT, izin REPLICATION SLAVE, dan izin SHOW VIEW.

    Kata Sandi Database

    Masukkan kata sandi akun database.

    Jenis Jaringan

    Tidak Ada

    Pilih jenis jaringan instance pelacakan perubahan.

    • Classic

      Jika Anda memilih Classic, tidak ada konfigurasi lain yang diperlukan. Untuk informasi lebih lanjut, lihat Jaringan Klasik.

    • VPC

      Jika Anda memilih VPC, Anda harus menentukan parameter VPC dan vSwitch. Untuk informasi lebih lanjut, lihat VPC.

    Catatan
    • Kami sarankan Anda memilih jenis jaringan yang sama dengan instance ECS tempat klien pelacakan perubahan diinstal. Sebagai contoh, jika instance ECS ditempatkan di virtual private cloud (VPC), pilih VPC sebagai jenis jaringan dan tentukan parameter VPC dan vSwitch.

    • Jika Anda melacak perubahan data melalui jaringan internal, latensi jaringan minimal.

  7. Di sudut kanan bawah halaman, klik Set Whitelist and Next.

    Catatan

    DTS menambahkan blok CIDR server DTS ke daftar putih kluster PolarDB sumber. Ini memastikan bahwa server DTS dapat terhubung ke kluster PolarDB sumber.

  8. Pilih jenis perubahan data dan objek. Select the data change types and objects

    Parameter

    Deskripsi

    Tipe Data yang Diperlukan

    • Data Updates

      DTS melacak pembaruan data objek yang dipilih, termasuk operasi INSERT, DELETE, dan UPDATE.

    • Schema Updates

      DTS melacak operasi buat, hapus, dan modifikasi yang dilakukan pada semua skema objek instance sumber. Anda harus menggunakan klien pelacakan perubahan untuk menyaring data yang diperlukan.

    Catatan
    • Jika Anda memilih database sebagai objek, DTS melacak perubahan data semua objek, termasuk objek baru di database.

    • Jika Anda memilih tabel sebagai objek, DTS hanya melacak perubahan data tabel tersebut. Dalam hal ini, jika Anda ingin melacak perubahan data tabel lain, Anda harus menambahkan tabel ke objek yang dipilih. Untuk informasi lebih lanjut, lihat Modifikasi objek untuk pelacakan perubahan.

    Objek yang Diperlukan

    Pilih satu atau lebih objek dari bagian Required Objects dan klik ikon Rightwards arrow untuk menambahkan objek ke bagian Selected.

    Catatan

    Anda dapat memilih tabel atau database sebagai objek untuk pelacakan perubahan.

  9. Di sudut kanan bawah halaman, klik Save and Precheck.

    Catatan
    • Sebelum memulai tugas pelacakan perubahan, DTS melakukan pra-pemeriksaan. Anda hanya dapat memulai tugas setelah lulus pra-pemeriksaan.

    • Jika tugas gagal lulus pra-pemeriksaan, Anda dapat mengklik ikon Info icon di sebelah setiap item yang gagal untuk melihat detailnya. Setelah menyelesaikan masalah berdasarkan penyebabnya, Anda dapat menjalankan pra-pemeriksaan lagi.

  10. Tutup kotak dialog Precheck setelah pesan berikut ditampilkan: The precheck is passed.

Apa yang harus dilakukan selanjutnya

Setelah tugas pelacakan perubahan dikonfigurasi, DTS akan melakukan pelacakan perubahan awal, yang membutuhkan waktu sekitar 1 menit. Setelah pelacakan perubahan awal selesai, Anda dapat melakukan operasi berikut:

  1. Buat Grup Konsumen

  2. Gunakan Klien Kafka untuk Mengonsumsi Data yang Dilacak

  3. Gunakan Demo SDK untuk Mengonsumsi Data yang Dilacak