PolarDB：Sinkronkan data dari kluster PolarDB for MySQL ke kluster Kafka yang dikelola sendiri

Perhatian

Database sumber harus memiliki PRIMARY KEY atau batasan UNIQUE, dan semua bidang harus unik. Jika tidak, database tujuan mungkin berisi catatan data duplikat.

Batasan

• Anda hanya dapat memilih tabel sebagai objek yang akan disinkronkan.

• DTS tidak secara otomatis memperbarui objek tugas sinkronisasi data berdasarkan nama mereka.

  Catatan

  Jika tabel sumber diubah namanya selama sinkronisasi data tetapi nama tabel baru tidak termasuk dalam objek yang dipilih, DTS tidak akan menyinkronkan data tabel tersebut ke kluster Kafka tujuan. Untuk menyinkronkan data tabel yang diubah namanya, Anda harus menambahkan tabel ke objek yang dipilih dari tugas. Untuk informasi lebih lanjut, lihat Tambahkan objek ke tugas sinkronisasi data.

Prosedur

1. Beli instance sinkronisasi data. Untuk informasi lebih lanjut, lihat Beli instance DTS.

   Catatan

   Di halaman pembelian, atur Instance Sumber ke PolarDB, Instance Tujuan ke Kafka, dan Topologi Sinkronisasi ke One-Way Synchronization.

2. Masuk ke Konsol DTS.

   Catatan

   Jika Anda dialihkan ke konsol Data Management (DMS), Anda dapat mengklik ikon di untuk kembali ke versi sebelumnya dari Konsol DTS.

3. Di panel navigasi di sebelah kiri, klik Data Synchronization.

4. Di bagian atas halaman Synchronization Tasks, pilih wilayah tempat instance tujuan berada.

5. Temukan instance sinkronisasi data dan klik Configure Task di kolom Tindakan.

6. Konfigurasikan instance sumber dan tujuan.

   

   Bagian	Parameter	Deskripsi
   Tidak Ada	Nama Tugas Sinkronisasi	DTS secara otomatis menghasilkan nama tugas. Kami sarankan Anda menentukan nama yang informatif untuk identifikasi mudah. Anda tidak perlu menggunakan nama tugas yang unik.
   Detail Instance Sumber	Tipe Instance	Parameter ini diatur ke PolarDB Instance dan tidak dapat diubah.
   	Wilayah Instance	Wilayah sumber yang Anda pilih di halaman pembelian. Anda tidak dapat mengubah nilai parameter ini.
   	ID Instance PolarDB	Pilih ID dari kluster PolarDB for MySQL.
   	Akun Database	Masukkan akun database dari kluster PolarDB for MySQL. Akun tersebut harus memiliki izin baca pada objek yang akan disinkronkan.
   	Kata Sandi Database	Masukkan kata sandi dari akun database.
   Detail Instance Tujuan	Tipe Instance	Pilih tipe instance berdasarkan penyebaran kluster Kafka. Dalam contoh ini, pilih User-Created Database in ECS Instance. Catatan Jika Anda memilih tipe instance lain, Anda harus menyiapkan lingkungan jaringan untuk kluster Kafka. Untuk informasi lebih lanjut, lihat Ikhtisar Persiapan.
   	Wilayah Instance	Wilayah tujuan yang Anda pilih di halaman pembelian. Anda tidak dapat mengubah nilai parameter ini.
   	ID Instance ECS	Pilih ID dari instance Elastic Compute Service (ECS) tempat kluster Kafka diterapkan.
   	Tipe Database	Pilih Kafka.
   	Nomor Port	Masukkan nomor port layanan dari kluster Kafka. Nomor port default adalah 9092.
   	Akun Database	Masukkan nama pengguna yang digunakan untuk masuk ke kluster Kafka. Jika tidak ada autentikasi yang diaktifkan untuk kluster Kafka, Anda tidak perlu memasukkan nama pengguna.
   	Kata Sandi Database	Masukkan kata sandi yang sesuai dengan nama pengguna. Jika tidak ada autentikasi yang diaktifkan untuk kluster Kafka, Anda tidak perlu memasukkan kata sandi.
   	Topik	Klik Get Topic List, dan pilih nama topik dari daftar drop-down.
   	Versi Kafka	Pilih versi dari kluster Kafka tujuan.
   	Enkripsi	Pilih Non-encrypted atau SCRAM-SHA-256 berdasarkan kebutuhan bisnis dan keamanan Anda.

7. Di sudut kanan bawah halaman, klik Set Whitelist and Next.

   Catatan

   DTS menambahkan blok CIDR server DTS ke daftar putih kluster PolarDB sumber dan aturan arah masuk instance ECS tujuan. Ini memastikan bahwa server DTS dapat terhubung ke kluster sumber dan instance tujuan.

8. Pilih objek yang akan disinkronkan.

   

   Parameter	Deskripsi
   Data Format in Kafka	Data yang disinkronkan ke kluster Kafka disimpan dalam format Avro atau Canal JSON. Untuk informasi lebih lanjut, lihat Format data dalam antrian pesan.
   Policy for Shipping Data to Kafka Partitions	Kebijakan yang digunakan untuk menyinkronkan data ke partisi Kafka. Pilih kebijakan berdasarkan kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Tentukan kebijakan untuk menyinkronkan data ke partisi Kafka.
   Objek yang akan disinkronkan	Pilih satu atau lebih tabel dari bagian Available dan klik ikon untuk menambahkan tabel ke bagian Selected. Catatan DTS memetakan nama tabel ke nama topik yang Anda pilih di Langkah 6. Anda dapat menggunakan fitur pemetaan nama tabel untuk mengubah topik yang disinkronkan ke kluster tujuan. Untuk informasi lebih lanjut, lihat Ubah nama objek yang akan disinkronkan.
   Ubah Nama Database dan Tabel	Anda dapat menggunakan fitur pemetaan nama objek untuk mengubah nama objek yang disinkronkan ke instance tujuan. Untuk informasi lebih lanjut, lihat Pemetaan nama objek.
   Waktu Ulang untuk Koneksi Gagal	Secara default, jika DTS gagal terhubung ke database sumber atau tujuan, DTS mencoba lagi dalam waktu 720 menit (12 jam) berikutnya. Anda dapat menentukan waktu ulang berdasarkan kebutuhan Anda. Jika DTS berhasil terhubung kembali ke database sumber dan tujuan dalam waktu yang ditentukan, DTS melanjutkan tugas sinkronisasi data. Jika tidak, tugas sinkronisasi data gagal. Catatan Saat DTS mencoba ulang koneksi, Anda akan dikenakan biaya untuk instance DTS. Kami sarankan Anda menentukan waktu ulang berdasarkan kebutuhan bisnis Anda. Anda juga dapat melepaskan instance DTS secepat mungkin setelah instance sumber dan tujuan dilepaskan.

9. Di sudut kanan bawah halaman, klik Next.

10. Konfigurasikan sinkronisasi awal.

    

    Parameter	Deskripsi
    Initial Synchronization	Pilih kedua opsi Initial Schema Synchronization dan Initial Full Data Synchronization. DTS menyinkronkan skema dan data historis dari objek yang diperlukan, lalu menyinkronkan data tambahan.
    Filter options	Ignore DDL in incremental synchronization phase dipilih secara default. Dalam hal ini, DTS tidak menyinkronkan operasi DDL yang dilakukan pada database sumber selama sinkronisasi data tambahan.

11. Di sudut kanan bawah halaman, klik Precheck.

    Catatan

    • Sebelum Anda dapat memulai tugas sinkronisasi data, DTS melakukan pemeriksaan awal. Anda hanya dapat memulai tugas sinkronisasi data setelah tugas tersebut lolos pemeriksaan awal.

    • Jika tugas gagal lolos pemeriksaan awal, Anda dapat mengklik ikon di sebelah setiap item yang gagal untuk melihat detail.

      • Setelah Anda menyelesaikan masalah berdasarkan detail, mulai pemeriksaan awal baru.

      • Jika Anda tidak perlu menyelesaikan masalah, ignore the failed items dan initiate a new precheck.

12. Tutup kotak dialog Precheck setelah pesan berikut ditampilkan: Precheck Passed. Kemudian, tugas sinkronisasi data dimulai.

    Anda dapat melihat status tugas sinkronisasi data di halaman Data Synchronization.