PolarDB:Sinkronisasi PolarDB for MySQL ke Kafka

Catatan

Jika tabel sumber tidak memiliki primary key atau unique constraint, data duplikat mungkin muncul di database tujuan.

Penagihan

Batasan

• Hanya sinkronisasi data tingkat tabel yang didukung.
• DTS tidak menyesuaikan objek sinkronisasi secara otomatis.
  Catatan Jika Anda mengganti nama tabel sumber, DTS akan menghentikan sinkronisasi tabel tersebut. Untuk melanjutkan sinkronisasi, Anda harus menambahkan nama tabel baru sebagai objek sinkronisasi.

Prosedur

1. Beli tugas sinkronisasi data. Untuk informasi selengkapnya, lihat Purchase a DTS task.
   Catatan Saat pembelian, atur instans sumber ke PolarDB, instans tujuan ke Kafka, dan topologi sinkronisasi ke One-way Synchronization.

2. Masuk ke DTS console.

   Catatan

   Jika Anda dialihkan secara otomatis ke konsol Data Management (DMS), Anda dapat mengklik ikon di pojok kanan bawah lalu klik untuk kembali ke konsol DTS klasik.

3. Di panel navigasi sebelah kiri, klik Data Synchronization.

4. Di bagian atas halaman Synchronization Tasks, pilih wilayah tempat instans tujuan Anda berada.

5. Temukan tugas sinkronisasi data yang telah Anda beli, lalu klik Configure Task.

6. Konfigurasikan instans sumber dan tujuan.

   Kategori	Pengaturan	Deskripsi
   N/A	Nama tugas sinkronisasi	DTS secara otomatis menghasilkan nama tugas. Tentukan nama deskriptif agar mudah diidentifikasi. Nama ini tidak perlu unik.
   Informasi instans sumber	Tipe instans	Secara default diatur ke PolarDB Instance dan tidak dapat diubah.
   	Wilayah instans	Wilayah instans sumber yang Anda pilih saat pembelian. Pengaturan ini tidak dapat diubah.
   	ID instans PolarDB	Pilih ID kluster PolarDB for MySQL.
   	Akun database	Masukkan akun database untuk kluster PolarDB for MySQL. Akun ini harus memiliki izin baca pada database yang akan disinkronkan.
   	Kata sandi database	Masukkan kata sandi untuk akun database tersebut.
   Informasi instans tujuan	Tipe instans	Pilih opsi berdasarkan lokasi penerapan kluster Kafka Anda. Topik ini menggunakan contoh self-managed database on an ECS instance. Catatan Jika Anda memilih tipe instans berbeda, Anda harus melakukan langkah persiapan tambahan. Untuk informasi selengkapnya, lihat Preparation overview.
   	Wilayah instans	Wilayah instans tujuan yang Anda pilih saat pembelian. Pengaturan ini tidak dapat diubah.
   	ID instans ECS	Pilih ID instans ECS tempat kluster Kafka diterapkan.
   	Tipe database	Pilih Kafka.
   	Port	Port layanan kluster Kafka. Nilai default-nya adalah 9092.
   	Akun database	Masukkan username untuk kluster Kafka. Anda dapat mengosongkan kolom ini jika autentikasi tidak diaktifkan pada kluster Kafka.
   	Kata sandi database	Masukkan kata sandi untuk username tersebut. Anda dapat mengosongkan kolom ini jika autentikasi tidak diaktifkan pada kluster Kafka.
   	Topic	Klik Get Topic List di sebelah kanan, lalu pilih topic dari daftar drop-down.
   	Versi Kafka	Pilih versi yang sesuai dengan kluster Kafka tujuan Anda.
   	Metode koneksi	Pilih Non-encrypted atau SCRAM-SHA-256 berdasarkan kebutuhan bisnis dan keamanan Anda.

7. Di pojok kanan bawah halaman, klik Set Whitelist and Next.

   Jika database sumber atau tujuan merupakan instans database Alibaba Cloud, seperti instans ApsaraDB RDS for MySQL atau ApsaraDB for MongoDB, DTS secara otomatis menambahkan blok CIDR server DTS ke daftar putih alamat IP instans tersebut. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang di-hosting pada instans Elastic Compute Service (ECS), DTS secara otomatis menambahkan blok CIDR server DTS ke aturan grup keamanan instans ECS tersebut, dan Anda harus memastikan bahwa instans ECS dapat mengakses database. Jika database yang dikelola sendiri di-hosting pada beberapa instans ECS, Anda harus menambahkan secara manual blok CIDR server DTS ke aturan grup keamanan setiap instans ECS. Jika database sumber atau tujuan adalah database yang dikelola sendiri yang diterapkan di pusat data atau disediakan oleh penyedia layanan cloud pihak ketiga, Anda harus menambahkan secara manual blok CIDR server DTS ke daftar putih alamat IP database tersebut agar DTS dapat mengakses database. Untuk informasi selengkapnya, lihat Whitelist DTS server IP addresses.

   Peringatan

   Menambahkan blok CIDR alamat IP publik server DTS, baik secara otomatis maupun manual, dapat menimbulkan risiko keamanan. Dengan menggunakan produk ini, Anda mengakui dan menerima risiko potensial tersebut. Anda harus menerapkan perlindungan keamanan dasar, yang mencakup tetapi tidak terbatas pada penguatan keamanan kata sandi, pembatasan port terbuka untuk blok CIDR, penggunaan autentikasi untuk komunikasi API internal, serta peninjauan dan pembatasan rutin terhadap blok CIDR yang tidak diperlukan. Sebagai alternatif, Anda dapat menghubungkan ke database melalui jaringan internal, seperti jalur sewa, VPN Gateway, atau Smart Access Gateway.

8. Konfigurasikan objek sinkronisasi.

   Parameter	Deskripsi
   Data Format in Kafka	Data yang disinkronkan ke kluster Kafka disimpan dalam format Avro atau Canal JSON. Untuk informasi selengkapnya, lihat Data formats in a message queue.
   Policy for shipping data to Kafka partitions	Pilih kebijakan yang sesuai dengan kebutuhan bisnis Anda. Untuk deskripsi lengkap, lihat Policies for synchronizing data to Kafka partitions.
   Objek sinkronisasi	Di kotak Source Objects, pilih objek yang akan disinkronkan (tabel merupakan granularitas terkecil), lalu klik ikon untuk memindahkannya ke kotak Selected. Catatan DTS secara otomatis memetakan nama tabel ke nama topic yang Anda pilih di Langkah 6. Untuk mengubah topic tujuan untuk suatu tabel, gunakan fitur pemetaan nama objek. Untuk informasi selengkapnya, lihat Set object names in the destination instance.
   Object name mapping	Ubah nama objek yang disinkronkan di instans tujuan. Untuk informasi selengkapnya, lihat Map databases, tables, and columns.
   Retry time for failed connections	Jika DTS tidak dapat terhubung ke instans sumber atau tujuan, DTS akan mencoba ulang selama 720 menit (12 jam) secara default. Anda juga dapat menentukan durasi percobaan ulang kustom. Jika DTS berhasil terhubung kembali ke instans sumber atau tujuan dalam durasi yang ditentukan, tugas sinkronisasi akan dilanjutkan secara otomatis. Jika tidak, tugas tersebut gagal. Catatan Anda dikenai biaya berdasarkan durasi tugas selama percobaan ulang koneksi. Sesuaikan durasi percobaan ulang berdasarkan kebutuhan bisnis Anda, atau segera rilis instans DTS setelah instans sumber dan tujuan dirilis.

9. Setelah menyelesaikan konfigurasi di atas, klik Next di pojok kanan bawah halaman.
10. Konfigurasikan pengaturan lanjutan untuk sinkronisasi awal.

    Parameter	Deskripsi
    Initial synchronization	Secara default, kedua opsi Initial Schema Synchronization dan Initial Full Data Synchronization dipilih. Sebelum menyinkronkan data inkremental, DTS menyinkronkan skema dan data yang sudah ada dari objek yang dipilih ke tujuan.
    Filter options	Secara default, opsi Ignore DDL in incremental synchronization phase dipilih. Artinya, DTS tidak menyinkronkan operasi DDL yang dilakukan pada database sumber selama fase sinkronisasi data inkremental.

11. Setelah menyelesaikan konfigurasi di atas, klik Precheck and Start di pojok kanan bawah halaman.

    Catatan

    • Pemeriksaan Awal dijalankan sebelum tugas sinkronisasi dimulai, dan Anda hanya dapat memulai tugas setelah pemeriksaan tersebut lolos.

    • Jika Pemeriksaan Awal gagal, klik ikon di sebelah item yang gagal untuk melihat detailnya.

      • Anda dapat memperbaiki masalah berdasarkan penyebabnya dan menjalankan kembali Pemeriksaan Awal.

      • Jika Anda tidak perlu memperbaiki item yang memicu peringatan, Anda dapat mengklik Ignore atau Ignore Warnings and Rerun Precheck untuk melewati peringatan dan menjalankan kembali Pemeriksaan Awal.

12. Setelah kotak dialog Precheck menampilkan Precheck Passed, tutup kotak dialog Precheck. Tugas sinkronisasi data dimulai.
    Di halaman Data Synchronization, daftar tugas menampilkan informasi utama, termasuk Instance ID/Task Name, Status (misalnya, Synchronizing), Synchronization Overview (meliputi latensi dan kecepatan), Billing Method, serta Synchronization Topology. Kolom Actions menyediakan opsi seperti Pause Synchronization, Convert to Subscription, dan Upgrade.