:Migrasi data ke cloud

Peringatan

• Nama topik kluster sumber dan tujuan harus konsisten.
• Jumlah partisi di kluster sumber dan tujuan bisa berbeda.
• Data yang berada di partisi kluster sumber mungkin didistribusikan ke partisi yang berbeda di kluster tujuan.
• Secara default, pesan dengan kunci yang sama didistribusikan ke partisi yang sama.
• Pesan normal mungkin menjadi tidak berurutan ketika kluster gagal, sedangkan pesan terurut berpartisi tetap berurutan.

Akses dari VPC

1. Konfigurasikan file consumer.properties.

   ## Titik akhir kluster Kafka yang dibuat pengguna.
   bootstrap.servers=XXX.XXX.XXX.XXX:9092
   
   ## Kebijakan konsumen untuk mendistribusikan pesan ke partisi.
   partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor
   
   ## Nama grup.
   group.id=test-consumer-group

2. Konfigurasikan file producer.properties.

   ## Titik akhir default kluster Message Queue for Apache Kafka, yang dapat diperoleh di konsol Message Queue for Apache Kafka.
   bootstrap.servers=XXX.XXX.XXX.XXX:9092
   
   ## Metode kompresi data.
   compression.type=none                                

3. Jalankan perintah berikut untuk memulai proses migrasi:

   sh bin/kafka-mirror-maker.sh --consumer.config config/consumer.properties --producer.config config/producer.properties --whitelist topicName

Akses dari Internet

1. Unduh kafka.client.truststore.jks.
2. Konfigurasikan file kafka_client_jaas.conf.

   KafkaClient {
      org.apache.kafka.common.security.plain.PlainLoginModule required
      username="nama pengguna Anda"
      password="kata sandi Anda";
   };

3. Konfigurasikan file consumer.properties.

   ## Titik akhir kluster Kafka yang dibuat pengguna.
   bootstrap.servers=XXX.XXX.XXX.XXX:9092
   
   ## Kebijakan konsumen untuk mendistribusikan pesan ke partisi.
   partition.assignment.strategy=org.apache.kafka.clients.consumer.RoundRobinAssignor
   
   ## Nama grup.
   group.id=test-consumer-group

4. Konfigurasikan file producer.properties.

   ## Titik akhir SSL kluster Message Queue for Apache Kafka, yang dapat diperoleh di konsol Message Queue for Apache Kafka.
   bootstrap.servers=XXX.XXX.XXX.XXX:9093
   
   ## Metode kompresi data.
   compression.type=none
   
   ## Truststore (Gunakan file yang diunduh di Langkah 1).
   ssl.truststore.location=kafka.client.truststore.jks
   ssl.truststore.password=KafkaOnsClient
   security.protocol=SASL_SSL
   sasl.mechanism=PLAIN
   
   ## Untuk menggunakan Simple Authentication and Security Layer (SASL) otentikasi, Anda harus mengonfigurasi parameter berikut di Message Queue for Apache Kafka v2.x, tetapi tidak perlu mengonfigurasinya untuk versi sebelum v2.x.
   ssl.endpoint.identification.algorithm=

5. Konfigurasikan file java.security.auth.login.config.

   export KAFKA_OPTS="-Djava.security.auth.login.config=kafka_client_jaas.conf"                              

6. Jalankan perintah berikut untuk memulai proses migrasi:

   sh bin/kafka-mirror-maker.sh --consumer.config config/consumer.properties --producer.config config/producer.properties --whitelist topicName

Verifikasi hasil

Anda dapat memeriksa apakah MirrorMaker berjalan dengan benar menggunakan salah satu metode berikut:

• Jalankan kafka-consumer-groups.sh untuk melihat kemajuan konsumsi kluster yang dibuat pengguna.

  bin/kafka-consumer-groups.sh --new-consumer --describe --bootstrap-server titik akhir kluster yang dibuat pengguna --group test-consumer-group

• Kirim pesan ke kluster yang dibuat pengguna. Di konsol ApsaraMQ for Kafka, periksa status partisi topik, dan pastikan jumlah total pesan di broker saat ini sudah benar. Anda dapat melihat isi spesifik dari sebuah pesan di konsol ApsaraMQ for Kafka. Untuk informasi lebih lanjut, lihat Kueri Pesan.