ApsaraMQ for Kafka:Kirim pesan dari Logstash ke ApsaraMQ for Kafka melalui Internet

Unduh sertifikat SSL

Beralih ke direktori bin Logstash dan unduh sertifikat truststore:

cd <logstash-install-dir>/bin
wget -O kafka.client.truststore.jks https://github.com/AliwareMQ/aliware-kafka-demos/raw/master/kafka-log-stash-demo/vpc-ssl/mix.4096.client.truststore.jks

Buat file konfigurasi JAAS

Buat file bernama jaas.conf di direktori bin Logstash dengan konten berikut:

KafkaClient {
  org.apache.kafka.common.security.plain.PlainLoginModule required
  username="<your-username>"
  password="<your-password>";
};

Ganti placeholder dengan nilai aktual Anda:

Buat file konfigurasi output Logstash

Buat file bernama output.conf di direktori bin Logstash dengan konten berikut:

input {
    stdin {}
}

output {
    stdout { codec => json }
    kafka {
        bootstrap_servers => "<your-endpoint>"
        topic_id => "<your-topic>"
        security_protocol => "SASL_SSL"
        sasl_mechanism => "PLAIN"
        jaas_path => "<logstash-install-dir>/bin/jaas.conf"
        ssl_truststore_password => "KafkaOnsClient"
        ssl_truststore_location => "<logstash-install-dir>/bin/kafka.client.truststore.jks"
        ssl_endpoint_identification_algorithm => ""
    }
}

Ganti placeholder berikut dengan nilai aktual Anda:

Parameter sisanya menggunakan nilai tetap. Jangan ubah nilai-nilai tersebut:

Kirim pesan uji coba

1. Jalankan Logstash dengan konfigurasi output:

      ./logstash -f output.conf

2. Setelah Logstash mulai berjalan, ketik test lalu tekan Enter. Output stdout menampilkan pesan secara lokal dalam format JSON, sedangkan output kafka mengirimkannya ke instans ApsaraMQ for Kafka Anda.

   

Periksa status partisi

1. Masuk ke Konsol ApsaraMQ for Kafka.

2. Pada bagian Resource Distribution di halaman Overview, pilih wilayah tempat instans Anda berada.

3. Pada halaman Instances, klik nama instans target.

4. Pada panel navigasi sebelah kiri, klik Topics.

5. Klik nama topik, lalu klik tab Partition Status pada halaman Topic Details.

   Parameter	Description
   Partition ID	ID partisi.
   Minimum Offset	Offset paling awal dalam partisi.
   Maximum Offset	Offset terbaru dalam partisi.
   Messages	Jumlah total pesan dalam partisi.
   Last Updated At	Waktu saat pesan terbaru disimpan.

   

Kueri pesan berdasarkan offset

1. Masuk ke Konsol ApsaraMQ for Kafka.

2. Pada bagian Resource Distribution di halaman Overview, pilih wilayah tempat instans Anda berada.

3. Pada halaman Instances, klik nama instans target.

4. Pada panel navigasi sebelah kiri, klik Message Query.

5. Dari daftar drop-down Search Method, pilih Search by offset.

6. Pilih topik dari daftar drop-down Topic, pilih partisi dari daftar drop-down Partition, masukkan nilai offset pada bidang Offset, lalu klik Search. Konsol mengembalikan semua pesan dengan offset lebih besar dari atau sama dengan nilai yang ditentukan. Sebagai contoh, mengatur Partition ke 5 dan Offset ke 5 akan mengembalikan semua pesan dari partisi 5 dengan offset 5 dan seterusnya.

   Parameter	Description
   Partition	Partisi tempat pesan disimpan.
   Offset	Offset pesan dalam partisi.
   Key	Kunci pesan, ditampilkan sebagai string.
   Value	Isi pesan, ditampilkan sebagai string.
   Created At	Timestamp saat pesan dikirim. Jika Anda menentukan nilai untuk bidang timestamp ProducerRecord, nilai yang ditentukan akan ditampilkan. Jika Anda tidak menentukan nilai, waktu sistem lokal saat pesan dikirim akan ditampilkan. Jika bidang timestamp diatur ke 0 atau nilai tidak valid, waktu akan ditampilkan dalam format 1970/x/x x:x:x. Klien pada ApsaraMQ for Kafka versi 0.9 atau lebih lama tidak dapat mengatur bidang ini.
   Actions	Download Key: Unduh kunci pesan. Download Value: Unduh isi pesan. Konsol menampilkan hingga 1 KB per pesan. Unduh pesan untuk melihat konten yang melebihi 1 KB. Maksimal 10 MB pesan dapat diunduh sekaligus.