Sebelum menggunakan ApsaraMQ for Kafka untuk mengirim dan menerima pesan, Anda perlu membuat topik dan grup pada instance ApsaraMQ for Kafka yang telah diterapkan. Di ApsaraMQ for Kafka, produsen mengirim pesan ke topik tertentu, lalu konsumen berlangganan topik tersebut untuk mengonsumsi pesan. Sebelum konsumen dapat mengonsumsi pesan, grup tempat konsumen berada harus berlangganan topik yang sesuai. Satu grup dapat berlangganan beberapa topik, dan satu topik dapat dilanggan oleh beberapa grup.
Prasyarat
Instance ApsaraMQ for Kafka telah dibeli dan diterapkan sesuai dengan tipe jaringan.
Langkah 1: Buat topik
Setelah menerapkan instance ApsaraMQ for Kafka, sistem secara otomatis membuat topik __alikafka_housekeeping_local_topic dan __alikafka_housekeeping_cloud_topic untuk inspeksi. Topik ini tidak dapat dihapus. Untuk informasi lebih lanjut, lihat Deskripsi Inspeksi.
Masuk ke Konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
PentingAnda harus membuat topik di wilayah tempat instance Elastic Compute Service (ECS) Anda diterapkan. Topik tidak dapat digunakan lintas wilayah. Misalnya, jika produsen dan konsumen pesan berjalan pada instance ECS yang diterapkan di wilayah Tiongkok (Beijing), topik juga harus dibuat di wilayah Tiongkok (Beijing).
Pada halaman Instances, klik nama instance yang ingin Anda kelola.
Di panel navigasi sebelah kiri, klik Topics.
Pada halaman Topics, klik Create Topic.
Di panel Create Topic, tentukan properti topik dan klik OK.
Parameter
Deskripsi
Contoh
Name
Nama topik.
demo
Description
Deskripsi topik.
demo test
Partitions
Jumlah partisi dalam topik.
12
Storage Engine
CatatanAnda hanya dapat menentukan tipe mesin penyimpanan jika Anda menggunakan instance Edisi Profesional non-serverless. Untuk jenis instance lainnya, Cloud Storage dipilih secara default.
Tipe mesin penyimpanan yang digunakan untuk menyimpan pesan dalam topik.
ApsaraMQ for Kafka mendukung tipe mesin penyimpanan berikut:
Cloud Storage: Jika Anda memilih nilai ini, sistem menggunakan disk Alibaba Cloud untuk topik dan menyimpan data dalam tiga replika dalam mode terdistribusi. Mesin penyimpanan ini memiliki latensi rendah, performa tinggi, daya tahan panjang, dan keandalan tinggi. Jika Anda mengatur parameter Instance Edition ke Standard (High Write) saat Anda membuat instance, Anda hanya dapat mengatur parameter ini ke Cloud Storage.
Local Storage: Jika Anda memilih nilai ini, sistem menggunakan algoritma in-sync replicas (ISR) dari Apache Kafka open source dan menyimpan data dalam tiga replika dalam mode terdistribusi.
Cloud Storage
Message Type
Tipe pesan dari topik. Nilai valid:
Normal Message: Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama sesuai urutan pengiriman pesan. Jika broker dalam kluster gagal, urutan pesan yang disimpan dalam partisi mungkin tidak dipertahankan. Jika Anda mengatur parameter Storage Engine ke Cloud Storage, parameter ini secara otomatis diatur ke Normal Message.
Partitionally Ordered Message: Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama sesuai urutan pengiriman pesan. Jika broker dalam kluster gagal, pesan tetap disimpan dalam partisi sesuai urutan pengiriman pesan. Pesan dalam beberapa partisi tidak dapat dikirim hingga partisi dipulihkan. Jika Anda mengatur parameter Storage Engine ke Local Storage, parameter ini secara otomatis diatur ke Partitionally Ordered Message.
Normal Message
Log Cleanup Policy
Kebijakan pembersihan log yang digunakan oleh topik.
Jika Anda mengatur parameter Storage Engine ke Local Storage, Anda harus mengonfigurasi parameter Log Cleanup Policy. Anda hanya dapat mengatur parameter Mesin Penyimpanan ke Penyimpanan Lokal jika Anda menggunakan instance Edisi Profesional ApsaraMQ for Kafka.
ApsaraMQ for Kafka menyediakan kebijakan pembersihan log berikut:
Delete: kebijakan pembersihan log default. Jika ruang penyimpanan yang cukup tersedia dalam sistem, pesan disimpan berdasarkan periode retensi maksimum. Setelah penggunaan penyimpanan melebihi 85%, sistem menghapus pesan yang tersimpan paling awal untuk memastikan ketersediaan layanan.
Compact: kebijakan kompaksi log yang digunakan dalam Apache Kafka. Kompaksi log memastikan bahwa nilai terbaru disimpan untuk pesan dengan kunci yang sama. Kebijakan ini cocok untuk skenario seperti memulihkan sistem yang gagal atau memuat ulang cache setelah sistem di-restart. Misalnya, ketika Anda menggunakan Kafka Connect atau Confluent Schema Registry, Anda harus menyimpan informasi tentang status dan konfigurasi sistem dalam topik yang dikompaksi-log.
PentingAnda hanya dapat menggunakan topik yang dikompaksi-log dalam komponen cloud-native tertentu, seperti Kafka Connect dan Confluent Schema Registry. Untuk informasi lebih lanjut, lihat aliware-kafka-demos.
Compact
Tag
Tag yang ingin Anda lampirkan ke topik.
demo
Setelah topik dibuat, Anda dapat melihat topik tersebut di halaman Topics.
Langkah 2: Buat grup
Masuk ke Konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution pada halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Pada halaman Instances, klik nama instance yang ingin Anda kelola.
Di panel navigasi sebelah kiri, klik Groups.
Pada halaman Groups, klik Create Group.
Di panel Create Group, masukkan nama grup di bidang Group ID dan deskripsi grup di bidang Description, lampirkan tag ke grup, lalu klik OK.
Setelah membuat grup konsumen, Anda dapat melihat grup konsumen tersebut di halaman Groups.
Referensi
Jika Anda tidak ingin membuat topik atau grup secara manual, Anda dapat mengaktifkan fitur pembuatan grup fleksibel dan fitur pembuatan topik otomatis. Untuk informasi lebih lanjut, lihat Gunakan fitur pembuatan grup fleksibel dan Secara otomatis buat topik.
Untuk informasi tentang cara membuat sumber daya dengan memanggil operasi API, lihat CreateTopic dan CreateConsumerGroup.
Setelah membuat sumber daya, Anda dapat menggunakan SDK untuk mengirim dan menerima pesan berdasarkan tipe jaringan. Untuk informasi lebih lanjut, lihat Langkah 4: Gunakan SDK untuk mengirim dan menerima pesan.