Istilah ApsaraMQ for Kafka - ApsaraMQ for Kafka

Topik ini menjelaskan istilah-istilah yang digunakan dalam ApsaraMQ for Kafka untuk membantu Anda lebih memahami dan menggunakan layanan tersebut.

Apache Kafka

Platform terdistribusi sumber terbuka untuk pemrosesan aliran data secara real-time. Platform ini mendukung penerbitan, berlangganan, penyimpanan, dan pemrosesan aliran data. Untuk informasi lebih lanjut, lihat Apache Kafka.

ApsaraMQ for Kafka

Layanan Apache Kafka yang sepenuhnya dikelola oleh Alibaba Cloud. Layanan ini menghilangkan kebutuhan akan penyebaran serta operasi & pemeliharaan, menawarkan solusi hemat biaya dengan skalabilitas tinggi, keandalan, dan throughput. Untuk informasi lebih lanjut, lihat Apa itu ApsaraMQ for Kafka?

ZooKeeper

Layanan koordinasi terdistribusi sumber terbuka untuk aplikasi. Di ApsaraMQ for Kafka, ZooKeeper digunakan untuk mengelola kluster, konfigurasi, dan pemilihan pemimpin. ZooKeeper adalah bagian dari arsitektur ApsaraMQ for Kafka. Anda tidak perlu khawatir tentang pengelolaan ZooKeeper.

broker

Node server di ApsaraMQ for Kafka. ApsaraMQ for Kafka menyediakan layanan yang sepenuhnya dikelola yang secara otomatis menyesuaikan jumlah broker dan konfigurasi berdasarkan spesifikasi lalu lintas instance. Anda tidak perlu memperhatikan detail broker.

cluster

Kumpulan beberapa broker.

instance

Entitas sumber daya independen yang sesuai dengan sebuah kluster di ApsaraMQ for Kafka.

VPC-connected instance

Instance yang hanya menyediakan titik akhir virtual private cloud (VPC) dan hanya dapat diakses dari VPC tempat instance tersebut diterapkan.

Internet- and VPC-connected instance

Instance yang menyediakan titik akhir publik dan VPC serta dapat diakses dari VPC tempat instance tersebut diterapkan maupun melalui Internet.

major version upgrade

Peningkatan versi utama di mana nomor versi utama berubah. Misalnya, Anda dapat meningkatkan instance ApsaraMQ for Kafka dari versi 0.10.x ke versi 2.x. Untuk informasi lebih lanjut, lihat Tingkatkan versi instance.

minor version update

Pembaruan di mana nomor versi utama tetap sama. Misalnya, Anda dapat memperbarui instance ApsaraMQ for Kafka dari versi 0.10 ke versi 0.10.2 atau dari versi 0.10.2 ke versi kernel dioptimalkan 0.10.2. Untuk informasi lebih lanjut, lihat Tingkatkan versi instance.

endpoint

Alamat yang digunakan oleh produsen atau konsumen untuk terhubung ke ApsaraMQ for Kafka. Alamat ini dapat berupa alamat IP dan nomor port broker dalam format IP Broker:Nomor Port, atau nama domain dan nomor port instance ApsaraMQ for Kafka dalam format Nama Domain Instance:Nomor Port. Untuk informasi lebih lanjut, lihat Perbandingan antar endpoint.

message

Media untuk mentransfer informasi di ApsaraMQ for Kafka. Pesan dapat berupa tampilan halaman, log server, atau informasi tentang sumber daya sistem seperti CPU dan memori. Di ApsaraMQ for Kafka, pesan direpresentasikan sebagai larik byte.

message retention duration

Jangka waktu maksimum pesan dapat disimpan ketika kapasitas disk mencukupi.

Ketika penggunaan disk mencapai 85%, kapasitas disk dianggap tidak cukup dan sistem akan menghapus pesan dalam urutan penyimpanannya untuk memastikan ketersediaan layanan.
Nilai valid: 24 hingga 480. Nilai default: 72. Unit: jam.

maximum message size

Ukuran maksimum pesan yang dapat dikirim dan diterima di ApsaraMQ for Kafka.

Anda dapat menentukan ukuran pesan hingga 10 MB untuk instance Edisi Standar dan Edisi Profesional.
Sebelum mengubah ukuran pesan maksimum ke nilai baru, pastikan bahwa nilai baru sama dengan ukuran pesan maksimum yang ditentukan untuk produsen dan konsumen pesan di instance tersebut.

publish-subscribe model

Model komunikasi asinkron antar layanan. Penerbit mengirim pesan ke topik tertentu tanpa perlu mengetahui informasi tentang pelanggan yang berlangganan pesan tersebut. Pelanggan menerima pesan dari topik tertentu tanpa perlu mengetahui informasi tentang penerbit yang mengirim pesan tersebut. ApsaraMQ for Kafka mendukung model publish-subscribe. Untuk informasi lebih lanjut, lihat Model publish-subscribe ApsaraMQ Kafka.

subscription

Hubungan langganan antara grup konsumen dan topik. ApsaraMQ for Kafka memungkinkan Anda menanyakan status grup konsumen yang terhubung yang berlangganan ke topik tertentu. Status grup konsumen yang terputus tidak dapat ditanyakan.

producer

Aplikasi yang mengirim pesan ke ApsaraMQ for Kafka.

consumer

Aplikasi yang menerima pesan dari ApsaraMQ for Kafka.

group

Sekelompok konsumen dengan ID grup yang sama. Jika pesan dalam sebuah topik dikonsumsi oleh beberapa konsumen dalam group konsumen yang sama, setiap pesan dalam topik tersebut hanya akan dikirimkan ke salah satu konsumen. Hal ini menyeimbangkan beban di antara konsumen dan memungkinkan pesan dalam sebuah topik untuk dikonsumsi secara bersamaan.

topic

Topik pesan yang digunakan untuk mengklasifikasikan pesan.

topic traffic rebalance

Operasi yang merata mendistribusikan ulang lalu lintas topik setelah kluster ApsaraMQ for Kafka diperluas. Untuk informasi lebih lanjut, lihat Rebalans lalu lintas topik.

partition

Di ApsaraMQ for Kafka, setiap topik dibagi menjadi partisi. Setiap partisi adalah antrian pesan terurut yang memungkinkan pembacaan dan penulisan data secara independen. Jumlah partisi dalam topik ditentukan oleh throughput dan konkurensi kluster ApsaraMQ for Kafka.

replicas

ApsaraMQ for Kafka memungkinkan Anda membuat beberapa replika untuk setiap partisi guna memberikan redundansi data dan ketersediaan tinggi. Jumlah replika adalah total replika dari partisi. Dalam kebanyakan kasus, jumlah replika partisi ditentukan oleh ketersediaan dan kemampuan toleransi kesalahan kluster ApsaraMQ for Kafka. Meskipun meningkatkan ketersediaan dan redundansi data, sejumlah besar replika meningkatkan overhead penyimpanan dan jaringan. Secara default, setiap partisi memiliki tiga replika, yang berarti faktor replikasi partisi adalah 3.

partition replicas

Jumlah replika partisi adalah total replika dari semua partisi dalam topik. Jumlah replika partisi dihitung menggunakan rumus berikut: Jumlah replika partisi = Jumlah partisi dalam topik × Faktor replikasi partisi. Sebagai contoh, jika sebuah topik memiliki 10 partisi dan setiap partisi memiliki tiga replika, jumlah replika partisi dalam topik adalah 30. Jumlah replika partisi memengaruhi penyimpanan dan throughput kluster ApsaraMQ for Kafka. Meskipun meningkatkan toleransi kesalahan dan performa baca, sejumlah besar replika partisi meningkatkan overhead jaringan dan penyimpanan.

offset

Nomor urut yang ditetapkan ke pesan ketika pesan tiba di partisi.

earliest offset

Offset untuk pesan pertama dalam partisi. Untuk informasi tentang cara menanyakan offset paling awal dari partisi, lihat Lihat status partisi.

maximum offset

Offset untuk pesan terbaru dalam partisi. Untuk informasi tentang cara menanyakan offset terbaru dari partisi, lihat Lihat status partisi.

consumer offset

Offset terbaru dari pesan yang dikonsumsi dalam partisi. Untuk informasi tentang cara menanyakan offset konsumen, lihat Lihat informasi konsumen.

latest consumption time

Waktu ketika pesan terbaru yang dikonsumsi oleh grup dipublikasikan dan disimpan pada broker ApsaraMQ for Kafka. Jika tidak ada pesan yang terakumulasi, waktu tersebut mendekati waktu pengiriman pesan.

accumulated messages

Jumlah total pesan yang terakumulasi dalam partisi. Nilainya sama dengan offset terbaru dikurangi offset konsumen. Jumlah pesan terakumulasi adalah metrik kunci di ApsaraMQ for Kafka. Jika sejumlah besar pesan terakumulasi, konsumen mungkin terblokir, atau laju konsumsi tidak dapat mengimbangi laju produksi. Dalam hal ini, Anda harus menganalisis status konsumen dan meningkatkan laju konsumsi. Anda dapat menghapus semua pesan terakumulasi untuk mulai mengonsumsi pesan dari offset terbaru atau menyetel ulang offset konsumen berdasarkan titik waktu. Untuk informasi lebih lanjut, lihat Setel ulang offset konsumen.

local storage

Mesin penyimpanan yang menggunakan algoritma In-Sync Replicas (ISR) dari Apache Kafka asli. Jika Anda memiliki persyaratan khusus, seperti compaction, idempotensi, transaksi, dan pesan terurut berpartisi, kami sarankan Anda menggunakan penyimpanan lokal. Untuk informasi lebih lanjut, lihat Perbandingan antar mesin penyimpanan.

cloud storage

Mesin penyimpanan yang menggunakan algoritma untuk disk Alibaba Cloud. Penyimpanan cloud memiliki manfaat dari penyimpanan dasar Alibaba Cloud. Dibandingkan dengan penyimpanan lokal, penyimpanan cloud memberikan performa yang lebih baik dalam penskalaan otomatis, keandalan, ketersediaan, dan efisiensi biaya. Dalam kebanyakan kasus, kami sarankan Anda menggunakan penyimpanan cloud. Untuk informasi lebih lanjut, lihat Perbandingan antar mesin penyimpanan.

cleanup policy

Kebijakan pembersihan log. Anda hanya perlu mengonfigurasi kebijakan pembersihan log jika menggunakan penyimpanan lokal. Anda dapat menentukan penyimpanan lokal sebagai mesin penyimpanan hanya saat membuat topik pada instance Edisi Profesional ApsaraMQ for Kafka. ApsaraMQ for Kafka mendukung kebijakan pembersihan log berikut:

Delete: kebijakan pembersihan log default. Jika ruang penyimpanan yang cukup tersedia di sistem, pesan disimpan berdasarkan periode retensi maksimum. Setelah penggunaan penyimpanan melebihi 85%, sistem menghapus pesan yang disimpan paling awal untuk memastikan ketersediaan layanan.
Compact: kebijakan compaction log yang digunakan di Apache Kafka. Compaction log memastikan bahwa nilai terbaru disimpan untuk pesan yang memiliki kunci yang sama. Kebijakan ini cocok untuk skenario seperti memulihkan sistem yang gagal atau memuat ulang cache setelah sistem dimulai ulang. Sebagai contoh, ketika menggunakan Kafka Connect atau Confluent Schema Registry, Anda harus menyimpan informasi tentang status dan konfigurasi sistem dalam topik log-compacted.
Penting
Anda hanya dapat menggunakan topik log-compacted di komponen cloud-native tertentu, seperti Kafka Connect dan Confluent Schema Registry. Untuk informasi lebih lanjut, lihat aliware-kafka-demos.

normal message

Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama dalam urutan pengirimannya. Jika broker restart atau kegagalan terjadi di kluster, sejumlah kecil pesan dalam kluster mungkin tidak berurutan. Untuk informasi lebih lanjut, lihat Perbandingan antar mesin penyimpanan.

partitionally ordered message

Secara default, pesan dengan kunci yang sama disimpan dalam partisi yang sama dalam urutan pengirimannya. Jika kegagalan broker terjadi di kluster, pesan dalam kluster tetap berurutan. Namun, pesan dalam partisi tertentu tidak dapat dikirim sampai broker yang gagal dipulihkan. Untuk informasi lebih lanjut, lihat Perbandingan antar mesin penyimpanan.

connector

Komponen ApsaraMQ for Kafka yang menyinkronkan data antara ApsaraMQ for Kafka dan layanan Alibaba Cloud lainnya. Untuk informasi lebih lanjut, lihat Ikhtisar.

tag

Di ApsaraMQ for Kafka, tag digunakan untuk mengidentifikasi sumber daya. Anda dapat menggunakan tag untuk mengklasifikasikan sumber daya ApsaraMQ for Kafka berdasarkan fitur sumber daya untuk pencarian dan agregasi sumber daya yang mudah. Untuk informasi lebih lanjut, lihat Kelola tag.

RAM

Layanan yang disediakan oleh Alibaba Cloud untuk mengelola identitas pengguna dan izin akses sumber daya. Manajemen Akses Sumber Daya (RAM) hanya berlaku untuk skenario di mana Anda ingin menerapkan kontrol akses untuk pengguna yang mengirim dan menerima pesan di konsol ApsaraMQ for Kafka atau dengan memanggil operasi API. Untuk informasi lebih lanjut, lihat Ikhtisar.

ACL

Layanan yang disediakan oleh ApsaraMQ for Kafka untuk mengelola izin pengguna Simple Authentication and Security Layer (SASL) dan klien untuk mengirim dan menerima pesan menggunakan SDK. Fitur daftar kontrol akses (ACL) hanya berlaku untuk skenario di mana Anda ingin menerapkan kontrol akses untuk pengguna yang menggunakan SDK untuk mengirim dan menerima pesan. Untuk informasi lebih lanjut, lihat Ikhtisar.