ApsaraMQ for Kafka：Batasan

Batasan

Batas

Deskripsi

Jumlah maksimum topik (total partisi)

Didukung

ApsaraMQ for Kafka menyimpan dan mengoordinasikan data di tingkat partisi. Terlalu banyak topik atau partisi menyebabkan fragmentasi penyimpanan, sehingga mengurangi kinerja dan stabilitas kluster.

Jumlah minimum partisi per topik

• Instans subscription dan pay-as-you-go:

  • Topik: cloud storage. Minimum: 2.

  • Untuk local storage, pengaturan Topik memiliki nilai minimum 1.

• Instans serverless:

  • Topik ini menggunakan penyimpanan cloud-native, dan nilai minimumnya adalah 1.

Jika traffic tinggi, satu partisi saja dapat menyebabkan data skew dan hot spot. Atur jumlah partisi secara tepat.

Mengurangi jumlah partisi untuk suatu topik

Tidak didukung

Hal ini dibatasi oleh desain Apache Kafka.

Ekspos ZooKeeper

Tidak didukung

Mulai dari Apache Kafka 0.9.0, client tidak lagi perlu mengakses ZooKeeper. Di ApsaraMQ for Kafka, ZooKeeper sebagian bersifat shared dan tidak diekspos karena alasan keamanan. Anda tidak perlu berinteraksi dengan ZooKeeper.

Login ke mesin tempat ApsaraMQ for Kafka diterapkan

Tidak didukung

Tidak ada.

Versi

2.2.x hingga 3.3.x

• Instans non-serverless mendukung versi 2.2.x hingga 2.6.x.

• Instans serverless mendukung versi 3.3.x.

Untuk meningkatkan versi Anda, lihat Upgrade instance versions.

Rasio partisi terhadap topik

1:1

Jumlah topik yang tersedia sama dengan jumlah total partisi. Misalnya, jika Anda membeli instans dengan 50 partisi, memilih spesifikasi traffic alikafka.hw.2xlarge, dan menerima 1.000 partisi gratis, total partisi Anda = 50 + 1.000 = 1.050. Dengan demikian, Anda dapat membuat hingga 1.050 topik.

Mengubah wilayah instans

Tidak didukung

Setelah pembelian dan penerapan, wilayah instans terikat erat dengan sumber daya fisik dan tidak dapat diubah. Untuk menggunakan wilayah berbeda, rilis instans tersebut dan beli instans baru.

Mengubah properti jaringan instans

Didukung

Anda dapat mengubah properti jaringan sesuai kebutuhan. Untuk detailnya, lihat Upgrade instance configurations.

Ukuran pesan

10 MB

Pesan tidak boleh melebihi 10 MB. Pesan yang lebih besar gagal dikirim.

Pemantauan dan Peringatan

Didukung

Data memiliki keterlambatan 1 menit.

Access point

Spesifikasi Pembelian

• Instans non-serverless:

  • Edisi Standar: mendukung endpoint default dan SSL.

  • Edisi Profesional: mendukung endpoint default, SSL, dan SASL.

• Instans serverless: mendukung endpoint default, SSL, dan SASL.

Penyimpanan cloud partisi tunggal

Dapat menjadi tidak tersedia selama gangguan atau peningkatan

Buat topik dengan lebih dari satu partisi. Jika workload Anda memerlukan satu partisi, gunakan local storage.

Jumlah maksimum pesan per batch

32.767

Jika ukuran pesan individual kecil, atur batch.size tidak lebih dari 16.384.

Batasan

Kondisi

Deskripsi

Instans subscription dan pay-as-you-go per jam

Serverless (Edisi Dasar)

Serverless (Edisi Standar dan Edisi Profesional)

Koneksi per node

• Koneksi dasar: 1.000.

• Tambahkan 1.000 koneksi untuk setiap peningkatan traffic aktual sebesar 100 MB/s.

• Maksimum: 10.000.

Rumus:

C = min(10000, 1000 + (F // 100) * 1000)

• Koneksi dasar: 2.000.

• Tambahkan 1.000 koneksi untuk setiap peningkatan kapasitas produksi reservasi sebesar 300 MB/s.

• Maksimum: 10.000.

Rumus:

C = min(10000, 2000 + (F // 300) * 1000)

Koneksi TCP per broker.

Untuk mengajukan peningkatan batas koneksi, silakan mengajukan tiket.

Koneksi Internet (SSL) per node

• Jumlah koneksi awal adalah 200.

• Tambahkan 100 koneksi untuk setiap peningkatan traffic aktual sebesar 100 MB/s.

• Maksimum: 1.000.

Rumus:

C = min(1000, 200 + (F // 100) * 100)

• Koneksi dasar: 200.

• Tambahkan 100 koneksi untuk setiap peningkatan kapasitas produksi reservasi sebesar 300 MB/s.

• Maksimum: 1.000.

Rumus:

C = min(1000, 200 + (F // 300) * 100)

Koneksi TCP Internet (SSL) per broker.

Upaya koneksi per detik per node

50 per detik

150 per detik

150 per detik

Upaya koneksi client ke server per detik, termasuk upaya gagal akibat kesalahan autentikasi.

Upaya koneksi Internet (SSL) per detik per node

10 per detik

Upaya koneksi Internet (SSL) client ke server per detik, termasuk upaya gagal akibat kesalahan autentikasi.

Ukuran batch

Pengiriman terfragmentasi terjadi jika ukuran batch TP50 berada di bawah 4 KB.

Ukuran batch pesan dalam permintaan PRODUCE setelah batching client. Gunakan versi client 2.4 atau lebih baru untuk meningkatkan batching. Lihat Improve sending performance (reduce fragmented requests).

Frekuensi Permintaan (Kluster)

• Dasar: 10.000 permintaan per detik.

• Tambahkan 2.000 permintaan per detik untuk setiap peningkatan traffic aktual sebesar 20 MB/s.

Rumus:

R = 10000 + (F // 20) * 2000

• Dasar: 10.000 permintaan per detik.

• Tambahkan 5.000 permintaan per detik untuk setiap peningkatan kapasitas produksi reservasi sebesar 300 MB/s.

Rumus:

R = 10000 + (F // 300) * 5000

• Dasar: 10.000 permintaan per detik.

• Tambahkan 2.000 permintaan per detik untuk setiap peningkatan kapasitas produksi reservasi sebesar 60 MB/s.

Rumus:

R = 10000 + (F // 60) * 2000

Jumlah permintaan PRODUCE yang dikirim client per detik.

Untuk meminta batas yang lebih tinggi, silakan submit a ticket.

Laju permintaan Fetch (kluster)

• Dasar: 5.000 permintaan per detik.

• Tambahkan 1.000 permintaan per detik untuk setiap peningkatan traffic konsumsi aktual sebesar 20 MB/s.

Rumus:

R = 5000 + (F // 20) * 1000

• Dasar: 5.000 permintaan per detik.

• Tambahkan 2.500 permintaan per detik untuk setiap peningkatan kapasitas konsumsi reservasi sebesar 100 MB/s.

Rumus:

R = 5000 + (F // 100) * 2500

• Dasar: 5.000 permintaan per detik.

• Tambahkan 1.000 permintaan per detik untuk setiap peningkatan kapasitas konsumsi reservasi sebesar 20 MB/s.

Rumus:

R = 5000 + (F // 20) * 1000

Jumlah permintaan FETCH yang dikirim client per detik.

Untuk meminta batas yang lebih tinggi, silakan mengajukan tiket.

Laju commit offset per node

• Dasar: 100 permintaan per detik.

• Tambahkan 100 permintaan per detik untuk setiap peningkatan traffic aktual sebesar 100 MB/s.

• Maksimum: 1.000 permintaan per detik.

Rumus:

R = min(1000, 100 + (F // 100) * 100)

• Dasar: 100 permintaan per detik.

• Tambahkan 100 permintaan per detik untuk setiap peningkatan kapasitas produksi reservasi sebesar 100 MB/s.

• Maksimum: 1.000 permintaan per detik.

Rumus:

R = min(1000, 100 + (F // 100) * 100)

Jumlah permintaan OFFSET_COMMIT yang dikirim client per detik.

Untuk meminta batas yang lebih tinggi, silakan submit a ticket.

Laju permintaan metadata (kluster)

• Dasar: 100 permintaan per detik.

• Tambahkan 100 permintaan per detik untuk setiap peningkatan traffic aktual sebesar 100 MB/s.

• Maksimum: 1.000 permintaan per detik.

Rumus:

R = min(1000, 100 + (F // 100) * 100)

• Dasar: 100 permintaan per detik.

• Tambahkan 100 permintaan per detik untuk setiap peningkatan kapasitas produksi reservasi sebesar 100 MB/s.

• Maksimum: 1.000 permintaan per detik.

Rumus:

R = min(1000, 100 + (F // 100) * 100)

Permintaan metadata client yang diterima server, seperti METADATA, INIT_PRODUCER_ID, CREATE_ACL, JOIN_GROUP.

Jumlah maksimum partisi

Untuk jumlah maksimum partisi per tipe instans, lihat Instance partitions.

Mencakup partisi dari semua jenis topik yang dibuat pengguna.

Untuk meminta batas yang lebih tinggi, silakan submit a ticket.

Laju pembuatan/penghapusan partisi (kluster)

900 partisi setiap 10 detik

Mencakup semua operasi melalui Konsol, OpenAPI, Kafka Admin, dan metode lainnya.

Kelompok konsumen per kluster

2.000 per kluster

Pertahankan rasio langganan topik terhadap kelompok sebesar 1:1. Jangan melebihi 3:1.

Jumlah kelompok konsumen yang digunakan.

Untuk mengajukan peningkatan batas, silakan ajukan Tiket.

Versi format pesan

Versi format pesan harus lebih besar dari V1 baik untuk operasi produce maupun consume.

Gunakan versi client 2.4 atau lebih baru.

Batasan lain

• Mengaktifkan algoritma kompresi seperti GZIP mengonsumsi lebih banyak sumber daya server, meningkatkan latency, dan mengurangi throughput.

• Inisialisasi Producer Id transaksional yang terlalu sering dapat menyebabkan luapan memori dan kelebihan beban server, sehingga memengaruhi stabilitas. Parameter kernel transactional.id.expiration.ms diatur ke 15 menit. Untuk persyaratan khusus, kirimkan Tiket.

• Timestamp pesan yang tidak valid akan diblokir. Saat message.timestamp.type=CreateTime, broker menolak pesan jika selisih antara timestamp penerimaan dan timestamp pesan melebihi message.timestamp.difference.max.ms. Hal ini mencegah pengaturan timestamp yang salah: terlalu kecil akan langsung menghapus LogSegments; terlalu besar mencegah penghapusan.

• Untuk mencegah kehabisan penyimpanan akibat penulisan abnormal ke topik compact, batas penyimpanan default per partisi topik compact adalah 5 GB. Untuk kebutuhan khusus, submit a ticket.

• Jika penggunaan CPU instans melebihi 85%, hal ini dapat menyebabkan ketidakstabilan, seperti gangguan atau jitter latency long-tail pada operasi produce atau consume.

• Kinerja Kafka bergantung pada sumber daya kluster. Distribusi pesan atau alokasi partisi yang tidak merata mencegah pemanfaatan kapasitas kluster secara optimal.

• Pesan transaksional open source memiliki masalah yang diketahui namun belum terselesaikan. Gunakan dengan hati-hati, seperti KAFKA-12671. Untuk informasi lebih lanjut, lihat KAFKA ISSUES.

• Kafka dapat mengirimkan pesan duplikat selama rebalancing. Implementasikan pemeriksaan idempotensi dalam logika konsumsi Anda untuk menghindari dampak bisnis.

Tidak ada