Simple Log Service：Batasan impor data dari Kafka ke Layanan Log Sederhana

Item

Deskripsi

Format kompresi

Kafka Producer mendukung data yang dikompresi dalam format berikut: gzip, zstd, lz4, dan snappy. Kafka Producer membuang data yang dikompresi dalam format lain.

Anda dapat melihat jumlah entri data yang dibuang di bagan Deliver Failed pada dasbor Data Processing Insight. Untuk informasi lebih lanjut, lihat Lihat konfigurasi impor data.

Jumlah maksimum topik

Maksimum 10.000 topik dapat ditentukan dalam konfigurasi impor data.

Ukuran log tunggal

Ukuran log tunggal dibatasi hingga 3 MB. Jika ukuran log melebihi batas, log tersebut akan dibuang.

Anda dapat melihat jumlah log yang dibuang di bagan Deliver Failed pada dasbor Data Processing Insight. Untuk informasi lebih lanjut, lihat Lihat konfigurasi impor data.

Posisi awal

Saat Anda mengonfigurasi parameter Posisi Awal untuk konfigurasi impor data, Anda hanya dapat memilih Earliest atau Latest. Anda tidak dapat menentukan titik waktu sebagai posisi awal untuk impor data.

Item

Deskripsi

Jumlah konfigurasi impor data

Jumlah total konfigurasi impor data yang dapat dibuat dalam satu proyek dapat mencapai hingga 100 terlepas dari jenis konfigurasi. Jika Anda ingin meningkatkan batas, ajukan tiket.

Lebar pita jaringan

Saat tugas impor data membaca data dari kluster Alibaba Cloud Kafka melalui virtual private cloud (VPC), lebar pita jaringan maksimum yang diizinkan untuk tugas tersebut adalah 128 MB/s secara default. Jika Anda memerlukan lebar pita yang lebih tinggi, ajukan tiket.

Item

Deskripsi

Jumlah sub-tugas konkuren

Layanan Log Sederhana membuat beberapa sub-tugas impor untuk mengimpor data secara bersamaan berdasarkan jumlah topik Kafka di backend. Setiap sub-tugas dapat memproses data terdekompresi dengan laju maksimum 50 MB/s.

• Jika jumlah topik melebihi 2.000, Layanan Log Sederhana membuat 16 sub-tugas.

• Jika jumlah topik melebihi 1.000, Layanan Log Sederhana membuat 8 sub-tugas.

• Jika jumlah topik melebihi 500, Layanan Log Sederhana membuat 4 sub-tugas.

• Jika jumlah topik kurang dari atau sama dengan 500, Layanan Log Sederhana membuat 2 sub-tugas.

Jika Anda ingin meningkatkan batas, ajukan tiket.

Jumlah partisi untuk sebuah topik

Jika sebuah topik Kafka memiliki sejumlah besar partisi, sub-tugas tambahan dapat dibuat untuk meningkatkan throughput impor data.

Jika sebuah topik Kafka memiliki sejumlah besar data, Anda dapat meningkatkan jumlah partisi untuk topik tersebut. Kami merekomendasikan agar jumlah partisi untuk sebuah topik tidak kurang dari 16.

Jumlah shard dalam sebuah penyimpanan log

Performa penulisan Layanan Log Sederhana bervariasi berdasarkan jumlah shard dalam sebuah penyimpanan log. Satu shard mendukung kecepatan tulis hingga 5 MB/s. Jika tugas impor menulis sejumlah besar data ke Layanan Log Sederhana, kami merekomendasikan agar Anda meningkatkan jumlah shard dalam penyimpanan log. Untuk informasi lebih lanjut, lihat Kelola shard.

Kompresi data

Jika Anda ingin mengimpor sejumlah besar data dari Kafka ke Layanan Log Sederhana, kami merekomendasikan agar Anda mengompresi data saat menulis data ke Kafka. Dengan cara ini, jumlah data yang dibaca melalui jaringan secara signifikan berkurang.

Transmisi jaringan lebih memakan waktu daripada dekompresi data, terutama ketika data diimpor melalui Internet.

Jaringan

Jika kluster Alibaba Cloud Kafka Anda diterapkan dalam VPC, Anda dapat membaca data dari kluster melalui VPC. Ini mengurangi lalu lintas Internet dan mempercepat transmisi data. Dalam skenario ini, bandwidth pembacaan data dapat mencapai lebih dari 100 MB/s.

Saat Anda mengimpor data melalui Internet, performa dan bandwidth jaringan tidak dapat dijamin. Hal ini dapat menyebabkan latensi impor.

Item

Deskripsi

Latensi sinkronisasi metadata

Tugas impor menyinkronkan metadata kluster Kafka Anda dengan Layanan Log Sederhana setiap interval 10 menit. Jika sebuah topik atau partisi baru dibuat, metadata topik atau partisi tersebut diimpor setelah latensi sekitar 10 menit.

Masa berlaku offset untuk sebuah topik

Offset untuk sebuah topik Kafka berlaku hingga tujuh hari. Jika tidak ada data yang dibaca dari sebuah topik dalam tujuh hari, offset tersebut akan dibuang. Jika data baru ditulis ke topik setelah tujuh hari, Layanan Log Sederhana menentukan offset mana yang akan digunakan berdasarkan starting position yang ditentukan dalam konfigurasi impor data.