Topik ini menjelaskan batasan dalam mengimpor data dari Kafka ke Simple Log Service.
Batasan pengumpulan
| Limit | Description |
| Compression format | Kafka Producer harus menggunakan salah satu format kompresi berikut: gzip, zstd, lz4, atau snappy. Data yang dikompresi dengan format lain akan dibuang. Jumlah entri data yang dibuang ditampilkan sebagai Data Processing Insight pada dasbor Data Processing Insight. Untuk informasi selengkapnya, lihat View the data import configuration. |
| Maximum number of topics | Satu konfigurasi impor data mendukung maksimal 10.000 topic. |
| Maximum log size | Ukuran maksimum untuk satu log adalah 3 MB. Log yang melebihi batas ini akan dibuang. Jumlah log yang dibuang ditampilkan sebagai Data Processing Insight pada dasbor Data Processing Insight. Untuk informasi selengkapnya, lihat View the data import configuration. |
| Starting position | Anda hanya dapat mengatur posisi awal ke Earliest atau Latest. Impor data dari titik waktu tertentu tidak didukung. |
Batasan konfigurasi
| Limit | Description |
| Number of data import configurations | Satu Project mendukung maksimal 100 konfigurasi impor data dari semua jenis. Jika Anda memerlukan batas yang lebih tinggi, submit a ticket. |
| Bandwidth limit | Secara default, bandwidth jaringan maksimum adalah 128 MB/s ketika task impor data membaca data dari kluster Alibaba Cloud Kafka melalui VPC. Jika Anda memerlukan bandwidth lebih besar, submit a ticket. |
Batasan kinerja
| Limit | Description |
| Number of concurrent subtasks | Simple Log Service secara otomatis membuat beberapa subtask untuk mengimpor data secara konkuren berdasarkan jumlah topic. Setiap subtask dapat memproses data yang telah didekompresi dengan laju maksimum 50 MB/s.
Jika Anda memerlukan limit yang lebih tinggi, , ajukan Tiket, atau . |
| Number of topic partitions | Partisi yang lebih banyak dalam sebuah topic Kafka meningkatkan throughput dengan memungkinkan subtask melakukan scale out. Untuk topic dengan volume tinggi, kami menyarankan menambah jumlah partisi menjadi minimal 16. |
| Number of Logstore Shards | Kinerja penulisan Simple Log Service bergantung pada jumlah Shard di Logstore tujuan. Satu Shard mendukung throughput penulisan sebesar 5 MB/s. Untuk ingestion volume tinggi, kami menyarankan menambah jumlah Shard di Logstore tujuan. Untuk informasi selengkapnya, lihat Manage shards. |
| Data compression | Untuk volume data besar, kami menyarankan mengompresi data sebelum menulisnya ke Kafka. Hal ini secara signifikan mengurangi network traffic. Transmisi jaringan sering kali lebih memakan waktu dibandingkan dekompresi data, terutama saat mengimpor data melalui internet. |
| Network | Jika kluster Alibaba Cloud Kafka Anda berada di VPC, Anda dapat membaca data melalui jaringan VPC. Hal ini menghemat traffic internet dan memberikan kecepatan transmisi lebih cepat, dengan bandwidth mencapai lebih dari 100 MB/s. Saat Anda mengimpor data melalui internet, kinerja dan bandwidth jaringan tidak dijamin, yang dapat menyebabkan latensi impor. |
Batasan lainnya
| Limit | Description |
| Metadata synchronization latency | Task impor menyinkronkan metadata dari kluster Kafka setiap 10 menit. Untuk topic dan partisi yang baru ditambahkan, sinkronisasi metadata tertunda sekitar 10 menit. Catatan Jika posisi awal diatur ke Latest, data awal yang ditulis ke topic baru (hingga 10 menit data) mungkin dilewati. |
| Topic offset validity period | Periode validitas maksimum untuk offset topic adalah 7 hari. Jika tidak ada data yang dibaca dari sebuah topic selama 7 hari berturut-turut, offset sebelumnya akan dibuang. Saat data baru tiba, task impor menetapkan offset baru berdasarkan starting position dalam konfigurasi impor data. |