Topik ini menjelaskan batasan impor data dari Elasticsearch ke Layanan Log Sederhana.
Batasan pengumpulan
Item | Deskripsi |
Ukuran satu rekaman data | Ukuran satu rekaman data bisa mencapai hingga 3 MB. Jika ukuran satu rekaman data melebihi batas, rekaman tersebut akan dibuang. Grafik Data Processing Insight menampilkan jumlah rekaman data yang dibuang. Untuk informasi lebih lanjut, lihat Lihat konfigurasi impor data. |
Latensi data | Jika Anda menggunakan mode tambahan otomatis impor data, data terbaru yang ditulis ke Elasticsearch tidak langsung diimpor ke Layanan Log Sederhana. Penulisan data dipengaruhi oleh nilai parameter Maximum Latency in Seconds. Sebagai contoh, jika Anda mengatur parameter Maximum Latency in Seconds menjadi 300, data terbaru di Elasticsearch akan diimpor ke Layanan Log Sederhana 300 detik setelah data ditulis ke Elasticsearch. |
Batasan konfigurasi
Item | Deskripsi |
Jumlah konfigurasi impor data | Jumlah total konfigurasi impor data yang dapat dibuat dalam satu proyek bisa mencapai hingga 100 tanpa memandang jenis konfigurasi. Jika Anda ingin meningkatkan kuota, ajukan Tiket. |
Lebar pita jaringan | Saat tugas impor data membaca data dari kluster Alibaba Cloud Elasticsearch melalui virtual private cloud (VPC), lebar pita jaringan maksimum default yang diizinkan adalah 128 MB/s. Jika Anda memerlukan lebar pita yang lebih besar, ajukan Tiket. |
Batasan kinerja
Item | Deskripsi |
Jumlah tugas bersamaan | Tugas impor data menggunakan mode Scroll untuk menarik data Elasticsearch. Dalam mode ini, jumlah total shard yang digunakan untuk tugas bersamaan tidak boleh melebihi jumlah maksimum permintaan Scroll yang diizinkan pada Elasticsearch. Untuk mengubah jumlah maksimum permintaan Scroll yang diizinkan, Anda dapat mengonfigurasi ulang |
Kemampuan server Elasticsearch | Semakin besar ukuran kluster Elasticsearch dan semakin tinggi konfigurasi mesin, semakin tinggi throughput keseluruhan. |
Kompleksitas kueri | Jika kueri kompleks terlibat selama tugas impor data, server Elasticsearch mungkin memerlukan waktu lama untuk memproses permintaan kueri, dan kecepatan baca data keseluruhan terpengaruh. |
Jumlah shard dalam penyimpanan log | Kinerja penulisan Layanan Log Sederhana bervariasi berdasarkan jumlah shard dalam penyimpanan log. Satu shard mendukung kecepatan tulis sebesar 5 MB/s. Jika tugas impor menulis volume data yang besar ke Layanan Log Sederhana, kami sarankan Anda menambah jumlah shard untuk penyimpanan log. Untuk informasi lebih lanjut, lihat Kelola shard. |
Jaringan | Jika Anda menggunakan kluster Alibaba Cloud Elasticsearch dalam VPC atau kluster Elasticsearch yang dikelola sendiri pada instance Elastic Compute Service (ECS), Anda dapat membaca data melalui VPC. Dalam hal ini, tidak ada lalu lintas Internet yang dihasilkan, dan kecepatan transmisi bisa melebihi 100 MB/s. Saat Anda mengimpor data melalui Internet, kinerja dan lebar pita jaringan tidak dapat dijamin. Hal ini dapat menyebabkan latensi impor. |
Dampak pada server Elasticsearch
Item | Deskripsi |
Sesi pencarian berlebihan | Tugas impor data menggunakan mode Scroll untuk membaca data dari server Elasticsearch. Dalam mode ini, tugas membuat permintaan Scroll untuk setiap shard tempat indeks diimpor. Server Elasticsearch menyimpan informasi sesi untuk setiap permintaan Scroll. Ini mengonsumsi sumber daya memori server. |
Beban kerja berlebihan | Jika jumlah indeks yang ingin Anda impor besar dan dataset besar, beban kerja keseluruhan pada server Elasticsearch tinggi, dan ketersediaan keseluruhan layanan Elasticsearch terpengaruh. Jika beban kerja kluster Elasticsearch tinggi, Anda dapat mengajukan Tiket untuk menyesuaikan lalu lintas maksimum yang diizinkan untuk tugas impor data. |