Alibaba Cloud Elasticsearch Edisi Kernel-enhanced dengan Layanan Pengindeksan menyediakan hosting write berbasis cloud yang menghadirkan layanan Elasticsearch berkinerja tinggi dengan biaya rendah untuk skenario log deret waktu, menggunakan model pembelian sesuai kebutuhan dan penagihan pay-as-you-go. Anda dapat memilih edisi ini berdasarkan kebutuhan baca/tulis bisnis Anda. Topik ini menjelaskan skenario penggunaan, arsitektur, penagihan, manfaat, batasan, serta hasil pengujian kinerja Layanan Pengindeksan.
Edisi Kernel-enhanced dengan Layanan Pengindeksan dibangun di atas arsitektur Pemisahan baca/tulis. Layanan Pengindeksan meng-host operasi write kluster Elasticsearch Anda di cloud dan memberikan optimasi komprehensif dalam pemilihan perangkat keras, arsitektur kluster, dan kinerja kernel. Selain meningkatkan kinerja write kluster, Anda dapat mengevaluasi kebutuhan baca dan tulis bisnis secara terpisah. Anda hanya membayar operasi write yang benar-benar dilakukan, tanpa perlu memesan resource untuk throughput write puncak kluster Anda. Hal ini secara signifikan mengurangi biaya resource serta biaya operasi dan maintenance (O&M) penggunaan Elasticsearch di cloud.
Layanan Pengindeksan kini tersedia di wilayah China (Hong Kong). Dukungan untuk wilayah lain akan ditambahkan di masa mendatang.
Skema Penggunaan
Layanan Pengindeksan cocok untuk skenario analitik data deret waktu yang memiliki transaksi write tinggi per detik (TPS), fluktuasi traffic write besar, dan kueri pencarian rendah per detik (QPS). Skema penggunaan khas meliputi: pengambilan dan analisis log; pemantauan dan analisis metrik; serta pengumpulan, pemantauan, dan analisis data perangkat keras cerdas Internet of Things (IoT).
Saat instans Edisi Kernel-enhanced dengan Layanan Pengindeksan yang diaktifkan melakukan sinkronisasi data dengan kluster Anda, proses sinkronisasi bergantung pada task apack/cube/metadata/sync. Anda dapat menjalankan perintah GET _cat/tasks?v untuk mengkueri informasi mengenai task tersebut. Jangan menghapus task tersebut secara manual. Jika task dihapus, segera jalankan perintah POST /_cube/meta/sync untuk memulihkannya. Jika tidak, operasi write bisnis Anda akan terganggu.
Arsitektur
Arsitektur Layanan Pengindeksan dibangun di atas Pemisahan baca/tulis dan memberikan keunggulan teknis berikut:
Berkinerja tinggi: optimasi write tingkat profesional. Layanan Pengindeksan mengoptimalkan kinerja write melalui fitur eksklusif Alibaba Cloud seperti replikasi fisik indeks, pemisahan komputasi dan penyimpanan, serta faster-bulk. Anda dapat memperoleh kinerja write tingkat profesional tanpa perlu melakukan perubahan konfigurasi apa pun.
Latensi rendah: replikasi fisik lintas-kluster secara real-time. Dengan replikasi fisik real-time tingkat segmen, latensi data rata-rata kluster Anda relatif terhadap kluster Layanan Pengindeksan berada pada orde ratusan milidetik saat traffic write mencapai kapasitas penuh.
Stabilitas tinggi: Pemulihan bencana geo. Layanan Pengindeksan menyediakan backup multi-kluster lintas wilayah. Jika suatu kluster mengalami gangguan, hosting indeks kluster Anda dapat dialihkan ke kluster sehat lainnya, sehingga lebih meningkatkan ketersediaan tinggi (HA) operasi write.
Penagihan
Layanan Pengindeksan mengenakan biaya hosting write, yang mencakup traffic write dan storage space yang di-host.
Biaya hosting write dikenakan dengan metode pay-as-you-go terlepas dari apakah instans Elasticsearch Anda menggunakan metode penagihan subscription atau pay-as-you-go. Biaya didasarkan pada traffic write aktual dan storage space yang di-host secara aktual. Untuk informasi harga, lihat Aturan Penagihan.
Meskipun biaya hosting write dikenakan saat Anda mengaktifkan Layanan Pengindeksan, layanan ini mengurangi biaya resource node yang menangani komputasi write di kluster Anda.
Manfaat
Biaya rendah: Biaya sumber daya komputasi tulis berkurang rata-rata 60%.
Scaling elastis: Layanan Pengindeksan mengalokasikan dan mengelola resource write di latar belakang cloud untuk menangani fluktuasi traffic write. Hal ini memberikan kemampuan scaling write elastis bagi kluster Elasticsearch dalam skenario log tanpa migrasi data, sehingga kluster Anda mampu menangani lonjakan traffic.
Tanpa operasi dan maintenance (O&M): Anda tidak perlu khawatir tentang resource write atau tekanan write kluster Elasticsearch Anda. Layanan Pengindeksan meng-host operasi write di cloud, sehingga secara signifikan mengurangi biaya O&M kluster.
Batasan
Layanan Pengindeksan menyediakan layanan hosting write arsitektur tanpa server untuk kluster Elasticsearch yang Anda buat. Namun, terdapat batasan pada operasi write data dan konfigurasi indeks saat menggunakan layanan ini. Tabel berikut menjelaskan batasan tersebut.
| Kategori | Item | Deskripsi | Keterangan |
| Dimensi instans | Perlindungan traffic write | Traffic write maksimum adalah 200 MB/detik. | Batas keras. Jika melebihi batas maksimum, kode status 429 dikembalikan dan pesan Inflow Quota Exceed ditampilkan. Untuk mengajukan batas yang lebih tinggi, submit a ticket. |
| Dimensi instans | Perlindungan jumlah dokumen write | Jumlah maksimum dokumen yang ditulis adalah 200.000 per detik. | Batas keras. Jika melebihi batas maksimum, kode status 429 dikembalikan dan pesan Write QPS Exceed ditampilkan. Untuk mengajukan batas yang lebih tinggi, submit a ticket. |
| Dimensi instans | Perlindungan throttling Put Mapping | Laju maksimum Put Mapping adalah 50 TPS. | Batas keras. Jika melebihi batas maksimum, kode status 429 dikembalikan dan pesan Catatan Operasi Put Mapping yang sering mengonsumsi banyak resource komputasi dan secara signifikan memengaruhi stabilitas layanan hosting. Untuk mengurangi operasi Put Mapping, definisikan templat indeks sebelum menulis data. |
| Dimensi shard | Traffic write | Traffic write maksimum tanpa primary key adalah 10 MB/detik. Traffic write maksimum dengan primary key adalah 5 MB/detik. | Batas lunak. Jika melebihi batas maksimum, kode status 429 dikembalikan dan pesan write_size blocked ditampilkan. Sistem tetap melayani permintaan Anda semaksimal mungkin, tetapi kualitas layanan tidak dijamin. |
| Dimensi shard | Dokumen yang ditulis | Jumlah maksimum dokumen yang ditulis adalah 5.000 per detik. | Batas lunak. Jika melebihi batas maksimum, sistem tetap melayani permintaan Anda semaksimal mungkin, tetapi kualitas layanan tidak dapat dijamin. |
| Jumlah shard | Jumlah maksimum shard yang dapat dibuat untuk satu indeks | Maksimal 300 shard dapat dibuat. | Tidak ada. |
| Konfigurasi | index.refresh_interval | Parameter ini dikonfigurasi secara default di kluster yang di-host di cloud, dan konfigurasi kustom Anda tidak berlaku. | Tidak ada. |
| Konfigurasi | index.translog.durability | Di kluster yang di-host di cloud, translog dikonfigurasi dalam mode write asinkron secara default (index.translog.durability=async), dan konfigurasi kustom Anda tidak berlaku. | Tidak ada. |
| Konfigurasi | Masukkan parameter seperti refresh dan merge. | Parameter write seperti refresh dan merge dikonfigurasi secara default di kluster yang di-host di cloud, dan konfigurasi kustom Anda tidak berlaku. | Konfigurasi default adalah sebagai berikut: "index.merge.policy.max_merged_segment" : "1024mb", "index.refresh_interval" : "30s", "index.translog.durability" : "async", "index.translog.flush_threshold_size" : "2gb", "index.translog.sync_interval" : "100s" |
| Indeks | Konfigurasi lifecycle | Anda tidak dapat menyesuaikan freeze dalam lifecycle indeks. | Tidak ada. |
| Indeks | Operasi Shrink | Tidak ada. | |
| Indeks | Waktu pembatalan hosting | Secara default, indeks secara otomatis dibatalkan hosting-nya 3 hari setelah di-host. | Anda dapat mengubah waktu pembatalan hosting dalam lifecycle sesuai dengan data bisnis Anda. |
| Indeks | Ingest Node | Konsep: Operasi pra-pemrosesan menggunakan serangkaian processor dan pipeline yang telah ditentukan sebelumnya untuk mentransformasi dan memperkaya data sebelum dokumen diindeks, yaitu sebelum data ditulis. Untuk informasi lebih lanjut, lihat Ingest Node. Rekomendasi penggunaan: Saat menggunakan Layanan Pengindeksan, jika Anda menggunakan ingest node untuk memproses dokumen sebelum pengindeksan, pemrosesan ingest dilakukan di kluster Anda. Kami menyarankan agar Anda menghindari logika pemrosesan yang terlalu kompleks. |
Pengujian kinerja
Lingkungan pengujian:
Spesifikasi kluster: spesifikasi 2-core 8 GB, 4-core 16 GB, dan 8-core 32 GB, masing-masing dengan 3 node data.
Konfigurasi indeks: Jumlah shard adalah 15 dan jumlah replica adalah 1. Write translog asinkron dan replikasi fisik keduanya diaktifkan, serta refresh_interval diatur ke 5 detik.
Hasil pengujian:
Spesifikasi Instance Edition Write TPS Write visibility latency 2 core dan 8 GB dengan 3 node data Edisi Standar 24.883 5 detik 2 core dan 8 GB dengan 3 node data Edisi Kernel-enhanced dengan Layanan Pengindeksan 226.649 6 detik 4 core dan 16 GB dengan 3 node data Edisi Standar 52.372 5 detik 4 core dan 16 GB dengan 3 node data Edisi Kernel-enhanced dengan Layanan Pengindeksan 419.574 6 detik 8 core dan 32 GB dengan 3 node data Edisi Standar 110.277 5 detik 8 core dan 32 GB dengan 3 node data Edisi Kernel-enhanced dengan Layanan Pengindeksan 804.010 6 detik Kesimpulan pengujian:
Hasil berikut membandingkan kinerja Edisi Kernel-enhanced dengan Layanan Pengindeksan dan Edisi Standar:
Berdasarkan spesifikasi 2-core 8 GB dengan 3 node data, kinerja meningkat sebesar 910%.
Berdasarkan spesifikasi 4-core 16 GB dengan 3 node data, kinerja meningkat sebesar 801%.
Berdasarkan spesifikasi 8-core 32 GB dengan 3 node data, kinerja meningkat sebesar 729%.