Kernel-enhanced Edition clusters with Indexing Service - Elasticsearch

Anda dapat menggunakan Alibaba Cloud Elasticsearch Kernel-enhanced Edition clusters dengan Indexing Service yang diaktifkan sesuai kebutuhan baca dan tulis bisnis Anda. Dengan memanfaatkan kemampuan hosting tulis berbasis cloud dari Indexing Service, Anda dapat menikmati layanan Elasticsearch berbiaya rendah dan kinerja tinggi untuk skenario logging seri waktu. Layanan ini mendukung metode penagihan bayar sesuai pemakaian dan pembelian sesuai permintaan. Topik ini menjelaskan skenario, arsitektur, manfaat, serta hasil uji kinerja dari Indexing Service.

Berdasarkan arsitektur pemisahan baca/tulis, Elasticsearch Kernel-enhanced Edition clusters dengan Indexing Service yang diaktifkan tidak hanya memindahkan operasi tulis ke Indexing Service tetapi juga memberikan optimasi menyeluruh dalam hal pemilihan perangkat keras, arsitektur kluster, dan kinerja kernel. Indexing Service memungkinkan Anda mengevaluasi kebutuhan bisnis dari perspektif baca dan tulis serta membayar hanya untuk operasi tulis aktual, sambil meningkatkan kinerja tulis kluster. Anda dikenakan biaya berdasarkan jumlah data aktual yang ditulis, menghilangkan kebutuhan untuk memesan sumber daya berdasarkan throughput tulis puncak kluster. Hal ini secara signifikan mengurangi biaya sumber daya dan biaya O&M saat menggunakan Elasticsearch di cloud.

null

Indexing Service tersedia di wilayah China (Hong Kong). Pantau terus ketersediaannya di wilayah lain.

Skema

Indexing Service cocok untuk skenario analisis data seri waktu dengan transaksi tulis per detik (TPS) tinggi, fluktuasi lalu lintas tulis yang signifikan, dan permintaan per detik (QPS) rendah, seperti pengambilan dan analisis log, pemantauan dan analisis metrik, serta pengumpulan, pemantauan, dan analisis data perangkat IoT cerdas.

null

Sinkronisasi data antara Kernel-enhanced Edition cluster dengan Indexing Service yang diaktifkan dan kluster pengguna bergantung pada tugas apack/cube/metadata/sync. Anda dapat menjalankan perintah GET _cat/tasks?v untuk mendapatkan informasi tugas. Kami sarankan Anda tidak membersihkan tugas secara manual. Jika tugas dibersihkan, jalankan perintah POST /_cube/meta/sync untuk memulihkan tugas sesegera mungkin. Jika tidak, penulisan data akan terpengaruh.

Arsitektur

fig_01

Arsitektur ini memberikan manfaat sebagai berikut:

Kinerja tinggi: Indexing Service menyediakan optimasi tulis tingkat profesional untuk pembuatan indeks. Dengan memanfaatkan fitur yang dikembangkan oleh Alibaba Cloud, seperti replikasi fisik indeks, pemisahan komputasi dan penyimpanan, serta faster-bulk, Indexing Service secara signifikan meningkatkan kinerja tulis. Anda dapat menikmati kinerja tulis tingkat profesional tanpa perlu melakukan perubahan konfigurasi.
Latensi rendah: Indexing Service mendukung replikasi fisik lintas kluster secara real-time pada level segmen untuk memastikan bahwa bahkan dalam kondisi lalu lintas tulis jenuh, latensi data antara kluster pengguna dan kluster hosting tulis tetap berada dalam rentang ratusan milidetik.
Stabilitas tinggi: Untuk pemulihan bencana geografis, Indexing Service mendukung pencadangan multi-kluster lintas wilayah. Jika terjadi pengecualian di kluster, Anda dapat mentransfer indeks kluster ke kluster lain yang berfungsi untuk hosting. Hal ini lebih meningkatkan ketersediaan tulis.

Penagihan

Indexing Service mengenakan biaya untuk hosting tulis, mencakup biaya untuk lalu lintas tulis dan ruang penyimpanan untuk hosting.

null

Anda dikenakan biaya hosting tulis untuk kluster Elasticsearch berdasarkan jumlah data yang ditulis dan jumlah ruang penyimpanan yang digunakan untuk hosting, terlepas dari apakah metode penagihan kluster adalah langganan atau bayar sesuai pemakaian. Untuk informasi lebih lanjut, lihat Penagihan Elasticsearch.
Anda dikenakan biaya hosting tulis saat menggunakan Indexing Service. Indexing Service mengurangi biaya yang terkait dengan sumber daya yang digunakan untuk menangani operasi tulis di kluster.

Manfaat

Biaya rendah: Biaya sumber daya komputasi untuk operasi tulis berkurang rata-rata sebesar 60%.
Skalabilitas elastis: Sumber daya tulis disediakan dan dikelola oleh Indexing Service di latar belakang untuk menangani fluktuasi lalu lintas tulis. Hal ini memungkinkan penskalaan elastis kemampuan tulis di kluster Elasticsearch tanpa perlu migrasi data, sehingga memudahkan penanganan beban puncak dalam skenario logging.
Tidak memerlukan O&M: Anda tidak perlu mengelola sumber daya tulis atau beban tulis pada kluster Elasticsearch. Indexing Service menangani semua operasi tulis di cloud, yang sangat mengurangi biaya O&M kluster.

Batasan

Fitur hosting berbasis cloud menyediakan layanan tulis serverless untuk kluster Elasticsearch yang Anda buat. Namun, batasan tertentu diberlakukan pada penulisan data dan konfigurasi indeks saat menggunakan fitur tersebut. Tabel berikut menjelaskan batasan tersebut.

Kategori	Item	Batasan	Catatan
Kluster	Lalu lintas tulis	Throughput tulis maksimum dibatasi hingga 200 MB/s.	Jika batas dilampaui, kode status HTTP 429 dikembalikan dan pesan kesalahan "Inflow Quota Exceed" muncul. Jika Anda memerlukan throughput tulis lebih dari 200 MB/s, submit a ticket .
	Jumlah dokumen yang ditulis	Jumlah maksimum dokumen yang ditulis dibatasi hingga 200.000.	Jika batas dilampaui, kode status HTTP 429 dikembalikan dan pesan kesalahan "Write QPS Exceed" muncul. Jika Anda perlu memproses lebih dari 200.000 dokumen per detik, submit a ticket .
	Jumlah permintaan Put Mapping	Operasi Put Mapping memiliki batas laju 50 TPS.	Jika batas dilampaui, kode status HTTP 429 dikembalikan dan pesan kesalahan `PutMappingRequest blocked` muncul. null Permintaan Put Mapping yang sering mengonsumsi sejumlah besar sumber daya komputasi dan sangat memengaruhi stabilitas layanan hosting. Kami sarankan Anda mendefinisikan template indeks terlebih dahulu sebelum menulis data untuk mengurangi jumlah operasi Put Mapping.
Shard	Lalu lintas tulis	Lalu lintas tulis maksimum tanpa kunci utama adalah 10 MB/s. Lalu lintas tulis maksimum dengan kunci utama adalah 5 MB/s.	Jika batas dilampaui, kode status HTTP 429 dikembalikan dan pesan kesalahan `write_size blocked` muncul. Batas ini tidak diterapkan secara ketat. Jika batas tercapai, sistem terus menyediakan layanan, tetapi kualitas layanan tidak dapat dijamin.
Shard	Jumlah dokumen yang ditulis	Jumlah maksimum dokumen yang dapat ditulis per detik adalah 5.000.	Batas ini tidak diterapkan secara ketat. Jika batas tercapai, sistem terus menyediakan layanan, tetapi kualitas layanan tidak dapat dijamin.
Jumlah shard	Jumlah maksimum shard yang dapat dibuat untuk satu indeks	Anda dapat membuat hingga 300 shard untuk satu indeks.	Tidak ada.
Konfigurasi	index.refresh_interval	Di kluster hosting berbasis cloud, parameter ini dikonfigurasi secara otomatis, dan konfigurasi sisi klien untuk parameter ini tidak berlaku.	Tidak ada.
	index.translog.durability	Secara default, parameter index.translog.durability diatur ke async di kluster hosting berbasis cloud untuk mengaktifkan penulisan asinkron ke translog. Konfigurasi sisi klien untuk parameter ini tidak berlaku.	Tidak ada.
	Parameter tulis seperti refresh dan merge	Secara default, parameter tulis seperti refresh dan merge dikonfigurasi untuk kluster hosting berbasis cloud. Konfigurasi sisi klien untuk parameter ini tidak berlaku.	Konfigurasi default: `"index.merge.policy.max_merged_segment" : "1024mb", "index.refresh_interval" : "30s", "index.translog.durability" : "async", "index.translog.flush_threshold_size" : "2gb", "index.translog.sync_interval" : "100s"`
Indeks	Konfigurasi siklus hidup	Anda tidak dapat mengubah parameter freeze dalam siklus hidup indeks.	Tidak ada.
	Operasi shrink	Dalam konteks Indexing Service, indeks yang dihosting tidak kompatibel dengan operasi shrink yang ditentukan dalam tindakan Index Lifecycle Management (ILM). Kami sarankan Anda melakukan operasi shrink hanya jika indeks tidak dihosting. Untuk informasi lebih lanjut, lihat Shrink.	Tidak ada.
	Durasi setelah hosting dibatalkan	Hosting secara otomatis dinonaktifkan untuk indeks tiga hari setelah indeks dihosting.	Anda dapat mengubah durasi setelah hosting dibatalkan dalam siklus hidup data bisnis Anda.
Ingest Node	Definisi Operasi pra-pemrosesan memungkinkan Anda mentransformasi dan memperkaya data sebelum mengindeks dokumen atau menulis data. Operasi pra-pemrosesan dilakukan dengan menggunakan serangkaian prosesor dan pipeline yang telah ditentukan sebelumnya. Untuk informasi lebih lanjut, lihat Ingest Node. Saran Saat menggunakan layanan serverless untuk menulis data seri waktu, tugas ingest dijalankan di kluster pengguna jika Anda menggunakan ingest node untuk memproses dokumen sebelum mengindeks dokumen. Kami sarankan Anda tidak menggunakan logika pemrosesan yang sangat kompleks.

Pengujian kinerja

Lingkungan pengujian
- Dataset: nyc_taxis yang disediakan oleh Rally di Elasticsearch open source.
- Spesifikasi kluster: tiga node data dengan 2 core dan 8 GB memori, tiga node data dengan 4 core dan 16 GB memori, dan tiga node data dengan 8 core dan 32 GB memori.
- Konfigurasi indeks: 15 shard dan 1 replika. Penulisan asinkron ke translog dan replikasi fisik diaktifkan. Parameter refresh_interval diatur ke 5 detik.

Hasil pengujian

Spesifikasi	Edisi kluster	Tulis TPS	Keterlambatan visibilitas tulis
2 core, 8 GB memori (untuk tiga node data)	Standard Edition	24.883	5 detik
2 core, 8 GB memori (untuk tiga node data)	Kernel-enhanced Edition dengan Indexing Service diaktifkan	226.649	6 detik
4 core, 16 GB memori (untuk tiga node data)	Standard Edition	52.372	5 detik
4 core, 16 GB memori (untuk tiga node data)	Kernel-enhanced Edition dengan Indexing Service diaktifkan	419.574	6 detik
8 core, 32 GB memori (untuk tiga node data)	Standard Edition	110.277	5 detik
8 core, 32 GB memori (untuk tiga node data)	Kernel-enhanced Edition dengan Indexing Service diaktifkan	804.010	6 detik

Kesimpulan pengujian
Hasil perbandingan kinerja Kernel-enhanced Edition dengan Indexing Service diaktifkan dan Standard Edition:
- Untuk tiga node dengan 2 core dan 8 GB memori, kinerja meningkat sebesar 910%.
- Untuk tiga node dengan 4 core dan 16 GB memori, kinerja meningkat sebesar 801%.
- Untuk tiga node dengan 8 core dan 32 GB memori, kinerja meningkat sebesar 729%.