Plugin codec-compression adalah plugin kompresi indeks yang dikembangkan oleh tim Alibaba Cloud Elasticsearch. Plugin ini mendukung algoritma kompresi brotli dan zstd untuk mencapai rasio kompresi lebih tinggi pada indeks Anda, sehingga secara signifikan mengurangi biaya penyimpanan.
Prasyarat
Sebelum memulai, pastikan Anda telah menyelesaikan hal-hal berikut:
-
Buat kluster Alibaba Cloud Elasticsearch V6.7.0. Untuk informasi selengkapnya, lihat Buat kluster Alibaba Cloud Elasticsearch.
PentingPlugin codec-compression hanya tersedia untuk kluster Alibaba Cloud Elasticsearch V6.7.0.
-
Verifikasi bahwa plugin codec-compression telah terinstal. Plugin ini diinstal secara default pada kluster baru.
Anda dapat memeriksa status instalasi plugin codec-compression di halaman Plug-ins. Jika belum terinstal, instal secara manual. Untuk informasi selengkapnya, lihat Instal atau uninstal plugin bawaan.
Informasi latar belakang
Plugin codec-compression mendukung algoritma kompresi brotli dan zstd. Plugin ini cocok untuk beban kerja intensif menulis dengan biaya penyimpanan indeks tinggi, seperti logging dan analitik time-series, serta dapat secara signifikan mengurangi biaya penyimpanan indeks.
-
Lingkungan pengujian
-
Konfigurasi: Tiga node data, masing-masing dengan 16 core, memori 64 GB, dan disk cloud SSD 2 TB.
-
Set data: Set data nyc_taxis sebesar 74 GB dari repositori resmi esrally.
-
Pengaturan indeks: Pengaturan default digunakan. Operasi force merge dilakukan setelah data ditulis.
-
-
Hasil pengujian
Algoritma kompresi
Ukuran indeks (GB)
TPS tulis (dokumen/detik)
Algoritma kompresi default Elasticsearch (LZ4)
35,5
202682
best_compression (DEFLATE)
26,4
181686
brotli
24,4
182593
zstd
24,6
181393
-
Kesimpulan
Dibandingkan dengan algoritma kompresi default (LZ4), algoritma brotli dan zstd mengurangi performa penulisan sekitar 10% dan meningkatkan rasio kompresi hingga 45%, tanpa dampak pada performa kueri. Dibandingkan dengan pengaturan native best_compression (DEFLATE), algoritma ini meningkatkan rasio kompresi sebesar 8% tanpa memengaruhi performa penulisan maupun kueri.
Prosedur
-
Masuk ke Konsol Kibana.
Untuk informasi selengkapnya, lihat Masuk ke Konsol Kibana.
-
Di panel navigasi sebelah kiri, klik Dev Tools.
-
Di Console, jalankan perintah berikut untuk mengatur algoritma kompresi pada suatu indeks.
CatatanPada Alibaba Cloud Elasticsearch V6.7.0, pengaturan codec bersifat statis dan hanya dapat ditentukan saat pembuatan indeks. Anda tidak dapat mengubah codec pada indeks yang sudah ada. Untuk mengganti algoritma kompresi pada indeks yang sudah ada, Anda harus melakukan pengindeksan ulang datanya:
-
Buat indeks baru dan tentukan algoritma kompresi target dalam pengaturan indeks, misalnya
"codec": "brotli". -
Gunakan reindex untuk memindahkan data dari indeks lama ke indeks baru.
-
Setelah memverifikasi bahwa data sudah benar, hapus indeks lama.
-
Algoritma kompresi brotli
PUT index-1 { "settings": { "index": { "codec": "brotli" } } } -
Algoritma kompresi zstd
PUT index-1 { "settings": { "index": { "codec": "zstd" } } }
-