Kompresi indeks Elasticsearch - Elasticsearch

codec-kompresi adalah plug-in kompresi indeks yang dikembangkan oleh Alibaba Cloud Elasticsearch. Plug-in ini mendukung algoritma kompresi Brotli dan zstd serta menawarkan rasio kompresi tinggi untuk indeks, secara signifikan mengurangi biaya penyimpanan.

Prasyarat

Kluster Alibaba Cloud Elasticsearch V6.7.0 telah dibuat. Untuk informasi lebih lanjut, lihat Buat kluster Alibaba Cloud Elasticsearch.
null
Plug-in codec-kompresi hanya tersedia di Alibaba Cloud Elasticsearch V6.7.0.
Plug-in codec-kompresi telah terpasang. Plug-in ini dipasang otomatis pada kluster baru.
Anda dapat memeriksa status pemasangan plug-in codec-kompresi di halaman Plug-ins. Jika belum terpasang, Anda perlu memasangnya secara manual. Untuk panduan lebih lanjut, lihat Pasang dan hapus plug-in bawaan.

Informasi latar belakang

Plug-in codec-kompresi mendukung algoritma kompresi Brotli dan zstd. Plug-in ini ideal untuk skenario dengan volume data besar atau biaya penyimpanan indeks tinggi, seperti pencatatan log dan analisis data deret waktu. Berikut adalah hasil pengujian kinerja plug-in:

Lingkungan Pengujian
- Konfigurasi kluster: 3 node data, masing-masing dengan 16 vCPU, 64 GiB memori, dan satu SSD standar berkapasitas 2 TiB.
- Dataset: 74 GiB nyc_taixs dari Rally, disediakan oleh Elasticsearch sumber terbuka.
- Pengaturan indeks: default (Anda dapat menggunakan API force merge setelah menulis data).
Hasil Pengujian
Algoritma kompresi
Ukuran indeks (GiB)
TPS (dokumen/d)
LZ4 (algoritma kompresi default Elasticsearch)
35.5
202682
best_compression (DEFLATE)
26.4
181686
Brotli
24.4
182593
zstd
24.6
181393
Kesimpulan Pengujian
Dengan menggunakan Brotli atau zstd, plug-in codec-kompresi mencapai rasio kompresi 45% lebih tinggi dibandingkan LZ4, dengan kinerja query tetap sama namun penurunan kinerja penulisan sebesar 10%. Dibandingkan best_compression (DEFLATE), plug-in ini mencapai rasio kompresi 8% lebih tinggi tanpa mengorbankan kinerja penulisan dan query.

Prosedur

Masuk ke konsol Kibana kluster Elasticsearch Anda.
Untuk detail lebih lanjut, lihat Masuk ke konsol Kibana.
Di panel navigasi kiri, klik Dev Tools.

Pada tab Console halaman yang muncul, jalankan perintah berikut untuk menentukan algoritma kompresi yang berbeda untuk indeks:

Algoritma kompresi Brotli

PUT index-1
{
    "settings": {
        "index": {
            "codec": "brotli"
        }
    }
}

Algoritma kompresi zstd

PUT index-1
{
    "settings": {
        "index": {
            "codec": "zstd"
        }
    }
}

Algoritma kompresi	Ukuran indeks (GiB)	TPS (dokumen/d)
LZ4 (algoritma kompresi default Elasticsearch)	35.5	202682
best_compression (DEFLATE)	26.4	181686
Brotli	24.4	182593
zstd	24.6	181393