Elasticsearch：Gunakan plug-in aliyun-codec

Prasyarat

• Sebuah kluster Elasticsearch V7.10.0 Alibaba Cloud telah dibuat.

  Untuk informasi lebih lanjut, lihat Buat kluster Elasticsearch Alibaba Cloud.

• Versi kernel kluster Elasticsearch ditingkatkan sesuai kebutuhan bisnis Anda.

  • Versi kernel kluster Elasticsearch ditingkatkan ke V1.5.0 atau lebih baru untuk menggunakan fitur kompresi indeks.

  • Versi kernel kluster Elasticsearch ditingkatkan ke V1.6.0 atau lebih baru untuk menggunakan kedua fitur kompresi indeks dan source_reuse_doc_values.

  Untuk informasi lebih lanjut tentang cara meningkatkan versi kernel kluster Elasticsearch, lihat Tingkatkan versi kluster.

• Plug-in aliyun-codec telah diinstal untuk kluster Elasticsearch. Secara default, plug-in aliyun-codec diinstal untuk kluster Elasticsearch V7.10.0.

  Anda dapat memeriksa apakah plug-in telah diinstal melalui halaman Plug-in di konsol Elasticsearch. Jika belum diinstal, instal terlebih dahulu. Untuk informasi lebih lanjut, lihat Instal dan hapus plug-in bawaan.

Batasan

• Hanya kluster Elasticsearch V7.10.0 Alibaba Cloud dengan versi kernel V1.5.0 atau lebih baru yang mendukung fitur kompresi indeks dari plug-in aliyun-codec. Jika Anda menggunakan kluster Elasticsearch V6.7.0 Alibaba Cloud, hanya plug-in codec-compression yang dapat digunakan untuk kompresi. Untuk informasi lebih lanjut, lihat Gunakan plug-in codec-compression versi beta.

• Hanya kluster Elasticsearch V7.10.0 Alibaba Cloud dengan versi kernel V1.6.0 atau lebih baru yang mendukung fitur source_reuse_doc_values dari plug-in aliyun-codec. Secara default, fitur kompresi indeks diaktifkan dalam template indeks default aliyun_default_index_template dari kluster tersebut. Ini menunjukkan bahwa index.codec dalam template indeks default dari kluster tersebut disetel ke true.

Gunakan fitur kompresi indeks

1. Masuk ke konsol Kibana kluster Elasticsearch Anda dan buka halaman utama konsol Kibana sesuai petunjuk.

   Untuk informasi lebih lanjut tentang cara masuk ke konsol Kibana, lihat Masuk ke konsol Kibana.

   null

   Dalam contoh ini, kluster Elasticsearch V7.10.0 digunakan. Operasi pada kluster versi lain mungkin berbeda. Operasi aktual di konsol yang berlaku.

2. Di pojok kanan atas halaman yang muncul, klik Dev tools.

3. Pada tab Console, jalankan perintah untuk mengaktifkan kompresi indeks.

   Sebagai contoh, Anda dapat menjalankan perintah berikut untuk mengaktifkan kompresi indeks untuk indeks bernama test yang sudah ada:

   PUT test/_settings
   {
     "index.codec" : "ali"
   }

   Secara default, setelah kompresi indeks diaktifkan untuk indeks tersebut, sistem menggunakan algoritma kompresi zstd untuk mengompres dokumen berorientasi baris, kolom, dan terbalik dalam indeks.

   Anda juga dapat menggunakan algoritma kompresi lain untuk mengompres jenis dokumen tertentu dalam indeks. Kode berikut memberikan contoh tentang cara menggunakan algoritma zstd untuk mengompres dokumen berorientasi baris dan kolom, tetapi tidak mengaktifkan kompresi indeks untuk dokumen terbalik dalam indeks test.

   null

   Jika Anda ingin menonaktifkan kompresi indeks untuk jenis indeks tertentu, Anda dapat menyetel parameter terkait ke "". Sebagai contoh, parameter index.postings.compression disetel ke "" dalam kode berikut.

   PUT test/_settings
   {
     "index.codec":"ali",
     "index.doc_value.compression.default":"zstd",
     "index.postings.compression":"",
     "index.source.compression":"zstd"
   }

   Tabel berikut menjelaskan parameter terkait kompresi indeks.

   Parameter	Deskripsi Nilai
   index.doc_value.compression.default	lz4: menunjukkan bahwa algoritma kompresi Iz4 digunakan untuk mengompres dokumen berorientasi kolom. zstd: menunjukkan bahwa algoritma kompresi zstd digunakan untuk mengompres dokumen berorientasi kolom. null Plug-in aliyun-codec hanya dapat mengompres dokumen berorientasi kolom yang berisi bidang bertipe number, date, keyword, dan ip.
   index.postings.compression	zstd: menunjukkan bahwa algoritma kompresi zstd digunakan untuk mengompres dokumen terbalik.
   index.source.compression	zstd: menunjukkan bahwa algoritma kompresi zstd digunakan untuk mengompres dokumen berorientasi baris. Ukuran blok adalah 128 KB. zstd_1024: menunjukkan bahwa algoritma kompresi zstd digunakan untuk mengompres dokumen berorientasi baris. Ukuran blok adalah 1024 KB. zstd_dict: menunjukkan bahwa algoritma kompresi zstd digunakan untuk mengompres dokumen berorientasi baris dan fitur dict digunakan untuk menyimpan data dalam dokumen. zstd_dict memberikan rasio kompresi yang lebih tinggi tetapi performa baca dan tulis yang lebih rendah dibandingkan zstd. best_compression: menunjukkan bahwa algoritma kompresi best_compression yang disediakan oleh Elasticsearch sumber terbuka digunakan untuk mengompres dokumen berorientasi baris. default: menunjukkan bahwa algoritma kompresi default yang disediakan oleh Elasticsearch sumber terbuka digunakan untuk mengompres dokumen berorientasi baris.
   index.postings.pfor.enabled	Menentukan apakah akan mengoptimalkan encoding untuk dokumen terbalik. Nilai valid: true false Fitur ini disediakan oleh Elasticsearch sumber terbuka di versi 8.0. Fitur ini dapat mengurangi ruang penyimpanan sebesar 14,4% untuk bidang keyword, match_only_text, dan text serta mengurangi ukuran disk keseluruhan sebesar 3,5%. Kluster Elasticsearch Alibaba versi sebelumnya menyediakan fitur ini.

Gunakan fitur source_reuse_doc_values

Aktifkan fitur source_reuse_doc_values

PUT test
{
  "settings": {
    "index": {
      "ali_codec_service": {
        "source_reuse_doc_values": {
          "enabled": true
        }
      }
    }
  }
}

Ubah konfigurasi terkait fitur source_reuse_doc_values