konfigurasi berbasis skenario, templat berbasis skenario, konfigurasi kluster dinamis, konfigurasi templat indeks, konfigurasi siklus hidup indeks - Elasticsearch

Templat konfigurasi berbasis skenario menyediakan pengaturan kluster dan indeks terbaik untuk beban kerja umum seperti tujuan umum, analitik data, akselerasi database, dan pencarian. Pilih templat yang sesuai, lalu sistem akan menerapkan pengaturan yang direkomendasikan secara otomatis guna mengurangi masalah kluster dan kinerja akibat konfigurasi yang tidak tepat.

Templat konfigurasi berbasis skenario mencakup tiga jenis konfigurasi:

Konfigurasi kluster dinamis: Memodifikasi pengaturan tingkat kluster secara dinamis. Ini setara dengan menjalankan perintah PUT /_cluster/settings. Untuk informasi lebih lanjut, lihat Cluster update settings.
Konfigurasi templat indeks: Menentukan templat yang diterapkan secara otomatis saat Anda membuat indeks baru dan tidak memengaruhi indeks yang sudah ada. Ini setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Untuk informasi lebih lanjut, lihat Index templates.
Konfigurasi siklus hidup indeks: Mengotomatiskan transisi indeks melalui fase hot, warm, cold, dan delete. Ini setara dengan menjalankan perintah PUT _ilm/policy/aliyun_default_ilm_policy. Fitur ini hanya tersedia untuk instans versi 6.7.0 atau lebih baru yang memiliki node data cold. Untuk informasi lebih lanjut, lihat Setting up a new policy.

Berlaku untuk

Fitur ini hanya tersedia untuk kluster arsitektur v2. Untuk mengidentifikasi arsitektur kluster Anda:

Masuk ke Konsol Alibaba Cloud Elasticsearch. Di halaman Basic Information instans, lihat Control Architecture Type: Cloud-native Control Architecture (v3) atau Basic Control Architecture (v2).

Catatan penggunaan

Opsi templat yang tersedia bervariasi tergantung pada versi dan tipe instans. Periksa konsol untuk opsi terbaru. Instans yang mengaktifkan Indexing Service hanya mendukung skenario log.
Memodifikasi templat berbasis skenario setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Operasi ini tidak melakukan restart instans atau memengaruhi indeks yang sudah ada maupun status kluster.
Templat indeks yang direkomendasikan bernama aliyun_default_index_template dengan prioritas urutan Integer.MIN_VALUE+1, yang lebih rendah daripada templat kustom. Jangan ubah prioritas ini agar templat kustom Anda selalu memiliki prioritas lebih tinggi.
Kebijakan siklus hidup indeks yang direkomendasikan bernama aliyun_default_ilm_policy dan secara default diterapkan pada templat aliyun_default_index_template.
Mengaktifkan konfigurasi siklus hidup indeks tidak mencegah Anda membuat kebijakan siklus hidup indeks lain di kluster. Aksi close tidak didukung dalam kebijakan siklus hidup indeks.
Saat membeli instans baru, Anda dapat memilih skenario di halaman pembelian. Skenario tujuan umum dipilih secara default untuk instans Edisi Komersial, sedangkan skenario log untuk instans Edisi Enhanced. Setelah pembelian, templat yang sesuai akan diterapkan secara otomatis. Jika Scenario diatur ke None, ikuti langkah-langkah dalam topik ini untuk mengaktifkannya. Anda kemudian harus mengirimkan konfigurasi secara manual untuk menerapkan templat.
Opsi yang tersedia di konsol dapat berbeda tergantung pada versi manajemen instans Elasticsearch Anda. Jika konfigurasi berbasis skenario tidak tersedia di konsol, gunakan API Elasticsearch (PUT _template/aliyun_default_index_template) untuk mengonfigurasi pengaturan.
Jika kluster Anda tidak memiliki node data cold atau menjalankan versi sebelum 6.7.0, opsi konfigurasi siklus hidup indeks dinonaktifkan secara default. Untuk menggunakan fitur ini, lihat Elasticsearch ILM untuk petunjuk cara mengonfigurasinya secara manual.

Modifikasi templat konfigurasi berbasis skenario

Masuk ke Konsol Alibaba Cloud Elasticsearch.
Di panel navigasi sebelah kiri, klik Elasticsearch Clusters.
Arahkan ke instans target.
1. Di bilah menu atas, pilih kelompok sumber daya dan wilayah.
2. Di halaman Elasticsearch Clusters, klik ID instans target.
Di panel navigasi sebelah kiri, klik Cluster Configuration.
Di area Scenario-based Configuration, klik Scenario di samping Modify.
Di kotak dialog Select Scenario, pilih Scenario lalu klik OK. Ini adalah operasi dinamis dan tidak memerlukan restart kluster.
Modifikasi templat konfigurasi skenario.

Templat konfigurasi berbasis skenario mencakup tiga jenis konfigurasi:
- Konfigurasi kluster dinamis: Memodifikasi pengaturan kluster secara dinamis. Ini setara dengan menjalankan perintah PUT /_cluster/settings. Untuk informasi lebih lanjut, lihat Cluster update settings.
- Konfigurasi templat indeks: Menentukan templat yang diterapkan secara otomatis saat Anda membuat indeks baru. Perubahan pada templat tidak memengaruhi indeks yang sudah ada. Ini setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Untuk informasi lebih lanjut, lihat Index templates.
- Konfigurasi siklus hidup indeks: Untuk instans versi 6.7.0 atau lebih baru, Anda dapat mengaktifkan templat siklus hidup indeks. Ini setara dengan menjalankan perintah PUT _ilm/policy/aliyun_default_ilm_policy. Untuk informasi lebih lanjut, lihat Setting up a new policy.
Langkah-langkah berikut menunjukkan cara memodifikasi Index Template Configuration. Prosedurnya serupa untuk jenis konfigurasi lainnya.
1. Klik Index Template Configuration.
2. Di halaman Index Template Configuration, klik Apply.
  
  Fungsinya dijelaskan sebagai berikut:
  - Apply: Menerapkan templat yang direkomendasikan dari panel kanan ke konfigurasi saat ini di panel kiri. Anda kemudian dapat memodifikasi konfigurasi saat ini.
  - Compare: Menampilkan perbedaan antara konfigurasi saat ini dan templat yang direkomendasikan. Tombol ini hanya tersedia setelah Anda memodifikasi konfigurasi saat ini. Pengeditan dinonaktifkan dalam mode perbandingan.
  - Reset: Mengembalikan konfigurasi saat ini ke konfigurasi yang sedang aktif di kluster.
3. Di bagian Current Configuration di sebelah kiri, modifikasi konfigurasi templat saat ini.
4. Setelah melakukan perubahan, klik Compare untuk melihat perbedaan antara konfigurasi yang telah dimodifikasi dan templat yang direkomendasikan.
  
  Halaman perbandingan menampilkan konfigurasi saat ini di panel kiri dan konfigurasi yang direkomendasikan untuk skenario tujuan umum di panel kanan. Baris yang memiliki perbedaan disorot. Misalnya, ambang batas saat ini untuk semua level search.slowlog.threshold.fetch adalah 0ms, sedangkan nilai yang direkomendasikan adalah 200ms untuk warn, 50ms untuk trace, 80ms untuk debug, dan 100ms untuk info. Dari halaman perbandingan, Anda dapat mengklik apply untuk menerapkan konfigurasi yang direkomendasikan, mengklik cancel untuk kembali ke halaman edit, atau mengklik reset untuk mengembalikan nilai default.
5. Klik Cancel.
Klik Submit.

Setelah dikirim, konfigurasi yang dimodifikasi akan diterapkan ke kluster.

Parameter kluster dinamis

Setelah Anda mengaktifkan templat berbasis skenario, Anda dapat mengubah pengaturan kluster secara dinamis. Tabel berikut menjelaskan parameter konfigurasi kluster dinamis.

Parameter	Deskripsi
`cluster.routing.allocation.balance.index`	Faktor bobot untuk menyeimbangkan jumlah shard setiap indeks di seluruh node. Nilai default adalah 0.55f. Nilai yang lebih tinggi mendistribusikan shard untuk setiap indeks lebih merata di seluruh node dalam kluster. Untuk skenario pencarian, meningkatkan nilai ini menjadi 0.8f dapat meningkatkan kinerja kueri dengan membuat distribusi shard lebih seragam.
`cluster.routing.allocation.balance.shard`	Faktor bobot untuk jumlah total shard yang dialokasikan di sebuah node. Nilai default adalah 0.45f. Nilai yang lebih tinggi meningkatkan kecenderungan untuk menyeimbangkan jumlah total shard di seluruh node dalam kluster.
`search.max_buckets`	Jumlah maksimum bucket yang diizinkan dalam satu respons. Didukung di Elasticsearch 6.2 dan versi lebih baru. Nilai default adalah -1 (tanpa batas), meskipun peringatan deprecation dicatat saat hasil melebihi 10.000 bucket. Di Elasticsearch 7.x, nilai default adalah 10.000.

Parameter templat indeks

Setelah Anda mengaktifkan templat berbasis skenario, Anda dapat mengubah templat indeks kluster secara dinamis. Tabel berikut menjelaskan parameter templat indeks.

Penting

Templat indeks yang direkomendasikan bernama aliyun_default_index_template dengan prioritas urutan Integer.MIN_VALUE+1. Jangan ubah prioritas ini untuk menghindari konflik dengan templat kustom. Templat ini menyediakan pengaturan indeks yang direkomendasikan untuk kasus penggunaan Anda tanpa memengaruhi konfigurasi kustom.

Parameter sharding dan kinerja

Parameter	Deskripsi
`index_patterns`	Pola indeks untuk pencocokan templat. Pola ini mendukung wildcard dan default-nya adalah `*`. Kami tidak menyarankan mengubah pengaturan ini.
`index.number_of_shards`	Jumlah shard utama untuk sebuah indeks. Sebelum versi 7.x, default-nya adalah 5. Di versi 7.0 dan lebih baru, default-nya adalah 1. Mengatur nilai ini ke 1 secara efektif mengontrol jumlah shard di kluster dan mencegah masalah kinerja akibat jumlah shard yang berlebihan.
`index.refresh_interval`	Frekuensi operasi refresh. Default-nya adalah 1s. Jika visibilitas real-time tidak kritis, tingkatkan nilai ini (misalnya, menjadi 10s) untuk mengurangi overhead refresh dan meningkatkan kinerja kluster.
`index.unassigned.node_left.delayed_timeout`	Timeout untuk menunda alokasi shard replika setelah sebuah node meninggalkan kluster. Nilai default adalah 1min. Meningkatkan nilai ini (misalnya, menjadi 5min) dapat mempercepat pemulihan kluster.

Parameter penggabungan segmen

Parameter	Deskripsi
`index.merge.policy.segments_per_tier`	Jumlah segmen per tier. Nilai yang lebih kecil menghasilkan lebih sedikit segmen tetapi lebih banyak operasi merge, yang dapat menurunkan kinerja pengindeksan. Nilai default adalah 10. Nilai ini tidak boleh kurang dari `index.merge.policy.max_merge_at_once`.
`index.merge.policy.max_merged_segment`	Ukuran maksimum perkiraan satu segmen selama pengindeksan. Nilai default adalah 5 GB.

Parameter translog

Parameter

Deskripsi

index.translog.durability

Mengontrol apakah translog dipertahankan ke disk secara sinkron setelah setiap pembaruan data. Nilai yang valid:

request: Mempertahankan translog ke disk secara sinkron untuk setiap permintaan, memastikan tidak ada kehilangan data saat node gagal.
async: Mempertahankan translog ke disk secara asinkron pada interval reguler. Ini meningkatkan kinerja penulisan tetapi berisiko kehilangan data jika node gagal sebelum persistensi selesai.

Parameter log lambat

Parameter	Deskripsi
`index.search.slowlog.level`	Tingkat log untuk kueri lambat.
`index.search.slowlog.threshold.query.warn`	Ambang batas untuk log kueri lambat pada level warn.
`index.search.slowlog.threshold.query.info`	Ambang batas untuk log kueri lambat pada level info.
`index.search.slowlog.threshold.query.debug`	Ambang batas untuk log kueri lambat pada level debug.
`index.search.slowlog.threshold.query.trace`	Ambang batas untuk log kueri lambat pada level trace.
`index.search.slowlog.threshold.fetch.warn`	Ambang batas untuk log fetch lambat pada level warn.
`index.search.slowlog.threshold.fetch.info`	Ambang batas untuk log fetch lambat pada level info.
`index.search.slowlog.threshold.fetch.debug`	Ambang batas untuk log fetch lambat pada level debug.
`index.search.slowlog.threshold.fetch.trace`	Ambang batas untuk log fetch lambat pada level trace.
`index.indexing.slowlog.level`	Tingkat log untuk operasi pengindeksan lambat.
`index.indexing.slowlog.source`	Jumlah karakter `_source` yang dicatat.
`index.indexing.slowlog.threshold.index.warn`	Ambang batas untuk log pengindeksan lambat pada level warn.
`index.indexing.slowlog.threshold.index.info`	Ambang batas untuk log pengindeksan lambat pada level info.
`index.indexing.slowlog.threshold.index.debug`	Ambang batas untuk log pengindeksan lambat pada level debug.
`index.indexing.slowlog.threshold.index.trace`	Ambang batas untuk log pengindeksan lambat pada level trace.

Parameter lainnya

Parameter	Deskripsi
`index.lifecycle.name`	Nama kebijakan siklus hidup indeks.
`mappings._default_._all.enabled`	Mengontrol apakah bidang `_all` diaktifkan. Di versi 5.x, nilai default adalah `true` (kami menyarankan mengaturnya ke `false`). Di versi 6.x, nilai default adalah `false`. Parameter ini sudah usang di versi 7.x.

Parameter siklus hidup indeks

Kebijakan siklus hidup indeks menentukan bagaimana sebuah indeks bertransisi melalui berbagai fase. Saat diaktifkan, kebijakan ini bernama aliyun_default_ilm_policy dan secara default diterapkan pada templat aliyun_default_index_template. Anda dapat melihat kebijakan ini menggunakan API Elasticsearch: Getting templates dan Get lifecycle policy API.

Penting

Mengaktifkan konfigurasi siklus hidup indeks berbasis skenario tidak mencegah Anda membuat kebijakan siklus hidup indeks lain di kluster.
Opsi ini dinonaktifkan secara default pada kluster yang tidak memiliki node data cold atau menjalankan versi sebelum 6.7.0. Untuk menggunakan fitur ini, lihat Elasticsearch ILM untuk petunjuk cara mengonfigurasinya secara manual.
Aksi close tidak didukung dalam kebijakan siklus hidup indeks.

Parameter	Deskripsi
`phases.hot.min_age`	Usia minimum sebuah indeks sebelum memasuki fase hot.
`phases.hot.actions.set_priority.priority`	Prioritas indeks dalam fase hot.
`phases.warm.min_age`	Usia minimum sebuah indeks sebelum memasuki fase warm.
`phases.warm.actions.allocate.number_of_replicas`	Jumlah shard replika untuk indeks dalam fase warm.
`phases.warm.actions.allocate.require.box_type`	Atribut node yang diperlukan untuk alokasi shard dalam fase warm. Misalnya, Anda dapat mensyaratkan bahwa shard hanya dialokasikan ke node `warm`.
`phases.warm.actions.set_priority.priority`	Prioritas indeks dalam fase warm.
`phases.cold.min_age`	Usia minimum sebuah indeks sebelum memasuki fase cold.
`phases.cold.actions.set_priority.priority`	Prioritas indeks dalam fase cold.
`phases.delete.min_age`	Usia minimum sebuah indeks sebelum memasuki fase delete.