konfigurasi berbasis skenario, templat berbasis skenario, konfigurasi kluster dinamis, konfigurasi templat indeks, konfigurasi siklus hidup indeks - Elasticsearch

Templat konfigurasi berbasis skenario menyediakan pengaturan kluster dan indeks terbaik untuk beban kerja umum—serbaguna, analitik data, akselerasi database, dan pencarian. Pilih templat yang sesuai untuk menerapkan pengaturan yang direkomendasikan secara otomatis serta menghindari masalah kluster akibat konfigurasi yang tidak tepat.

Templat konfigurasi berbasis skenario mencakup tiga jenis konfigurasi:

Konfigurasi kluster dinamis: Memodifikasi pengaturan tingkat kluster secara dinamis. Ini setara dengan menjalankan perintah PUT /_cluster/settings. Untuk informasi lebih lanjut, lihat Cluster update settings.
Konfigurasi templat indeks: Mendefinisikan templat yang diterapkan secara otomatis saat membuat indeks baru dan tidak memengaruhi indeks yang sudah ada. Ini setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Untuk informasi lebih lanjut, lihat Index templates.
Konfigurasi siklus hidup indeks: Mengotomatiskan transisi indeks melalui fase hot, warm, cold, dan delete. Ini setara dengan menjalankan perintah PUT _ilm/policy/aliyun_default_ilm_policy. Fitur ini hanya tersedia untuk instans versi 6.7.0 atau lebih baru yang memiliki node data cold. Untuk informasi lebih lanjut, lihat Setting up a new policy.

Cakupan Penerapan

Fitur ini hanya tersedia untuk kluster arsitektur v2. Untuk mengidentifikasi arsitektur kluster Anda:

Masuk ke Konsol Alibaba Cloud Elasticsearch. Di halaman Basic Information instans, lihat Control Architecture Type: Cloud-native Control Architecture (v3) atau Basic Control Architecture (v2).

Catatan penggunaan

Templat yang tersedia bervariasi tergantung versi dan jenis instans. Periksa konsol untuk opsi terkini. Instans yang mengaktifkan Indexing Service hanya mendukung skenario log.
Memodifikasi templat berbasis skenario setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Operasi ini tidak melakukan restart instans atau memengaruhi indeks yang sudah ada maupun status kluster.
Templat indeks yang direkomendasikan bernama aliyun_default_index_template dengan prioritas urutan Integer.MIN_VALUE+1, yang lebih rendah daripada templat kustom. Jangan mengubah prioritas ini agar templat kustom Anda selalu memiliki prioritas lebih tinggi.
Kebijakan siklus hidup indeks yang direkomendasikan bernama aliyun_default_ilm_policy dan diterapkan ke templat aliyun_default_index_template secara default.
Mengaktifkan konfigurasi siklus hidup indeks tidak mencegah Anda membuat kebijakan siklus hidup indeks lain di kluster. Aksi close tidak didukung dalam kebijakan siklus hidup indeks.
Saat membeli instans baru, Anda dapat memilih skenario di halaman pembelian. Skenario serbaguna dipilih secara default untuk instans Edisi Komersial, sedangkan skenario log untuk instans Edisi Enhanced. Setelah pembelian, templat yang sesuai diterapkan secara otomatis. Jika Scenario diatur ke None, ikuti langkah-langkah dalam topik ini untuk mengaktifkannya dan mengirimkan konfigurasi secara manual.
Opsi konsol dapat bervariasi tergantung versi management. Jika konfigurasi berbasis skenario tidak tersedia di konsol, gunakan API Elasticsearch (PUT _template/aliyun_default_index_template) untuk mengonfigurasi pengaturan secara langsung.
Jika kluster Anda tidak memiliki node data cold atau menjalankan versi sebelum 6.7.0, opsi konfigurasi siklus hidup indeks dinonaktifkan secara default. Untuk menggunakan fitur ini, lihat Elasticsearch ILM untuk petunjuk cara mengonfigurasinya secara manual.

Modifikasi templat konfigurasi berbasis skenario

Masuk ke Konsol Alibaba Cloud Elasticsearch.
Di panel navigasi kiri, klik Elasticsearch Clusters.
Arahkan ke instans target.
1. Di bilah menu atas, pilih kelompok sumber daya dan wilayah.
2. Di halaman Elasticsearch Clusters, klik ID instans target.
Di panel navigasi kiri, klik Cluster Configuration.
Di area Scenario-based Configuration, klik Scenario di samping Modify.
Di kotak dialog Select Scenario, pilih Scenario, lalu klik OK. Ini adalah operasi dinamis dan tidak memerlukan restart kluster.
Modifikasi templat konfigurasi skenario.

Templat konfigurasi berbasis skenario mencakup tiga jenis konfigurasi:
- Konfigurasi kluster dinamis: Memodifikasi pengaturan kluster secara dinamis. Ini setara dengan menjalankan perintah PUT /_cluster/settings. Untuk informasi lebih lanjut, lihat Cluster update settings.
- Konfigurasi templat indeks: Mendefinisikan templat yang diterapkan secara otomatis saat Anda membuat indeks baru. Perubahan pada templat tidak memengaruhi indeks yang sudah ada. Ini setara dengan menjalankan perintah PUT _template/aliyun_default_index_template. Untuk informasi lebih lanjut, lihat Index templates.
- Konfigurasi siklus hidup indeks: Untuk instans versi 6.7.0 atau lebih baru, Anda dapat mengaktifkan templat siklus hidup indeks. Ini setara dengan menjalankan perintah PUT _ilm/policy/aliyun_default_ilm_policy. Untuk informasi lebih lanjut, lihat Setting up a new policy.
Langkah-langkah berikut menunjukkan cara memodifikasi Index Template Configuration. Prosedurnya serupa untuk jenis konfigurasi lainnya.
1. Klik Index Template Configuration.
2. Di halaman Index Template Configuration, klik Apply.
  
  Fungsinya dijelaskan sebagai berikut:
  - Apply: Menerapkan templat yang direkomendasikan dari panel kanan ke konfigurasi saat ini di panel kiri. Anda kemudian dapat memodifikasi konfigurasi tersebut.
  - Compare: Menampilkan perbedaan antara konfigurasi saat ini dan templat yang direkomendasikan. Tombol ini hanya tersedia setelah Anda memodifikasi konfigurasi saat ini. Pengeditan dinonaktifkan dalam mode perbandingan.
  - Reset: Mengembalikan konfigurasi saat ini ke konfigurasi yang sedang aktif di kluster.
3. Di bagian Current Configuration di sebelah kiri, modifikasi konfigurasi templat saat ini.
4. Setelah melakukan perubahan, klik Compare untuk melihat perbedaan antara konfigurasi yang telah dimodifikasi dan templat yang direkomendasikan.
  
  Halaman perbandingan menampilkan konfigurasi saat ini di panel kiri dan konfigurasi yang direkomendasikan untuk skenario serbaguna di panel kanan. Baris yang memiliki perbedaan disorot. Misalnya, ambang batas saat ini untuk semua tingkat search.slowlog.threshold.fetch adalah 0ms, sedangkan nilai yang direkomendasikan adalah 200ms untuk warn, 50ms untuk trace, 80ms untuk debug, dan 100ms untuk info. Dari halaman perbandingan, Anda dapat mengklik apply untuk menerapkan konfigurasi yang direkomendasikan, mengklik cancel untuk kembali ke halaman edit, atau mengklik reset untuk mengembalikan nilai default.
5. Klik Cancel.
Klik Submit.

Setelah dikirim, konfigurasi yang dimodifikasi diterapkan ke kluster.

Parameter kluster dinamis

Setelah Anda mengaktifkan templat berbasis skenario, Anda dapat mengubah pengaturan kluster secara dinamis.

Parameter	Description
`cluster.routing.allocation.balance.index`	Faktor bobot untuk menyeimbangkan jumlah shard setiap indeks di seluruh node. Nilai default adalah 0.55f. Nilai yang lebih tinggi mendistribusikan shard untuk setiap indeks lebih merata di seluruh node dalam kluster. Untuk skenario pencarian, meningkatkan nilai ini menjadi 0.8f dapat meningkatkan performa kueri dengan membuat distribusi shard lebih seragam.
`cluster.routing.allocation.balance.shard`	Faktor bobot untuk jumlah total shard yang dialokasikan di sebuah node. Nilai default adalah 0.45f. Nilai yang lebih tinggi meningkatkan kecenderungan untuk menyeimbangkan jumlah total shard di seluruh node dalam kluster.
`search.max_buckets`	Jumlah maksimum bucket yang diizinkan dalam satu respons. Didukung di Elasticsearch 6.2 dan versi lebih baru. Nilai default adalah -1 (tanpa batas), meskipun peringatan deprecation dicatat saat hasil melebihi 10.000 bucket. Di Elasticsearch 7.x, nilai default adalah 10.000.

Parameter templat indeks

Setelah Anda mengaktifkan templat berbasis skenario, Anda dapat mengubah templat indeks kluster secara dinamis.

Penting

Templat indeks yang direkomendasikan bernama aliyun_default_index_template dengan prioritas urutan Integer.MIN_VALUE+1. Jangan mengubah prioritas ini untuk menghindari konflik dengan templat kustom. Templat ini menyediakan pengaturan indeks yang direkomendasikan untuk kasus penggunaan Anda tanpa memengaruhi konfigurasi kustom.

Parameter sharding dan performa

Parameter	Description
`index_patterns`	Pola indeks untuk pencocokan templat. Pola ini mendukung wildcard dan default-nya adalah `*`. Kami tidak merekomendasikan memodifikasi pengaturan ini.
`index.number_of_shards`	Jumlah shard utama untuk sebuah indeks. Sebelum versi 7.x, default-nya adalah 5. Di versi 7.0 dan lebih baru, default-nya adalah 1. Mengatur nilai ini menjadi 1 secara efektif mengontrol jumlah shard di kluster dan mencegah masalah performa akibat jumlah shard yang berlebihan.
`index.refresh_interval`	Frekuensi operasi refresh. Default-nya adalah 1s. Jika visibilitas real-time tidak kritis, tingkatkan nilai ini (misalnya, menjadi 10s) untuk mengurangi overhead refresh dan meningkatkan performa kluster.
`index.unassigned.node_left.delayed_timeout`	Timeout untuk menunda alokasi shard replika setelah sebuah node meninggalkan kluster. Nilai default adalah 1min. Meningkatkan nilai ini (misalnya, menjadi 5min) dapat mempercepat pemulihan kluster.

Parameter penggabungan segmen

Parameter	Description
`index.merge.policy.segments_per_tier`	Jumlah segmen per tier. Nilai yang lebih kecil menghasilkan lebih sedikit segmen tetapi lebih banyak operasi merge, yang dapat menurunkan performa pengindeksan. Nilai default adalah 10. Di skenario Indexing Service, nilai default adalah 30. Nilai ini tidak boleh kurang dari `index.merge.policy.max_merge_at_once`.
`index.merge.policy.max_merged_segment`	Ukuran maksimum perkiraan satu segmen selama pengindeksan. Nilai default adalah 5 GB. Di skenario Indexing Service, nilai default adalah 1024mb.

Parameter translog

Parameter	Description
`index.translog.durability`	Mengontrol apakah translog dipertahankan ke disk secara sinkron setelah setiap pembaruan data. Nilai yang valid: `request`: Mempertahankan translog ke disk secara sinkron untuk setiap permintaan, memastikan tidak ada kehilangan data saat node gagal. `async`: Mempertahankan translog ke disk secara asinkron pada interval reguler. Ini meningkatkan performa penulisan tetapi berisiko kehilangan data jika node gagal sebelum persistensi selesai.
`index.translog.flush_threshold_size`	Ambang batas ukuran translog yang memicu operasi flush. Nilai default adalah 512mb. Di skenario Indexing Service, nilai default adalah 2gb. Meningkatkan nilai ini mengurangi frekuensi flush dan meningkatkan performa penulisan.
`index.translog.sync_interval`	Interval di mana translog dipertahankan ke disk secara asinkron. Nilai default adalah 5s. Di skenario Indexing Service, nilai default adalah 100s. Parameter ini hanya berlaku ketika `index.translog.durability` diatur ke `async`.

Parameter slow log

Parameter	Description
`index.search.slowlog.level`	Tingkat log untuk kueri lambat.
`index.search.slowlog.threshold.query.warn`	Ambang batas untuk log kueri lambat pada tingkat warn.
`index.search.slowlog.threshold.query.info`	Ambang batas untuk log kueri lambat pada tingkat info.
`index.search.slowlog.threshold.query.debug`	Ambang batas untuk log kueri lambat pada tingkat debug.
`index.search.slowlog.threshold.query.trace`	Ambang batas untuk log kueri lambat pada tingkat trace.
`index.search.slowlog.threshold.fetch.warn`	Ambang batas untuk log fetch lambat pada tingkat warn.
`index.search.slowlog.threshold.fetch.info`	Ambang batas untuk log fetch lambat pada tingkat info.
`index.search.slowlog.threshold.fetch.debug`	Ambang batas untuk log fetch lambat pada tingkat debug.
`index.search.slowlog.threshold.fetch.trace`	Ambang batas untuk log fetch lambat pada tingkat trace.
`index.indexing.slowlog.level`	Tingkat log untuk operasi pengindeksan lambat.
`index.indexing.slowlog.source`	Jumlah karakter `_source` yang akan dilog.
`index.indexing.slowlog.threshold.index.warn`	Ambang batas untuk log pengindeksan lambat pada tingkat warn.
`index.indexing.slowlog.threshold.index.info`	Ambang batas untuk log pengindeksan lambat pada tingkat info.
`index.indexing.slowlog.threshold.index.debug`	Ambang batas untuk log pengindeksan lambat pada tingkat debug.
`index.indexing.slowlog.threshold.index.trace`	Ambang batas untuk log pengindeksan lambat pada tingkat trace.

Parameter lainnya

Parameter	Description
`index.lifecycle.name`	Nama kebijakan siklus hidup indeks.
`mappings._default_._all.enabled`	Mengontrol apakah bidang `_all` diaktifkan. Di versi 5.x, nilai default adalah `true` (kami merekomendasikan mengaturnya ke `false`). Di versi 6.x, nilai default adalah `false`. Parameter ini sudah tidak digunakan lagi di versi 7.x.

Parameter siklus hidup indeks

Kebijakan siklus hidup indeks mendefinisikan bagaimana sebuah indeks bertransisi melalui fase hot, warm, cold, dan delete. Saat diaktifkan, kebijakan ini bernama aliyun_default_ilm_policy dan diterapkan ke templat aliyun_default_index_template secara default. Anda dapat melihat kebijakan ini melalui API Elasticsearch: Getting templates dan Get lifecycle policy API.

Penting

Mengaktifkan konfigurasi siklus hidup indeks berbasis skenario tidak mencegah Anda membuat kebijakan siklus hidup indeks lain di kluster.
Opsi ini dinonaktifkan secara default pada kluster yang tidak memiliki node data cold atau menjalankan versi sebelum 6.7.0. Untuk menggunakan fitur ini, lihat Elasticsearch ILM untuk petunjuk cara mengonfigurasinya secara manual.
Aksi close tidak didukung dalam kebijakan siklus hidup indeks.

Parameter	Description
`phases.hot.min_age`	Usia minimum sebuah indeks sebelum memasuki fase hot.
`phases.hot.actions.set_priority.priority`	Prioritas sebuah indeks di fase hot.
`phases.warm.min_age`	Usia minimum sebuah indeks sebelum memasuki fase warm.
`phases.warm.actions.allocate.number_of_replicas`	Jumlah shard replika untuk sebuah indeks di fase warm.
`phases.warm.actions.allocate.require.box_type`	Atribut node yang diperlukan untuk alokasi shard di fase warm. Misalnya, Anda dapat mensyaratkan bahwa shard hanya dialokasikan ke node `warm`.
`phases.warm.actions.set_priority.priority`	Prioritas sebuah indeks di fase warm.
`phases.cold.min_age`	Usia minimum sebuah indeks sebelum memasuki fase cold.
`phases.cold.actions.set_priority.priority`	Prioritas sebuah indeks di fase cold.
`phases.delete.min_age`	Usia minimum sebuah indeks sebelum memasuki fase delete.