Gunakan Plugin analytic-search - Elasticsearch - Alibaba Cloud Documentation Center

Plugin analytic-search, yang dikembangkan oleh tim Alibaba Cloud Elasticsearch, adalah plugin untuk pencarian dan analisis log. Plugin ini menyediakan dua fitur: akselerasi kueri Kibana Discover dan kueri konkuren.

Catatan Penggunaan

Plugin analytic-search merupakan plugin sistem pra-instal yang tidak dapat diuninstall. Anda dapat melihatnya pada halaman konfigurasi plugin. Plugin ini mengharuskan kluster Alibaba Cloud Elasticsearch menggunakan versi 7.10.0 atau lebih baru dengan versi kernel 1.7.0 atau lebih baru.

Akselerasi Kueri Kibana Discover

Fitur ini mengurangi latensi kueri untuk kueri tanpa kondisi atau hanya dengan satu kondisi dengan mengoptimalkan strategi penggabungan indeks dan rencana eksekusi Date_histogram. Fitur ini ideal untuk pengambilan log di Kibana Discover.

Tolok Ukur Kinerja

Lingkungan pengujian: 10 node, masing-masing dengan 16 vCPU dan memori 64 GB. Set data berisi 60 miliar dokumen log bisnis per hari, didistribusikan ke dalam 12 indeks dengan masing-masing 60 shard.

Kondisi Kueri	SSD Standar	Ultra disk	OpenStore
Tanpa kondisi	Latensi berkurang 96%	Latensi berkurang 95%	Latensi berkurang 94%
Satu kondisi	Latensi berkurang 88%	Latensi berkurang 77%	Latensi berkurang 85%
Beberapa kondisi	Latensi berkurang 8%	Latensi berkurang 11%	Latensi berkurang 14%

Aktifkan Akselerasi Kueri Kibana Discover

Untuk mengaktifkan fitur ini, konfigurasikan pengaturan index.sort pada indeks Anda agar diurutkan berdasarkan bidang timestamp dalam urutan menurun (descending). Contoh berikut menggunakan @timestamp sebagai nama bidang; sesuaikan nama bidang dan urutan pengurutannya dengan data Anda.

PUT test_log
{
  "settings": {
    "index.points.same_sort_order_as_index_sort": true,
    "index.sort.field": [
      "@timestamp"
    ],
    "index.sort.order": [
      "desc"
    ]
  },
  "mappings": {
    "properties": {
      "@timestamp": {
        "type": "date"
      }
    }
  }
}

Kueri Konkuren

Fitur ini menjalankan fase recall kueri secara paralel untuk meningkatkan pemanfaatan resource dan mengurangi latensi rata-rata hingga 50%. Fitur ini paling cocok untuk skenario dengan QPS rendah, latensi recall tinggi, dan resource komputasi node yang mencukupi.

Tolok Ukur Kinerja

Lingkungan pengujian: Tiga node komputasi bersama tipe warm-hot OpenStore, masing-masing dengan 16 vCPU dan memori 64 GB. Set data berupa satu indeks log bisnis berukuran 1,6 TB yang berisi 6 miliar dokumen tersebar di 60 shard. Kueri terdiri dari 3 TermQuery(and) + TimeRange + Sort + Datehistogram, dengan 10 juta hit per shard (tingkat hit 10%).

Hasil pengujian:

Latensi kueri single-shard berkurang 65%.
Latensi kueri multi-shard berkurang 53%.

Aktifkan Kueri Konkuren

Jalankan perintah berikut untuk mengaktifkan fitur kueri konkuren:

PUT _cluster/settings
{
  "persistent": {
    "apack.analytic_search.doc_concurrency.enabled": "true"
  }
}

Setelah diaktifkan, kueri baru akan menggunakan kebijakan konkurensi default. Anda dapat menyesuaikan perilaku ini dengan parameter berikut.

Pengaturan Tingkat Kluster

Parameter	Default	Deskripsi
apack.analytic_search.doc_concurrency.enabled	false	Mengaktifkan atau menonaktifkan fitur kueri konkuren.
apack.analytic_search.doc_concurrency.concurrent.policy	80%:4;90%:2	Kebijakan konkurensi. Formatnya adalah `threshold1:concurrency1;threshold2:concurrency2`. Misalnya, `80%:4;90%:2` berarti node menggunakan konkurensi 4 ketika utilisasi CPU kurang dari 80%, konkurensi 2 ketika utilisasi CPU kurang dari 90%, dan 1 (dinonaktifkan) pada atau di atas 90%.
apack.analytic_search.doc_concurrency.min_support_doc	10000	Menonaktifkan kueri konkuren untuk indeks yang jumlah dokumennya kurang dari nilai ini.
apack.analytic_search.doc_concurrency.min_support_processors	4	Menonaktifkan kueri konkuren pada node dengan jumlah vCPU kurang dari nilai ini.
apack.analytic_search.doc_concurrency.max_support_heap_usage	80%	Menonaktifkan kueri konkuren pada node yang penggunaan heap JVM-nya melebihi persentase ini.
apack.analytic_search.doc_concurrency.max_support_cpu_usage	90	Menonaktifkan kueri konkuren pada node yang utilisasi CPU-nya melebihi persentase ini.

Pengaturan Tingkat Indeks

Parameter	Default	Deskripsi
index.apack.analytic_search.doc_concurrency.enabled	true	Mengaktifkan atau menonaktifkan kueri konkuren untuk indeks tersebut.