Metrik pemantauan Elasticsearch dan penanganan exception - Elasticsearch

Alibaba Cloud Elasticsearch menyediakan metrik pemantauan dasar untuk kluster yang sedang berjalan, seperti kesehatan kluster, QPS kueri, pemanfaatan CPU node, dan penggunaan disk. Pelajari cara melihat detail pemantauan, memahami setiap metrik, exception umum, serta tindakan yang direkomendasikan.

Perbedaan pemantauan

Metrik pemantauan kluster dapat berbeda dari Kibana atau alat pihak ketiga karena alasan berikut:

Perbedaan periode sampling: Pemantauan kluster menggunakan periode sampling yang berbeda dari Kibana dan alat lainnya, sehingga menyebabkan variasi data.
Perbedaan algoritma kueri: Ketidakstabilan kluster memengaruhi pengumpulan data baik pada pemantauan kluster maupun Kibana. Misalnya, jitter kluster dapat menyebabkan metrik QPS menunjukkan lonjakan, nilai negatif, atau tidak ada data, sedangkan Kibana mungkin menampilkan nilai kosong untuk periode yang sama.

Catatan
Pemantauan kluster menyediakan lebih banyak metrik dibandingkan pemantauan Kibana. Sebagai contoh, pemantauan lanjutan memungkinkan Anda melihat metrik tingkat shard, termasuk QPS kueri, TPS tulis, dan latensi untuk setiap shard, sedangkan pemantauan Kibana hanya menyediakan metrik agregat tingkat kluster dan tingkat node. Gunakan pemantauan kluster bersama dengan pemantauan Kibana untuk menganalisis detail pemantauan.
Perbedaan sumber data: Kibana mengambil metrik dari API Elasticsearch. Pemantauan kluster mengumpulkan beberapa metrik tingkat node, seperti pemanfaatan CPU, load_1m, dan penggunaan disk, dari antarmuka sistem dasar. Metrik ini mencerminkan penggunaan sumber daya secara keseluruhan sistem, bukan hanya proses Elasticsearch.

Pemantauan kluster

Masuk ke Konsol Alibaba Cloud Elasticsearch.
Di bilah navigasi kiri, pilih Elasticsearch Clusters.
Arahkan ke kluster target.
1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster berada dan wilayah tempat kluster tersebut berlokasi.
2. Pada halaman Elasticsearch Clusters, temukan kluster tersebut lalu klik ID-nya.
Di panel navigasi sebelah kiri, pilih Monitoring and Logs > Cluster Monitoring.
Lihat detail pemantauan.
- Lihat detail Basic Monitoring
  
  Di tab Basic Monitoring, pilih Group Name dan rentang waktu untuk melihat detail pemantauan yang sesuai.
  Catatan
  
  Klik Custom untuk melihat detail pemantauan dalam rentang waktu kustom.
  
  Pemantauan dan alerting diaktifkan secara default. Lihat data historis di halaman Cluster Monitoring. Data memiliki granularitas satu menit dan disimpan selama 30 hari.
  
  Metrik pemantauan dasar tercantum dalam Ikhtisar metrik pemantauan dasar.

Metrik pemantauan dasar

Tabel berikut mencantumkan metrik pemantauan dasar untuk sebuah kluster.

Catatan

UI aktual dapat berbeda.

Ikhtisar

Nama metrik	Deskripsi
Status Kluster (nilai)	Menunjukkan kesehatan kluster. Nilai `0,00` menandakan kondisi sehat.
Status Snapshot (nilai)	Status snapshot dari fitur automatic backup. Nilai `0` menunjukkan bahwa snapshot tersedia.
Jumlah Total Node dalam Kluster (jumlah)	Jumlah total node dalam kluster.
Jumlah Total Node yang Tidak Dapat Diakses dalam Kluster (jumlah)	Jumlah total node yang tidak dapat diakses dalam kluster.
Jumlah Indeks Kluster (jumlah)	Jumlah indeks dalam kluster.
Jumlah Shard Kluster (jumlah)	Jumlah shard dalam kluster.
Jumlah Shard Utama Kluster (jumlah)	Jumlah shard utama dalam kluster.
Jumlah Kueri Lambat dalam Kluster (jumlah)	Jumlah kueri lambat dalam kluster.
QPS Tulis Kluster (jumlah/detik)	Jumlah dokumen yang ditulis ke kluster per detik.
QPS Kueri Kluster (jumlah/detik)	Kueri per detik (QPS) untuk kluster. Nilainya bergantung pada jumlah shard utama dalam indeks yang dikueri.
Pemanfaatan CPU Node_Layanan ES (%)	Pemanfaatan CPU setiap node.
Pemanfaatan Memori Heap Node_Layanan ES (%)	Pemanfaatan memori heap setiap node.
Penggunaan Disk Node (%)	Penggunaan disk setiap node. Kami merekomendasikan menetapkan ambang alarm penggunaan disk pada `75%`. Penggunaan tidak boleh melebihi `85%`.
Node Load_1m (nilai)	Beban sistem rata-rata selama `1 menit` terakhir untuk setiap node, mencerminkan beban kerja sistem. Nilai sehat biasanya kurang dari jumlah core CPU pada node tersebut.
Bandwidth Jaringan Node_Masuk (KiB/detik)	Laju data masuk untuk setiap node. Periode pemantauan: 1 menit. Satuan: KiB/detik.
Bandwidth Jaringan Node_Keluar (KiB/detik)	Laju data keluar untuk setiap node. Periode pemantauan: 1 menit. Satuan: KiB/detik.
Paket Jaringan Node_Masuk (jumlah)	Jumlah paket jaringan masuk untuk setiap node. Periode pemantauan: 1 menit.
Paket Jaringan Node_Keluar (jumlah)	Jumlah paket jaringan keluar dari setiap node. Periode pemantauan: 1 menit.
Koneksi TCP Node (jumlah)	Jumlah koneksi TCP yang dimulai klien ke setiap node.
IOUtil (%)	Pemanfaatan I/O untuk setiap node.
Bandwidth Disk_Baca (MiB/detik)	Jumlah data yang dibaca per detik dari setiap node dalam kluster.
Bandwidth Disk_Tulis (MiB/detik)	Jumlah data yang ditulis per detik ke setiap node dalam kluster.
IOPS Disk_Baca (jumlah)	Jumlah permintaan baca yang diselesaikan per detik pada setiap node dalam kluster.
IOPS Disk_Tulis (jumlah)	Jumlah permintaan tulis yang diselesaikan per detik pada setiap node dalam kluster.

Metrik kluster

Nama metrik	Deskripsi
Status Kluster (nilai)	Menunjukkan kesehatan kluster. Nilai `0,00` menandakan kondisi sehat.
Jumlah Total Node dalam Kluster (jumlah)	Jumlah total node dalam kluster.
Jumlah Total Node yang Tidak Dapat Diakses dalam Kluster (jumlah)	Jumlah total node yang tidak dapat diakses dalam kluster.
Jumlah Indeks Kluster (jumlah)	Jumlah indeks dalam kluster.
Jumlah Shard Kluster (jumlah)	Jumlah shard dalam kluster.
Jumlah Shard Utama Kluster (jumlah)	Jumlah shard utama dalam kluster.
Jumlah Kueri Lambat dalam Kluster (jumlah)	Jumlah kueri lambat dalam kluster.
Distribusi Waktu Kueri Lambat Kluster	Berdasarkan log dari `index.search.slowlog.query` dan `index.search.slowlog.fetch`. Mengagregasi data berdasarkan waktu eksekusi (took_millis) dalam interval `1 detik` (misalnya, 0–1 dtk, 1–2 dtk, hingga 10 dtk).
Status Snapshot (nilai)	Status snapshot dari fitur automatic backup. Nilai `0` menunjukkan bahwa snapshot tersedia.
QPS Tulis Kluster (jumlah/detik)	Jumlah dokumen yang ditulis ke kluster per detik.
QPS Kueri Kluster (jumlah/detik)	Kueri per detik (QPS) untuk kluster. Nilainya bergantung pada jumlah shard utama dalam indeks yang dikueri.
Penggunaan Memori Fielddata Kluster (B)	Memori heap yang digunakan oleh fielddata dalam kluster. Penggunaan tinggi dapat memicu circuit breaker fielddata dan memengaruhi stabilitas kluster.

Metrik indeks

Nama metrik	Deskripsi
TPS Tulis Bulk Indeks (jumlah/detik)	Permintaan bulk per detik untuk indeks.
QPS Kueri Indeks (jumlah/detik)	Kueri per detik (QPS) untuk suatu indeks. Nilainya bergantung pada jumlah shard utama dalam indeks yang dikueri.
Latensi End-to-End Kueri Indeks_maks (ms)	Waktu permintaan kueri maksimum untuk suatu indeks, dalam milidetik.

Metrik sumber daya node

Nama metrik	Deskripsi
Pemanfaatan CPU Node_Layanan ES (%)	Pemanfaatan CPU setiap node. Pemanfaatan CPU tinggi, atau mendekati 100%, dapat memengaruhi layanan kluster.
Pemanfaatan Memori Heap Node_Layanan ES (%)	Penggunaan memori heap untuk setiap node. Penggunaan tinggi atau objek memori besar dapat memengaruhi kinerja dan memicu operasi GC otomatis.
Penggunaan Disk Node (%)	Penggunaan disk setiap node. Kami merekomendasikan menetapkan ambang alarm penggunaan disk pada `75%`. Penggunaan tidak boleh melebihi `85%`.
Pemanfaatan Memori Node_Total (%)	Penggunaan memori sistem node. Catatan Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Persentase Waktu Tunggu I/O CPU Node (%)	Persentase waktu CPU menunggu operasi I/O. Catatan Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Load_1m Node (nilai)	Beban sistem rata-rata selama `1 menit` terakhir untuk setiap node, mencerminkan beban kerja sistem. Nilai sehat biasanya kurang dari jumlah core CPU pada node tersebut.
Pemanfaatan CPU Node_Total (%)	Penggunaan CPU total sebuah node, tidak termasuk waktu idle. Ini adalah jumlah penggunaan CPU dalam mode kernel, mode pengguna, dan status tunggu I/O. Catatan Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).

Metrik jaringan node

Nama metrik	Deskripsi	Keterangan
Bandwidth Jaringan Node_Masuk (KiB/detik)	Laju data masuk untuk setiap node dalam kluster. Periode pemantauan: 1 menit. Satuan: KiB/detik.	N/A
Bandwidth Jaringan Node_Keluar (KiB/detik)	Laju data keluar untuk setiap node dalam kluster. Periode pemantauan: 1 menit. Satuan: KiB/detik.	N/A
Bandwidth Jaringan Node (KiB/detik)	Bandwidth Jaringan Node (KiB/detik) = Bandwidth Jaringan Node_Masuk (KiB/detik) + Bandwidth Jaringan Node_Keluar (KiB/detik).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Pemanfaatan Bandwidth Jaringan Node (%)	Pemanfaatan bandwidth jaringan node (%) = (Bandwidth jaringan node_Input (KiB/detik) + Bandwidth jaringan node_Output (KiB/detik)) / bandwidth dasar jaringan node (Gbit/detik).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Koneksi TCP Node (jumlah)	Jumlah koneksi TCP yang dimulai klien ke setiap node.	N/A
Laju Pengiriman Ulang Jaringan Node (%)	Laju pengiriman ulang paket jaringan node.	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Paket Jaringan Node_Masuk (jumlah)	Jumlah paket jaringan masuk untuk setiap node. Periode pemantauan: 1 menit.	N/A
Paket Jaringan Node_Keluar (jumlah)	Jumlah paket jaringan keluar dari setiap node. Periode pemantauan: 1 menit.	N/A
Paket Jaringan Node (jumlah)	Paket Jaringan Node (jumlah) = Paket Jaringan Node_Keluar (jumlah) + Paket Jaringan Node_Masuk (jumlah).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Pemanfaatan Paket Jaringan Node (%)	Pemanfaatan Paket Jaringan Node (%) = (Paket Jaringan Node_Keluar (jumlah) + Paket Jaringan Node_Masuk (jumlah)) / PPS transmisi dan penerimaan paket jaringan node.	N/A

Metrik disk node

Nama metrik	Deskripsi	Keterangan
Bandwidth Disk_Baca (MiB/detik)	Jumlah data yang dibaca per detik dari setiap node dalam kluster.	N/A
Bandwidth Disk_Tulis (MiB/detik)	Jumlah data yang ditulis per detik ke setiap node dalam kluster.	N/A
Bandwidth Disk (MiB/detik)	Bandwidth Disk (MiB/detik) = Bandwidth Disk_Baca (MiB/detik) + Bandwidth Disk_Tulis (MiB/detik).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Pemanfaatan Bandwidth Disk_Disk Cloud (%)	Pemanfaatan Bandwidth Disk_Disk Cloud (%) = (Bandwidth Disk_Baca (MiB/detik) + Bandwidth Disk_Tulis (MiB/detik)) / throughput single-disk ESSD (MiB/detik).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3). Untuk informasi tentang throughput single-disk ESSD, lihat ESSD.
Pemanfaatan Bandwidth Disk_Node (%)	Pemanfaatan Bandwidth Disk_Node (%) = (Bandwidth Disk_Baca (MiB/detik) + Bandwidth Disk_Tulis (MiB/detik)) / bandwidth dasar disk cloud node (Gbit/detik).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
IOUtil (%)	Pemanfaatan I/O untuk setiap node.	N/A
IOPS Disk_Baca (jumlah)	Jumlah permintaan baca yang diselesaikan per detik pada setiap node dalam kluster.	N/A
IOPS Disk_Tulis (jumlah)	Jumlah permintaan tulis yang diselesaikan per detik pada setiap node dalam kluster.	N/A
IOPS Disk (jumlah)	IOPS Disk (jumlah) = IOPS Disk_Baca (jumlah) + IOPS Disk_Tulis (jumlah).	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Pemanfaatan IOPS Disk_Disk Cloud (%)	Pemanfaatan IOPS Disk_Disk Cloud (%) = (IOPS Disk_Baca (jumlah) + IOPS Disk_Tulis (jumlah)) / IOPS single-disk ESSD.	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3). Untuk informasi tentang throughput single-disk ESSD, lihat ESSD.
Pemanfaatan IOPS Disk_Node (%)	Pemanfaatan IOPS Disk_Node (%) = (IOPS Disk_Baca (jumlah) + IOPS Disk_Tulis (jumlah)) / IOPS dasar disk cloud node.	Metrik ini hanya didukung oleh lapisan kontrol cloud-native baru (v3).
Panjang antrian permintaan rata-rata	Panjang rata-rata antrian permintaan.	N/A

Metrik JVM node

Nama metrik	Deskripsi
Penggunaan Generasi Lama Node (B)	Memori heap generasi lama yang digunakan oleh setiap node. Penggunaan tinggi atau objek besar dapat memengaruhi kinerja dan memicu garbage collection (GC), berpotensi menyebabkan jeda panjang atau full GC.
Jumlah Full GC (jumlah)	Total event full GC dalam kluster dalam periode `1 menit`.
Frekuensi GC Generasi Lama Node (jumlah)	Event GC generasi lama pada setiap node. Penggunaan tinggi atau objek besar dalam generasi lama dapat memengaruhi kinerja kluster dan memicu GC otomatis. Mengumpulkan objek besar dapat menyebabkan jeda panjang atau full GC.
Waktu GC Generasi Lama Node (ms)	Waktu rata-rata yang dihabiskan untuk GC generasi lama pada setiap node. Penggunaan tinggi atau objek besar dalam generasi lama dapat memicu GC, dan mengumpulkan objek besar dapat menyebabkan jeda panjang atau full GC.

Metrik kolam thread

Nama metrik	Deskripsi
Thread Aktif Kolam Thread Pencarian (jumlah)	Thread yang sedang mengeksekusi tugas dalam kolam thread pencarian.
Jumlah Permintaan Ditolak oleh Thread Pool Pencarian (Baru)	Permintaan yang ditolak dalam kolam thread pencarian kluster.

Metrik lainnya

Nama metrik	Deskripsi
Jumlah Exception (jumlah)	Total entri log tingkat WARNING dalam log utama kluster dalam periode satu menit.

Metrik yang sudah tidak digunakan

Nama metrik	Deskripsi
Permintaan Ditolak Kolam Thread Pencarian (jumlah)	Permintaan yang ditolak dalam kolam thread kueri. Metrik ini dihitung berbeda dari metrik SearchThreadpoolRejectedV2 dan kini sudah tidak digunakan. Gunakan SearchThreadpoolRejectedV2 sebagai gantinya.

Status kluster (nilai)

Deskripsi metrik

Menunjukkan kesehatan kluster. Nilai 0,00 berarti kluster dalam kondisi sehat. Konfigurasikan alert untuk metrik ini. Konfigurasikan alert kluster. Tabel berikut mencantumkan nilai yang mungkin.

Nilai	Warna	Status	Deskripsi
0,00	Hijau	Semua shard utama dan replika telah dialokasikan.	Semua indeks dalam kluster sehat dan tidak memiliki shard yang tidak ditugaskan.
1,00	Kuning	Semua shard utama telah dialokasikan, tetapi satu atau lebih shard replika belum dialokasikan.	Setidaknya satu indeks memiliki shard replika yang tidak ditugaskan.
2,00	Merah	Setidaknya satu shard utama belum dialokasikan.	Setidaknya satu indeks memiliki shard utama yang tidak ditugaskan, yang berarti sebagian data tidak tersedia.

Catatan

Warna dalam tabel ini sesuai dengan status kluster yang ditampilkan di halaman Informasi Dasar instans Anda.

Penyebab status abnormal

Nilai selain 0,00 menunjukkan status kluster abnormal. Penyebab umum:

Pemanfaatan CPU tinggi atau penggunaan memori heap pada satu atau beberapa node, berpotensi mencapai 100%.
Penggunaan disk tinggi pada satu atau beberapa node, misalnya melebihi 85%.
Load_1m tinggi pada satu atau beberapa node.
Status kesehatan satu atau beberapa indeks berwarna kuning atau merah.

Rekomendasi troubleshooting

Periksa halaman Monitoring di Konsol Kibana, atau lihat log instans untuk detailnya. Misalnya, hapus indeks yang tidak diperlukan jika suatu indeks mengonsumsi terlalu banyak memori.
Jika penggunaan disk tinggi menyebabkan status abnormal, lihat Troubleshoot dan atasi penggunaan disk kluster tinggi serta masalah read-only.
Untuk tipe instans kecil (misalnya, CPU 1-core dan memori 2 GB), pertama-tama tingkatkan kluster ke tipe instans dengan rasio CPU-memori 1:4. Jika status tetap abnormal, ikuti dua rekomendasi di atas.

Status snapshot

Deskripsi

Menunjukkan status snapshot untuk fitur automatic backup. Nilai 0 menunjukkan bahwa snapshot tersedia.

Nilai	Deskripsi
0	Snapshot tersedia.
-1	Tidak ada snapshot.
1	Snapshot sedang berlangsung.
2	Tugas snapshot gagal.

Penyebab status abnormal

Nilai 2 menunjukkan kegagalan. Penyebab umum:

Penggunaan disk pada satu atau beberapa node tinggi atau mendekati 100%.
Kluster tidak sehat.

Jumlah node kluster

Jumlah total node dalam kluster. Gunakan ini untuk memastikan skala node sesuai ekspektasi.

Jumlah node yang terputus

Jumlah total node yang terputus. Node yang terputus dapat menyebabkan penugasan ulang shard atau meningkatkan latensi kueri.

Penyebab status abnormal

Nilai lebih besar dari 0 menunjukkan bahwa satu atau beberapa node terputus dari kluster. Penyebab umum:

Pemanfaatan CPU tinggi, penggunaan memori heap, atau penggunaan disk pada suatu node, berpotensi mendekati 100%, sehingga mencegah node merespons heartbeat kluster.
Partisi jaringan atau kegagalan konektivitas antara node dan node master.
Proses node crash atau mengalami error kehabisan memori (OOM), sehingga node meninggalkan kluster.
Pengumpulan sampah JVM yang sering, seperti full GC berkelanjutan, membuat node tidak responsif cukup lama sehingga ditandai sebagai terputus.
Kegagalan tingkat sistem, seperti masalah host dasar atau event perubahan sistem yang memengaruhi ketersediaan node.

Rekomendasi troubleshooting

Buka Event Center di Konsol Alibaba Cloud Elasticsearch dan periksa tab System Change dan Cluster Change untuk memastikan apakah event perubahan menyebabkan node terputus.
Di halaman Cluster Monitoring, tinjau pemanfaatan CPU, penggunaan memori heap, penggunaan disk, dan Load_1m setiap node selama jendela pemutusan untuk mengesampingkan kehabisan sumber daya. Untuk makna setiap metrik, lihat bagian terkait dalam topik ini.
Periksa status kesehatan kluster di halaman Monitoring Konsol Kibana, atau lihat log instans, untuk mendapatkan error spesifik yang dilaporkan saat node terputus.
Periksa konektivitas jaringan dan konfigurasi grup keamanan untuk node guna memastikan tidak ada perubahan aturan yang memblokir komunikasi antar node.

Jumlah indeks kluster

Jumlah indeks dalam kluster. Terlalu banyak indeks dapat menyebabkan konflik sumber daya (memori dan CPU).

Jumlah shard kluster (jumlah)

Jumlah shard dalam kluster. Terlalu banyak shard meningkatkan overhead manajemen, sedangkan terlalu sedikit menurunkan kinerja kueri karena beban tidak merata.

Jumlah shard utama kluster

Jumlah shard utama dalam kluster. Terlalu sedikit shard utama dapat menyebabkan bottleneck tulis.

Kueri lambat kluster

Jumlah kueri lambat dalam kluster. Gunakan ini untuk mengidentifikasi bottleneck kinerja seperti kueri kompleks atau masalah desain indeks.

QPS tulis kluster (jumlah/detik)

Penting

Peningkatan tiba-tiba pada QPS tulis dapat menyebabkan pemanfaatan CPU tinggi, penggunaan memori heap, atau beban node, sehingga menurunkan kinerja kluster. Hindari lonjakan ini.

Jumlah dokumen yang ditulis ke kluster per detik. Dihitung sebagai berikut:

Permintaan tulis dokumen tunggal dihitung sebagai 1. Beberapa permintaan dalam satu detik dijumlahkan.
Untuk permintaan API _bulk, QPS tulis sama dengan jumlah total dokumen dalam permintaan tersebut. Beberapa permintaan _bulk dalam satu detik dijumlahkan.

QPS kueri kluster (jumlah/detik)

Penting

Hindari lonjakan tiba-tiba pada QPS kueri. Lonjakan ini dapat menyebabkan pemanfaatan CPU tinggi, penggunaan memori heap, atau rata-rata beban 1 menit tinggi, sehingga menurunkan kinerja kluster.

QPS kueri untuk kluster. Nilainya bergantung pada jumlah shard utama dalam indeks yang dikueri.

Misalnya, mengkueri indeks dengan lima shard utama dihitung sebagai lima kueri terpisah.

Distribusi latensi kueri lambat kluster

Deskripsi metrik

Mengagregasi data dari entri index.search.slowlog.query dan index.search.slowlog.fetch. Mengelompokkan kueri berdasarkan waktu eksekusi (took_millis) dalam interval 1 detik (0–1 dtk, 1–2 dtk, hingga 10 dtk). Tentukan ambang kueri lambat Anda dengan parameter index.search.slowlog.threshold.xxx. konfigurasi templat indeks.

Penyebab umum nilai abnormal

Jika kueri lambat meningkat dalam rentang waktu tertentu, kemungkinan terdapat masalah layanan. Penyebab umum:

Penyebab	Deskripsi
QPS tinggi	Peningkatan tiba-tiba atau fluktuasi signifikan pada Query QPS atau write QPS meningkatkan beban kluster, sehingga memperpanjang waktu eksekusi kueri.
Kueri agregasi atau skrip	Kueri agregasi sangat intensif sumber daya. Gunakan dengan hati-hati.
Kueri term pada field numerik	Menjalankan banyak kueri term pada field numerik (byte, short, integer, long) bisa lambat karena pembuatan bitset untuk ID dokumen memakan waktu. Jika kueri range atau agregasi tidak diperlukan, ubah tipe field menjadi keyword.
Pencocokan fuzzy	Kueri wildcard, regex, atau fuzzy memindai daftar term indeks terbalik dan mengumpulkan ID dokumen yang cocok, mengonsumsi sumber daya besar. Lakukan uji stres untuk menentukan volume kueri yang sesuai.
Beberapa permintaan kueri atau tulis lambat individual	Fluktuasi QPS secara keseluruhan mungkin kecil. Untuk menyelidiki, buka halaman Query Logs dan klik Search Slow Log.
Jumlah indeks atau shard yang berlebihan dalam kluster	Terlalu banyak indeks atau shard dapat menyebabkan pemanfaatan CPU tinggi, penggunaan HeapMemory, atau Load_1m, sehingga menurunkan kinerja kueri secara keseluruhan.
Operasi merge	Operasi merge sangat intensif CPU dan menyebabkan penurunan tajam jumlah segmen. Pantau jumlah segmen di halaman Overview setiap node di Konsol Kibana.
Operasi garbage collection (GC)	Operasi GC, terutama full GC, membebaskan memori tetapi mengonsumsi CPU, menyebabkan lonjakan pemanfaatan CPU dan kueri lebih lambat.
Tugas terjadwal	Tugas terjadwal seperti pencadangan data dapat mengonsumsi sumber daya I/O signifikan, memengaruhi kecepatan kueri.

Penggunaan Memori Fielddata Kluster (B)

Deskripsi

Memori heap yang digunakan oleh Fielddata dalam kluster. Penggunaan Fielddata berlebihan dapat memicu pemutusan sirkuit dan memengaruhi stabilitas kluster.

Penyebab umum

Penggunaan Fielddata tinggi mengonsumsi memori heap dan dapat menyebabkan exception layanan. Penyebab umum:

Operasi sort atau agregasi yang sering pada field string (Text). Fielddata untuk kueri ini tidak dihapus secara default. Gunakan tipe field numerik sebagai gantinya.
Peningkatan tiba-tiba atau fluktuasi signifikan pada lalu lintas Query QPS atau write QPS. Hal ini menyebabkan Fielddata sering dimuat ke cache.
Terlalu banyak indeks atau shard meningkatkan overhead manajemen, menyebabkan CPU tinggi, HeapMemory, atau Load_1m.

TPS tulis bulk

Deskripsi

Jumlah permintaan bulk per detik untuk suatu indeks.

Penyebab umum exception

Metrik ini mungkin tidak menampilkan data karena alasan berikut:

Tekanan kluster tinggi mengganggu pengumpulan data pemantauan.
Pengiriman data pemantauan gagal.

IndexSearchQPS (jumlah/detik)

Deskripsi

Kueri per detik (QPS) untuk suatu indeks. Nilainya bergantung pada jumlah shard utama dalam indeks yang dikueri.

Misalnya, mengkueri indeks dengan lima shard utama dihitung sebagai 5 QPS.

Penyebab nilai abnormal

Metrik ini mungkin tidak menampilkan data. Alasan umum meliputi:

Beban kluster tinggi dapat mengganggu pengumpulan data pemantauan.
Pengiriman data pemantauan gagal.

Penting

Peningkatan tiba-tiba pada IndexSearchQPS dapat menunjukkan bahwa suatu indeks menyebabkan CPU tinggi, memori heap, atau Load_1m, memengaruhi stabilitas kluster. Pertimbangkan untuk mengoptimalkan indeks tersebut.

IndexSearchDelayMax (ms)

Latensi kueri maksimum pada suatu indeks, dalam milidetik.

Pemanfaatan CPU node (%)

Deskripsi metrik

Pemanfaatan CPU untuk setiap node. Pemanfaatan tinggi, terutama mendekati 100%, dapat memengaruhi layanan kluster.

Penyebab umum exception

Peningkatan tiba-tiba atau fluktuasi signifikan menunjukkan masalah layanan. Penyebab umum:

Penyebab	Deskripsi
QPS	Peningkatan tiba-tiba atau fluktuasi besar pada lalu lintas Query QPS atau write QPS.
Permintaan kueri atau tulis lambat	Fluktuasi QPS mungkin kecil. Untuk menyelidiki, buka halaman LogSearch dan klik Search Slow Log.
Indeks atau shard berlebihan	Terlalu banyak indeks atau shard meningkatkan overhead manajemen, menyebabkan CPU tinggi, HeapMemory, atau Load_1m.
Operasi merge kluster	Operasi merge mengonsumsi CPU dan menyebabkan penurunan tajam jumlah segmen. Periksa jumlah segmen di halaman Overview node di Konsol Kibana.
Operasi GC	Operasi GC, terutama full GC, membebaskan memori tetapi intensif CPU, menyebabkan lonjakan pemanfaatan CPU.
Tugas terjadwal	Menjalankan tugas terjadwal, seperti pencadangan data atau pekerjaan kustom lainnya, dapat mengonsumsi sumber daya besar.

Catatan

Pemanfaatan CPU node mencakup konsumsi sumber daya dari proses tingkat sistem dan tugas Elasticsearch.

Penggunaan disk node (%)

Penggunaan disk untuk setiap node. Pertahankan penggunaan disk di bawah 75% dan jangan melebihi 85%. Melebihi ambang ini dapat memengaruhi layanan kluster.

Penggunaan disk	Deskripsi
>85%	Kluster mencegah shard baru dialokasikan ke node tersebut.
>90%	Kluster mencoba memindahkan shard dari node tersebut ke node data lain dengan penggunaan disk lebih rendah.
>95%	Elasticsearch menerapkan pengaturan `read_only_allow_delete` ke semua indeks pada node tersebut. Tindakan ini memblokir operasi tulis. Anda hanya dapat membaca data dari atau menghapus indeks yang terpengaruh.

Penting

Konfigurasikan alert pemantauan untuk metrik ini. Jika dipicu, segera tingkatkan disk dan node atau bersihkan data indeks untuk mencegah gangguan.
Penggunaan disk node mencakup sumber daya yang digunakan oleh proses tingkat sistem dan tugas Elasticsearch.

Penggunaan memori heap node (layanan ES) (%)

Deskripsi

Penggunaan memori heap untuk setiap node. Penggunaan tinggi atau objek memori besar dapat memengaruhi kinerja dan memicu operasi GC.

Penyebab nilai abnormal

Peningkatan tiba-tiba atau fluktuasi signifikan sering menunjukkan anomali layanan. Penyebab umum:

Penyebab	Deskripsi
QPS	Peningkatan tiba-tiba atau fluktuasi besar pada Query QPS atau write QPS.
Beberapa permintaan kueri lambat	Fluktuasi QPS mungkin kecil. Untuk menyelidiki, analisis Search Slow Log di halaman LogSearch.
Banyak permintaan tulis lambat	QPS menunjukkan fluktuasi signifikan. Untuk menyelidiki, analisis Indexing Slow Log di halaman LogSearch.
Kluster memiliki terlalu banyak indeks atau jumlah total shard tinggi	Terlalu banyak indeks atau shard meningkatkan overhead manajemen, menyebabkan CPU tinggi, memori heap, atau Load_1m.
Operasi merge	Operasi merge intensif CPU dan menyebabkan penurunan tajam jumlah segmen. Periksa halaman Overview node di Konsol Kibana.
Operasi GC	Operasi GC, seperti Full GC, membebaskan memori tetapi mengonsumsi sumber daya CPU. Hal ini dapat menyebabkan penurunan tajam penggunaan memori heap.
Tugas terjadwal	Misalnya, pencadangan data atau tugas kustom lainnya.

Node Load_1m

Deskripsi

Rata-rata beban 1 menit untuk setiap node, menunjukkan beban kerja sistem. Nilai normal kurang dari jumlah core CPU. Tabel berikut menjelaskan nilai untuk node single-core.

Node Load_1m	Description
<1	Tidak ada proses yang menunggu sumber daya.
=1	Sistem dimanfaatkan sepenuhnya dan tidak memiliki kapasitas untuk proses tambahan.
>1	Proses sedang dalam antrian, menunggu sumber daya.

Catatan

Metrik Node Workload Within One Minute mencakup konsumsi sumber daya dari proses tingkat sistem dan tugas Elasticsearch.
Fluktuasi pada metrik Node Workload Within One Minute adalah hal yang wajar. Untuk analisis lebih akurat, fokuslah pada metrik Node CPU usage.

Penyebab abnormal

Nilai yang melebihi jumlah core CPU menunjukkan overload sistem. Penyebab umum:

Pemanfaatan CPU atau penggunaan memori heap pada node sangat tinggi, berpotensi mencapai 100%.
Peningkatan tiba-tiba atau kenaikan signifikan pada Query QPS atau write QPS.
Kueri lambat yang mahal.

Gunakan halaman Log Kueri untuk menganalisis log ini.

Catatan

Metrik Load_1m Node mencakup konsumsi sumber daya dari proses tingkat sistem dan tugas Elasticsearch.

Penggunaan memori node_total (%)

Penggunaan memori sistem untuk node tersebut.

Persentase waktu tunggu I/O CPU node (%)

Persentase waktu CPU node menunggu operasi I/O.

Paket masuk node (jumlah)

Jumlah paket jaringan masuk untuk setiap node. Siklus pemantauan: 1 menit.

Paket jaringan node keluar (jumlah)

Jumlah paket yang dikirim dari setiap node per menit.

Bandwidth masuk node (KiB/detik)

Laju data masuk untuk setiap node. Siklus pemantauan: 1 menit. Satuan: KiB/detik.

Bandwidth jaringan node_keluar (KiB/detik)

Bandwidth jaringan arah keluar untuk setiap node, dalam KiB/detik. Diperbarui setiap menit.

Koneksi TCP node

Deskripsi

Jumlah koneksi TCP yang terbentuk dari klien ke setiap node.

Penyebab abnormal

Peningkatan sering terjadi ketika klien gagal melepaskan koneksi TCP tepat waktu. Konfigurasikan kebijakan sisi klien untuk melepaskan koneksi idle.

IOUtil (%)

Deskripsi

Pemanfaatan I/O untuk setiap node.

Penyebab abnormal

Penggunaan disk tinggi meningkatkan waktu tunggu baca/tulis dan dapat menyebabkan lonjakan pemanfaatan I/O hingga 100%. Analisis beban kerja Anda dan pertimbangkan untuk meningkatkan konfigurasi kluster.

Laju pengiriman ulang jaringan node (%)

Persentase paket jaringan yang dikirim ulang oleh node.

Bandwidth jaringan node (KiB/detik)

Jumlah bandwidth jaringan node_Input dan bandwidth jaringan node_Output.

Penggunaan bandwidth jaringan node (%)

Penggunaan bandwidth jaringan node (%) = (Bandwidth Jaringan Node_Input (KiB/detik) + Bandwidth Jaringan Node_Output (KiB/detik)) / bandwidth dasar jaringan node (KiB/detik).

Paket jaringan node (jumlah)

Jumlah paket jaringan masuk dan keluar dari node.

Penggunaan paket jaringan node (%)

Penggunaan paket jaringan node (%) = (paket jaringan_node_arah keluar (PPS) + paket jaringan_node_arah masuk (PPS)) / paket jaringan maksimum per detik (PPS).

Bandwidth baca disk (MiB/detik)

Data yang dibaca dari setiap node per detik.

Bandwidth_tulis disk (MiB/detik)

Bandwidth tulis untuk setiap node.

IOPS baca disk

Permintaan baca yang diselesaikan per detik pada setiap node.

IOPS tulis disk

Permintaan tulis yang diselesaikan per detik oleh setiap node.

Panjang antrian permintaan rata-rata

Panjang rata-rata antrian permintaan.

Bandwidth disk (MiB/detik)

Bandwidth disk (MiB/detik) = bandwidth_baca disk (MiB/detik) + bandwidth_tulis disk (MiB/detik).

Penggunaan bandwidth disk (Cloud) (%)

Penggunaan Bandwidth Disk Cloud (%) = (Bandwidth Disk_Baca (MB/s) + Bandwidth Disk_Tulis (MB/s)) / Throughput Disk Tunggal (MB/s).

Penggunaan bandwidth disk_node (%)

Dihitung sebagai (bandwidth_baca disk (MiB/detik) + bandwidth_tulis disk (MiB/detik)) / bandwidth dasar disk (Gbit/detik). Konversi semua nilai ke satuan yang sama.

IOPS disk (jumlah)

IOPS disk (jumlah) = IOPS baca disk (jumlah) + IOPS tulis disk (jumlah).

Penggunaan IOPS disk (Cloud) (%)

Penggunaan IOPS disk_disk (%) = (IOPS Disk_Baca (jumlah) + IOPS Disk_Tulis (jumlah)) / kapasitas IOPS single disk.

Penggunaan IOPS disk_node (%)

penggunaan IOPS disk_node (%) = (IOPS disk_baca (jumlah) + IOPS disk_tulis (jumlah)) / IOPS dasar disk cloud

Penggunaan generasi lama node (B)

Deskripsi metrik

Memori heap generasi lama yang digunakan oleh setiap node. Penggunaan tinggi atau objek besar dapat memengaruhi kinerja dan memicu GC, berpotensi menyebabkan jeda panjang atau full GC.

Penyebab anomali metrik

Peningkatan tiba-tiba atau fluktuasi signifikan sering menunjukkan exception layanan. Penyebab umum:

Penyebab	Deskripsi
QPS	Peningkatan tiba-tiba atau fluktuasi signifikan pada Query QPS atau write QPS.
Kueri agregasi atau skrip	Kueri agregasi sangat intensif sumber daya. Gunakan dengan hati-hati.
Kueri term pada field numerik	Menjalankan banyak kueri term pada field numerik (byte, short, integer, long) bisa lambat karena pembuatan bitset memakan waktu. Jika kueri range atau agregasi tidak diperlukan, ubah tipe field menjadi keyword.
Pencocokan fuzzy	Kueri wildcard, regex, atau fuzzy memindai daftar term indeks terbalik dan mengumpulkan ID dokumen yang cocok, mengonsumsi sumber daya besar. Lakukan uji stres untuk menentukan volume kueri yang sesuai.
Beberapa kueri lambat	Fluktuasi QPS mungkin kecil. Untuk menyelidiki, buka halaman log kueri dan klik Search Slow Log.
Beberapa permintaan tulis lambat	Fluktuasi QPS mungkin kecil. Untuk menyelidiki, buka halaman log kueri dan klik Indexing Slow Log.
Jumlah indeks atau shard berlebihan dalam kluster	Terlalu banyak indeks atau shard dapat menyebabkan CPU tinggi, memori heap, atau Load_1m.
Operasi merge	Operasi merge intensif CPU dan menyebabkan penurunan tajam jumlah segmen. Pantau ini di halaman Overview setiap node di Konsol Kibana.
Operasi GC	Operasi GC, seperti full GC, membebaskan memori tetapi mengonsumsi sumber daya CPU. Hal ini dapat menyebabkan penurunan tiba-tiba penggunaan memori heap.
Tugas terjadwal	Pencadangan data atau tugas kustom lainnya.

Jumlah Full GC

Penting

Event Full GC yang sering dapat menurunkan kinerja kluster.

Deskripsi

Jumlah event full GC dalam kluster per menit.

Penyebab abnormalitas

Nilai lebih besar dari nol menunjukkan exception layanan. Penyebab umum:

Penggunaan memori heap tinggi.
Objek memori besar.

Jumlah GC generasi lama node

Deskripsi

Menghitung event GC generasi lama pada setiap node. Penggunaan tinggi atau objek besar dapat memicu GC otomatis, berpotensi menyebabkan jeda panjang atau full GC.

Catatan

Metrik Full GC untuk pemantauan dasar bersumber dari log, sedangkan metrik memori dalam pemantauan lanjutan dikumpulkan oleh mesin ES. Untuk mempertimbangkan perbedaan sumber data ini, evaluasi kinerja kluster dengan menggabungkan semua metrik yang tersedia.

Penyebab umum

Lihat Penggunaan Area Lama Node (B).

Durasi GC generasi lama node (ms)

Metrik

Durasi rata-rata GC generasi lama pada setiap node. Penggunaan generasi lama tinggi atau objek besar dapat memicu GC, menyebabkan durasi lebih lama atau full GC.

Penyebab nilai abnormal

Lihat JVMMemoryOldUsedBytes.

Thread aktif kolam thread pencarian (jumlah)

Thread aktif dalam kolam thread kueri kluster.

Permintaan ditolak dalam kolam thread kueri (jumlah)

Metrik yang sudah tidak digunakan ini menghitung permintaan yang ditolak dalam kolam thread kueri kluster. Gunakan SearchThreadpoolRejectedV2 sebagai gantinya.

Permintaan kueri ditolak

Permintaan yang ditolak dalam kolam thread kueri kluster. Saat kolam thread penuh, permintaan kueri baru akan ditolak.

Jumlah exception

Deskripsi metrik

Total entri log tingkat warning dalam log kluster dalam periode satu menit.

Penyebab nilai abnormal

Nilai selain 0 menunjukkan exception layanan. Penyebab umum:

Permintaan kueri abnormal.
Permintaan tulis abnormal.
Error dalam tugas Elasticsearch.
Operasi garbage collection.

Troubleshooting

Buka halaman Log kueri dan klik Cluster Log. Di halaman Cluster Log, tinjau detail exception untuk menemukan akar penyebabnya.

Catatan

Jika Cluster Log berisi catatan GC, catatan tersebut juga termasuk dalam metrik NodeStatsExceptionLogCount.