Query logs - Elasticsearch

Alibaba Cloud Elasticsearch memungkinkan Anda menentukan kata kunci dan rentang waktu di Konsol Elasticsearch untuk menanyakan log tertentu dari kluster Elasticsearch Anda. Log ini dapat digunakan untuk mengidentifikasi masalah kluster dan melakukan pemeliharaan secara efisien. Topik ini menjelaskan cara menanyakan log serta jenis-jenis log yang umum.

Batasan

Anda hanya dapat mengaktifkan access logs untuk kluster Elasticsearch V6.7.0 dengan versi kernel V1.0.2 atau lebih baru dan kluster Elasticsearch V7.10.

Anda hanya dapat melihat audit logs dari kluster Elasticsearch versi V7.X atau lebih baru di wilayah-wilayah tertentu dalam Konsol Elasticsearch.

Negara atau wilayah	Wilayah
Cina	Cina (Beijing), Cina (Hangzhou), Cina (Shanghai), dan Cina (Zhangjiakou)
Asia Pasifik	Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), dan Jepang (Tokyo)
Eropa & Amerika	AS (Virginia), AS (Silicon Valley), Jerman (Frankfurt), dan Inggris (London)

Prosedur

Masuk ke Konsol Alibaba Cloud Elasticsearch.
Di bilah navigasi sisi kiri, klik Elasticsearch Clusters.
Navigasikan ke kluster yang diinginkan.
1. Di bilah navigasi atas, pilih grup sumber daya tempat kluster berada dan wilayah tempat kluster berada.
2. Pada halaman Elasticsearch Clusters, temukan kluster dan klik ID-nya.

Di bilah navigasi sisi kiri halaman yang muncul, klik Logs. Kemudian, Anda dapat melihat log kluster.

Alibaba Cloud Elasticsearch menyediakan jenis-jenis log berikut untuk kluster Elasticsearch: log kluster, log pencarian lambat, log pengindeksan lambat, log pengumpulan sampah (GC), log akses, dan log audit. Tabel berikut menggambarkan setiap jenis log dan skenario penggunaannya. Untuk informasi lebih lanjut tentang log, lihat Jenis-jenis log yang umum.

Jenis Log	Deskripsi	Skema Penggunaan
Cluster log	Jenis log ini mencatat status kesehatan kluster Elasticsearch dan informasi tentang operasi baca dan tulis yang dilakukan pada kluster. Sebagai contoh, log untuk operasi tulis termasuk log yang dihasilkan untuk pembuatan indeks, pembaruan pemetaan indeks, dan antrian tulis penuh, serta log untuk operasi baca termasuk log yang dihasilkan untuk antrian query dan pengecualian query.	Jika Anda ingin melihat status setiap node dalam kluster Elasticsearch atau melihat informasi tentang operasi baca dan tulis yang dilakukan pada kluster, seperti informasi tentang konektivitas jaringan antar node, full GC, pembuatan atau penghapusan indeks, atau kesalahan yang dilaporkan untuk query, Anda dapat melihat log kluster dari kluster tersebut. Penting Jika terjadi kesalahan dalam bisnis Anda, kami sarankan Anda pertama-tama melihat log kluster dan data pemantauan dari kluster Anda untuk mendiagnosis masalah performa atau konfigurasi.
Slow search log	Jenis log ini mencatat informasi tentang operasi baca lambat. Jika waktu yang diperlukan untuk menyelesaikan operasi baca melebihi ambang batas tertentu, operasi baca dianggap sebagai operasi baca lambat, dan sistem menampilkan informasi tentang operasi tersebut di log pencarian lambat. Ambang batas dikonfigurasi dalam template indeks berbasis skenario kluster Elasticsearch Anda. Secara default, konfigurasi dalam template adalah optimal, dan Anda dapat langsung menerapkan template. Untuk informasi lebih lanjut tentang template indeks berbasis skenario kluster Elasticsearch, lihat Ubah template indeks kluster.	Jika diperlukan waktu lama untuk menyelesaikan operasi baca dalam bisnis Anda, Anda dapat melihat log pencarian lambat untuk mendiagnosis masalah tersebut. Operasi baca yang memerlukan waktu lebih lama untuk diselesaikan mengonsumsi lebih banyak sumber daya kluster. Jika sejumlah besar log lambat dihasilkan untuk kluster, periksa penggunaan sumber daya dan beban kluster untuk mengidentifikasi item-item yang menyebabkan masalah bottleneck. Kemudian, tambahkan sumber daya untuk kluster berdasarkan item-item tersebut atau gunakan plugin aliyun-qos untuk melakukan throttling pada kluster guna memastikan stabilitas kluster.
Slow indexing log	Jenis log ini mencatat informasi tentang operasi tulis lambat. Jika waktu yang diperlukan untuk menyelesaikan operasi tulis melebihi ambang batas tertentu, operasi tulis dianggap sebagai operasi tulis lambat, dan sistem menampilkan informasi tentang operasi tersebut di log pengindeksan lambat. Ambang batas dikonfigurasi dalam template indeks berbasis skenario kluster Elasticsearch Anda. Secara default, konfigurasi dalam template adalah optimal, dan Anda dapat langsung menerapkan template. Untuk informasi lebih lanjut tentang template indeks berbasis skenario kluster Elasticsearch, lihat Ubah template indeks kluster.	Jika diperlukan waktu lama untuk menyelesaikan operasi tulis dalam bisnis Anda, Anda dapat melihat log pengindeksan lambat untuk mendiagnosis masalah tersebut. Operasi tulis yang memerlukan waktu lebih lama untuk diselesaikan mengonsumsi lebih banyak sumber daya kluster. Jika sejumlah besar log lambat dihasilkan untuk kluster, periksa penggunaan sumber daya dan beban kluster untuk mengidentifikasi item-item yang menyebabkan masalah bottleneck. Kemudian, tambahkan sumber daya untuk kluster berdasarkan item-item tersebut atau gunakan plugin aliyun-qos untuk melakukan throttling pada kluster guna memastikan stabilitas kluster.
GC log	Jenis log ini mencatat informasi tentang GC untuk kluster Elasticsearch. Log GC berisi informasi tentang GC yang dipicu oleh penggunaan memori heap JVM. Anda dapat memperoleh detail GC, termasuk informasi tentang GC berdasarkan Old GC, Concurrent Mark Sweep (CMS) GC, Full GC, dan Minor GC mechanisms.	Jika terjadi hambatan performa pada kluster Elasticsearch, Anda dapat melihat log GC kluster untuk memperoleh detail GC dan memeriksa apakah operasi GC memerlukan waktu lama untuk diselesaikan atau sering dilakukan. Jika operasi GC semacam itu ada, tambahkan sumber daya untuk kluster sesegera mungkin atau gunakan plugin aliyun-qos untuk melakukan throttling pada kluster guna memastikan stabilitas kluster. Penting Secara default, kluster Elasticsearch Alibaba Cloud menggunakan garbage collector CMS. Jika volume data yang disimpan pada setiap node data dalam kluster lebih besar dari atau sama dengan 32 GB, kami sarankan Anda menggunakan garbage collector G1 untuk meningkatkan efisiensi GC. Untuk informasi lebih lanjut, lihat Konfigurasikan garbage collector.
Access log	Jenis log ini mencatat informasi tentang akses ke kluster Elasticsearch. Log akses kluster Elasticsearch berisi detail permintaan yang dimulai dengan menggunakan API RestSearchAction, seperti URI permintaan, ukuran body permintaan, dan waktu ketika permintaan dimulai. Penting Anda hanya dapat melihat access logs untuk kluster Elasticsearch V6.7.0 dengan versi kernel V1.0.2 atau lebih baru dan kluster Elasticsearch V7.10 di konsol Elasticsearch. Log akses Elasticsearch tidak mendukung skenario query berikut: query SQL, multi-query, scroll query, dan query yang dipicu oleh beberapa alat visualisasi Kibana. Jika Anda ingin memperoleh informasi yang lebih lengkap tentang query dan permintaan tulis untuk kluster Anda, kami sarankan Anda mengaktifkan fitur Audit Log Indexing untuk kluster tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan fitur Audit Log Indexing.	Jika Anda ingin memiliki kendali atas klien yang mengirim permintaan query ke kluster Elasticsearch, Anda dapat melihat access logs kluster tersebut.
Audit log	Jenis log ini mencatat informasi tentang audit operasi yang dilakukan pada kluster Elasticsearch, seperti operasi pembuatan, penghapusan, modifikasi, dan query. Penting Anda hanya dapat melihat log audit untuk kluster Elasticsearch versi V7.X atau lebih baru di wilayah-wilayah yang tercantum di Batasan di konsol Elasticsearch. Untuk kluster Elasticsearch selain kluster-kluster tersebut, Anda dapat mengaktifkan fitur Audit Log Indexing untuk kluster di bagian Konfigurasi YML halaman Konfigurasi Kluster. Kemudian, log audit kluster ditulis ke indeks-indeks di kluster. Indeks-indik tersebut dinamai dalam format .security_audit_log-. Anda dapat menanyakan indeks-indeks tersebut di konsol Kibana kluster untuk melihat log audit. Untuk informasi lebih lanjut, lihat Konfigurasikan file YML. Sebelum Anda melihat log audit kluster Elasticsearch, Anda harus mengklik Log Configuration* di halaman Logs kluster di konsol Elasticsearch dan menghidupkan saklar Pengumpulan Log Audit. Secara default, sistem mengumpulkan log dari jenis-jenis peristiwa audit berikut: access_denied, anonymous_access_denied, authentication_failed, connection_denied, tampered_request, run_as_denied, dan run_as_granted. Jika Anda ingin mengubah jenis-jenis peristiwa audit dari mana Anda ingin mengumpulkan log, Anda harus memodifikasi parameter xpack.security.audit.logfile.events.include dalam file konfigurasi YML kluster Elasticsearch Anda. Untuk informasi lebih lanjut, lihat Konfigurasikan fitur Audit Log Indexing.	Jika identitas Anda gagal diverifikasi saat Anda mengakses kluster Elasticsearch, koneksi ke kluster ditolak, Anda perlu melihat peristiwa akses kluster, atau Anda perlu memeriksa apakah ada peristiwa mencurigakan, Anda dapat mendiagnosis masalah atau melakukan operasi yang diinginkan berdasarkan log audit kluster. Modifikasi terhadap izin akses data atau konfigurasi keamanan pengguna mungkin merupakan peristiwa mencurigakan.

Di tab halaman Logs, masukkan string query, pilih waktu mulai dan waktu akhir, lalu klik Search.
Setelah Anda mengklik Search, log yang sesuai dengan string query Anda akan ditampilkan.
- Anda dapat menanyakan log yang dihasilkan selama tujuh hari terakhir. Secara default, log ditampilkan berdasarkan waktu dalam urutan menurun.
- Sintaks query Lucene didukung. Untuk informasi lebih lanjut, lihat Sintaks string query.
- AND dalam string query harus huruf besar.
- Jika Anda tidak menentukan waktu akhir, waktu sistem saat ini digunakan sebagai waktu akhir. Jika Anda tidak menentukan waktu mulai, waktu mulai adalah satu jam lebih awal dari waktu akhir.
Dalam contoh ini, log yang memenuhi kondisi berikut ditanyakan di tab Cluster Log: Nilai bidang level adalah INFO, nilai bidang host adalah 172.16.xx.xx, dan nilai bidang content berisi kata kunci health. Dalam hal ini, string query adalah host:172.16.xx.xx AND content:health AND level:info.
Penting
- Alibaba Cloud Elasticsearch dapat mengembalikan maksimal 10.000 log untuk setiap query.
  Jika log yang dikembalikan tidak berisi log yang ingin Anda lihat, Anda dapat mempersingkat rentang waktu yang ditentukan dan melakukan query lain.
- Maksimal 10.000 karakter dapat ditampilkan dalam sebuah log.

Jenis-jenis log yang umum

Cluster logs

Tab Cluster Log menampilkan log operasi kluster. Setiap log operasi berisi informasi berikut: Waktu, Alamat IP Node, dan Konten.

Parameter	Deskripsi
Time	Waktu ketika log dihasilkan.
Node IP Address	Alamat IP node yang menghasilkan log.
Content	Detail log. Bidang-bidang berikut terkandung: level: tingkat log. Tingkat log termasuk TRACE, DEBUG, INFO, WARN, dan ERROR. Catatan Log GC tidak mengandung bidang level. host: alamat IP node yang menghasilkan log. time: waktu ketika log dihasilkan. content: konten log.

Slow logs

Log lambat mencakup log pencarian lambat dan log pengindeksan lambat. Jika waktu yang diperlukan untuk menyelesaikan operasi baca atau tulis melebihi ambang batas tertentu, log lambat dihasilkan untuk operasi tersebut. Tab Search Slow Log menampilkan log pencarian lambat, dan tab Indexing Slow Log menampilkan log pengindeksan lambat. Secara default, pengumpulan log lambat diaktifkan. Jika terjadi beban tidak seimbang, pengecualian baca atau tulis, atau masalah pemrosesan data lambat pada kluster Anda, Anda dapat mendiagnosis masalah berdasarkan log lambat.

Secara default, Elasticsearch hanya mencatat operasi baca dan tulis yang memerlukan 5 detik hingga 10 detik untuk diselesaikan dalam log lambat. Mekanisme ini tidak membantu mendiagnosis masalah. Untuk menangkap lebih banyak log, Anda dapat mengurangi ambang batas terkait dengan menggunakan salah satu metode berikut setelah Anda membuat kluster:

Gunakan template berbasis skenario. Setelah kluster dibuat, template berbasis skenario diaktifkan dan diterapkan ke kluster. Template indeks mendefinisikan konfigurasi log lambat. Kami sarankan Anda mempertahankan konfigurasi default. Kode berikut menunjukkan konfigurasi default log lambat dalam skenario Umum:

  "settings": {    "index": {      "search": {        "slowlog": {          "level": "info",          "threshold": {            "fetch": {              "warn": "200ms",              "jejak": "50ms",              "debug": "80ms",              "info": "100ms"            },            "query": {              "warn": "500ms",              "jejak": "50ms",              "debug": "100ms",              "info": "200ms"            }          }        }      },      "refresh_interval": "10s",      "unassigned": {        "node_left": {          "delayed_timeout": "5m"        }      },      "indexing": {        "slowlog": {          "level": "info",          "threshold": {            "index": {              "warn": "200ms",              "jejak": "20ms",              "debug": "50ms",              "info": "100ms"            }          },          "source": "1000"        }      }    }  }

Catatan

Jika nilai parameter Scenario adalah None di bagian Konfigurasi Berbasis Skenario halaman Konfigurasi Kluster, Anda dapat mengonfigurasi parameter tersebut berdasarkan kebutuhan bisnis Anda. Kemudian, kirimkan template untuk menerapkan konfigurasi default log lambat ke kluster. Untuk informasi lebih lanjut, lihat Gunakan template berbasis skenario untuk memodifikasi konfigurasi kluster.

Masuk ke konsol Kibana kluster dan jalankan perintah berikut untuk memodifikasi konfigurasi log lambat.

PUT _settings{    "index.indexing.slowlog.threshold.index.warn" : "200ms",    "index.indexing.slowlog.threshold.index.trace" : "20ms",    "index.indexing.slowlog.threshold.index.debug" : "50ms",    "index.indexing.slowlog.threshold.index.info" : "100ms",    "index.search.slowlog.threshold.fetch.warn" : "200ms",    "index.search.slowlog.threshold.fetch.trace" : "50ms",    "index.search.slowlog.threshold.fetch.debug" : "80ms",    "index.search.slowlog.threshold.fetch.info" : "100ms",    "index.search.slowlog.threshold.query.warn" : "500ms",    "index.search.slowlog.threshold.query.trace" : "50ms",    "index.search.slowlog.threshold.query.debug" : "100ms",    "index.search.slowlog.threshold.query.info" : "200ms"}

Setelah konfigurasi log lambat dimodifikasi, jika waktu yang diperlukan untuk menyelesaikan operasi baca atau tulis melebihi ambang batas yang ditentukan, Anda dapat menanyakan log terkait di tab Search Slow Log atau Indexing Slow Log halaman Logs untuk mendiagnosis masalah. 慢日志

GC logs

Secara default, pengumpulan log GC diaktifkan. Setiap log GC berisi informasi berikut: Waktu, Alamat IP Node, dan Konten. Untuk informasi lebih lanjut, lihat Cluster logs. GC日志

Access logs

Tab Access Log menampilkan detail permintaan yang dimulai dengan menggunakan API RestSearchAction. Detail tersebut mencakup nama node yang diminta, alamat IP node, ukuran body permintaan, konten permintaan, waktu ketika permintaan dimulai, alamat IP yang digunakan untuk mengirim permintaan, dan URI.

Penting

Anda hanya dapat melihat access logs untuk kluster Elasticsearch V6.7.0 dan V7.10 di konsol Elasticsearch.
Jika Anda ingin memperoleh informasi yang lebih lengkap tentang query dan permintaan tulis untuk kluster Anda, kami sarankan Anda mengaktifkan fitur Audit Log Indexing untuk kluster tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan fitur Audit Log Indexing.

ES访问日志

Audit logs

Penting

Anda hanya dapat melihat log audit untuk kluster Elasticsearch versi V7.X atau lebih baru di wilayah-wilayah yang tercantum di Batasan di konsol Elasticsearch.

Tab Audit Log menampilkan log audit yang dihasilkan untuk operasi yang dilakukan pada kluster Elasticsearch, seperti operasi pembuatan, penghapusan, modifikasi, dan query. Secara default, pengumpulan log audit dinonaktifkan. Untuk mengaktifkan pengumpulan log audit dan melihat log audit, lakukan langkah-langkah berikut:

Di halaman Logs kluster Elasticsearch, klik Log Configuration di sebelah kanan.
Dalam kotak dialog Log Configuration, hidupkan Audit Log Collection.
Penting
- Setelah Anda menghidupkan Audit Log Collection, Anda dapat melihat log audit kluster di tab Audit Log halaman Logs. Jika Anda ingin mengubah jenis-jenis peristiwa audit dari mana Anda ingin mengumpulkan log, modifikasi parameter xpack.security.audit.logfile.events.include dalam file konfigurasi YML kluster. Untuk informasi lebih lanjut, lihat Konfigurasikan fitur Audit Log Indexing.
- Setelah Anda menghidupkan atau mematikan Audit Log Collection, sistem akan memulai ulang kluster. Sistem menggunakan metode restart bergulir untuk memulai ulang kluster. Sebelum restart, pastikan bahwa kluster berada dalam keadaan Normal (ditunjukkan oleh warna hijau), setiap shard utama dari setiap indeks dalam kluster memiliki setidaknya satu shard replika, dan penggunaan sumber daya kluster tidak tinggi. Jika semua kondisi tersebut terpenuhi, kluster masih dapat menyediakan layanan selama restart. Namun, kami sarankan Anda melakukan operasi ini selama jam-jam sepi.
Baca peringatan risiko, pilih kotak centang, lalu klik OK.
Sistem akan memulai ulang kluster. Anda dapat melihat kemajuan restart di kotak dialog Tugas. Setelah kluster dimulai ulang, sistem mulai mengumpulkan log audit.
Penting
Log audit menghabiskan ruang disk kluster Anda. Jika ruang disk yang digunakan oleh log audit terlalu besar, performa kluster mungkin terpengaruh. Jika Anda tidak perlu melihat log audit kluster, Anda dapat mematikan Audit Log Collection di kotak dialog Konfigurasi Log.
Di halaman Logs, klik tab Audit Log dan lihat log audit kluster.

Referensi

ListSearchLog

Elasticsearch：Query logs