Kueri log - Elasticsearch - Alibaba Cloud Documentation Center

Alibaba Cloud Elasticsearch menyediakan fitur kueri log yang memungkinkan Anda mencari log berdasarkan kata kunci dan rentang waktu. Fitur ini membantu Anda mengidentifikasi masalah kluster dengan cepat serta menyederhanakan operasi dan pemeliharaan. Topik ini menjelaskan cara melakukan kueri log dan tipe log yang tersedia.

Batasan

Access Log: Fitur ini hanya tersedia untuk instans Elasticsearch yang menjalankan versi 6.7.0 (dengan versi mesin minor ≥ 1.0.2) atau versi 7.10 ke atas.

Audit Log: Anda hanya dapat melihat log audit di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah-wilayah berikut.

Negara atau wilayah	Wilayah
Tiongkok	Tiongkok (Beijing), Tiongkok (Hangzhou), Tiongkok (Shanghai), Tiongkok (Zhangjiakou)
Asia Pasifik	Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jepang (Tokyo)
Eropa dan Amerika	AS (Virginia), AS (Silicon Valley), Jerman (Frankfurt), Inggris (London)

Prosedur

Masuk ke Konsol Alibaba Cloud Elasticsearch.
Di bilah navigasi kiri, pilih Elasticsearch Clusters.
Arahkan ke kluster target.
1. Di bilah navigasi atas, pilih kelompok sumber daya tempat kluster berada dan wilayah tempat kluster tersebut berlokasi.
2. Pada halaman Elasticsearch Clusters, temukan kluster tersebut lalu klik ID-nya.

Di panel navigasi kiri, klik Logs untuk melihat log waktu proses kluster.

Alibaba Cloud Elasticsearch mendukung tipe log berikut: log utama, log lambat pencarian, log lambat pengindeksan, log GC, log akses ES dan log audit. Tabel berikut menjelaskan tipe-tipe log tersebut beserta kasus penggunaannya. Untuk informasi selengkapnya, lihat Detail log.

Tipe log	Deskripsi	Kasus penggunaan
Cluster Log	Mencatat status kesehatan kluster dan log untuk kueri serta penulisan indeks. Misalnya, log penulisan mencakup event seperti pembuatan indeks, pembaruan mapping, dan overload antrian penulisan. Log kueri mencakup event seperti status antrian kueri dan eksepsi kueri.	Gunakan log utama untuk memeriksa status waktu proses node, aktivitas kueri dan penulisan, konektivitas node, event Full GC, pembuatan atau penghapusan indeks, serta error kueri tingkat kluster. Penting Jika terjadi masalah di sisi klien, pertama-tama periksa log utama dan Cluster Monitoring untuk menyingkirkan kemungkinan bottleneck performa atau masalah konfigurasi pada kluster.
Search Slow Log	Mencatat kueri lambat. Ketika waktu eksekusi kueri melebihi ambang batas tertentu, informasinya akan dicatat. Ambang batas kueri lambat telah dikonfigurasi sebelumnya dalam templat indeks dari Scenario-specific Configuration Template dengan nilai default optimal. Anda hanya perlu menerapkan templat tersebut. Untuk informasi selengkapnya, lihat Index template configuration.	Jika kueri memakan waktu lebih lama dari yang diharapkan, periksa log lambat pencarian untuk investigasi lebih lanjut. Kueri lambat mengonsumsi lebih banyak resource kluster. Jika Anda melihat banyak log lambat, periksa resource dan beban kluster untuk mengidentifikasi bottleneck. Kemudian tambahkan resource yang sesuai atau gunakan plugin aliyun-qos untuk menerapkan pembatasan laju dan memastikan stabilitas kluster.
Indexing Slow Log	Mencatat operasi penulisan lambat. Ketika waktu eksekusi operasi penulisan melebihi ambang batas tertentu, informasinya akan dicatat. Ambang batas penulisan lambat telah dikonfigurasi sebelumnya dalam templat indeks dari Scenario-specific Configuration Template dengan nilai default optimal. Anda hanya perlu menerapkan templat tersebut. Untuk informasi selengkapnya, lihat Index template configuration.	Jika operasi penulisan memakan waktu lebih lama dari yang diharapkan, periksa log lambat pengindeksan untuk investigasi lebih lanjut. Operasi penulisan lambat mengonsumsi lebih banyak resource kluster. Jika Anda melihat banyak log lambat, periksa resource dan beban kluster untuk mengidentifikasi bottleneck. Kemudian tambahkan resource yang sesuai atau gunakan plugin aliyun-qos untuk menerapkan pembatasan laju dan memastikan stabilitas kluster.
GC Log	Mencatat event pengumpulan sampah yang dipicu oleh penggunaan memori heap JVM. Log GC menyediakan informasi rinci tentang berbagai mekanisme pengumpulan, termasuk Old GC, CMS GC, Full GC, dan Minor GC.	Ketika kluster mengalami bottleneck performa, periksa log GC untuk informasi detail pengumpulan dan event GC yang berjalan lama atau sering terjadi. Jika event tersebut ada, tambahkan resource kluster atau gunakan plugin aliyun-qos untuk menerapkan pembatasan laju dan memastikan stabilitas kluster. Penting Secara default, kluster Alibaba Cloud Elasticsearch menggunakan collector sampah CMS. Untuk node data dengan memori 32 GB atau lebih, gunakan collector sampah G1 untuk meningkatkan efisiensi GC. Untuk informasi selengkapnya, lihat Configure a garbage collector.
Access Log	Mencatat log akses untuk kluster. Log ini menampilkan detail permintaan terkait `restSearchAction` yang diterima oleh kluster Elasticsearch, termasuk URI, ukuran body, dan waktu permintaan. Penting Anda hanya dapat melihat Access Log di Konsol untuk instans yang menjalankan versi 6.7.0 (dengan versi mesin minor ≥ 1.0.2) atau versi 7.10 ke atas. Log akses ES tidak mendukung pencatatan untuk tipe kueri berikut: kueri SQL, kueri multi-search, kueri scroll, dan kueri yang dipicu oleh beberapa alat visualisasi Kibana. Untuk mendapatkan informasi yang lebih komprehensif tentang permintaan kueri dan penulisan, aktifkan log audit. Untuk informasi selengkapnya, lihat Configure an audit log collector.	Gunakan Access Log untuk mengidentifikasi klien mana yang mengirim permintaan kueri ke kluster Elasticsearch.
Audit Log	Mencatat event terkait keamanan dalam instans Elasticsearch berdasarkan fitur audit X-Pack Security. Log ini mencatat event seperti operasi create, delete, update, dan query, serta keberhasilan dan kegagalan otentikasi pengguna dan perubahan izin. Penting Anda hanya dapat melihat log audit di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah yang tercantum dalam Batasan. Untuk instans lain, Anda perlu mengaktifkan log audit dalam konfigurasi YML. Setelah diaktifkan, log audit ditulis ke indeks dalam kluster Elasticsearch saat ini. Anda dapat melihat log audit dengan melakukan kueri terhadap indeks yang dimulai dengan .security_audit_log-* di Konsol Kibana. Untuk informasi selengkapnya, lihat Configure YML parameters. Untuk melihat log audit di Konsol, Anda harus terlebih dahulu mengaktifkan pengumpulan log audit dengan mengklik Log Configuration. Secara default, tipe event berikut dikumpulkan: access_denied, anonymous_access_denied, authentication_failed, connection_denied, tampered_request, run_as_denied, run_as_granted. Untuk mengubah tipe event yang dikumpulkan, modifikasi parameter `xpack.security.audit.logfile.events.include` dalam file YML kluster. Untuk informasi selengkapnya, lihat Configure an audit log collector.	Gunakan log audit untuk meninjau keberhasilan dan kegagalan otentikasi pengguna, memecahkan masalah kegagalan otentikasi dan penolakan koneksi, memantau event akses data, atau menyelidiki aktivitas mencurigakan seperti perubahan otorisasi akses data dan konfigurasi keamanan pengguna.

Pada halaman log, masukkan kondisi kueri Anda di kotak pencarian, pilih waktu mulai dan akhir, lalu klik Search.
Alibaba Cloud Elasticsearch mengembalikan dan menampilkan hasil log di halaman kueri log berdasarkan kueri Anda.
- Anda dapat melakukan kueri log dari tujuh hari berturut-turut terakhir. Secara default, log ditampilkan dalam urutan kronologis terbalik.
- Sintaks kueri didasarkan pada Lucene. Untuk informasi selengkapnya, lihat Query string syntax.
- Operator AND dalam kueri Anda harus ditulis dalam huruf kapital.
- Jika Anda tidak menentukan waktu akhir, waktu tersebut secara default diatur ke waktu saat ini. Jika Anda tidak menentukan waktu mulai, waktu tersebut secara default diatur ke satu jam sebelum waktu akhir.
Sebagai contoh, untuk melakukan kueri log utama di mana content berisi kata kunci health, level adalah info, dan host adalah 172.16.xx.xx, gunakan kueri berikut: host:172.16.xx.xx AND content:health AND level:info.
Penting
- Maksimal 10.000 entri log dapat dikembalikan per kueri.
  
  Jika 10.000 entri yang dikembalikan tidak berisi informasi yang Anda butuhkan, persempit rentang waktu kueri Anda.
- Satu entri log dapat menampilkan maksimal 10.000 karakter.

Detail log

Log utama

Log utama menampilkan log waktu proses kluster, termasuk waktu pembuatan, alamat IP node sumber, dan konten log. ES日志查询结果

Parameter	Deskripsi
Time	Waktu saat log dibuat.
Node IP Address	Alamat IP node yang membuat log.
Content	Detail log, yang terutama terdiri dari level, host, time, dan content: level: Tingkat log, seperti trace, debug, info, warn, atau error. Catatan Log GC tidak memiliki bidang level. host: Alamat IP node yang membuat log. time: Waktu saat log dibuat. content: Konten utama log.

Log lambat

Log lambat diaktifkan secara default dan menampilkan log untuk operasi pengindeksan (log lambat pengindeksan) dan kueri (log lambat pencarian) yang melebihi ambang batas waktu tertentu. Lakukan kueri terhadap log ini untuk menganalisis masalah seperti beban kluster tidak merata, eksepsi baca/tulis, dan pemrosesan data lambat.

Secara default, log lambat Alibaba Cloud Elasticsearch mencatat operasi baca dan tulis yang memakan waktu 5 hingga 10 detik, ambang batas yang mungkin terlalu tinggi untuk troubleshooting yang efektif. Setelah membuat instans, Anda dapat menggunakan salah satu metode berikut untuk menurunkan ambang batas pencatatan dan menangkap lebih banyak data log:

Setelah kluster dibuat, Scenario-specific Configuration Template diaktifkan secara default dan diterapkan secara otomatis ke kluster. Index template configuration di dalamnya mendefinisikan pengaturan log lambat. Konfigurasi log lambat default untuk skenario umum adalah sebagai berikut:

  "settings": {    "index": {      "search": {        "slowlog": {          "level": "info",          "threshold": {            "fetch": {              "warn": "200ms",              "trace": "50ms",              "debug": "80ms",              "info": "100ms"            },            "query": {              "warn": "500ms",              "trace": "50ms",              "debug": "100ms",              "info": "200ms"            }          }        }      },      "refresh_interval": "10s",      "unassigned": {        "node_left": {          "delayed_timeout": "5m"        }      },      "indexing": {        "slowlog": {          "level": "info",          "threshold": {            "index": {              "warn": "200ms",              "trace": "20ms",              "debug": "50ms",              "info": "100ms"            }          },          "source": "1000"        }      }    }  }

Catatan

Jika Scenario diatur ke None, Anda harus mengaktifkan dan mengirimkan konfigurasi templat untuk menerapkan pengaturan log lambat default ke kluster. Untuk informasi selengkapnya, lihat Modify a scenario-specific configuration template.

Masuk ke Konsol Kibana instans dan jalankan perintah berikut untuk memodifikasi konfigurasi log lambat. Untuk informasi selengkapnya, lihat Log on to the Kibana console.

PUT _settings{    "index.indexing.slowlog.threshold.index.warn" : "200ms",    "index.indexing.slowlog.threshold.index.trace" : "20ms",    "index.indexing.slowlog.threshold.index.debug" : "50ms",    "index.indexing.slowlog.threshold.index.info" : "100ms",    "index.search.slowlog.threshold.fetch.warn" : "200ms",    "index.search.slowlog.threshold.fetch.trace" : "50ms",    "index.search.slowlog.threshold.fetch.debug" : "80ms",    "index.search.slowlog.threshold.fetch.info" : "100ms",    "index.search.slowlog.threshold.query.warn" : "500ms",    "index.search.slowlog.threshold.query.trace" : "50ms",    "index.search.slowlog.threshold.query.debug" : "100ms",    "index.search.slowlog.threshold.query.info" : "200ms"}

Setelah Anda melakukan perubahan ini, log untuk tugas baca atau tulis yang melebihi ambang batas yang dikonfigurasi akan muncul di tab Slow Log. 慢日志

Log GC

Log GC diaktifkan secara default dan berisi waktu pembuatan, alamat IP node sumber, dan konten log. Untuk informasi selengkapnya, lihat Log utama. GC日志

Log akses ES

Log akses menampilkan informasi rinci tentang permintaan terkait restSearchAction yang diterima oleh kluster Elasticsearch, termasuk node dan alamat IP kluster, ukuran body, konten permintaan, waktu permintaan, alamat IP klien, dan URI.

Penting

Anda hanya dapat melihat Access Log di Konsol untuk instans yang menjalankan versi 6.7.0 (dengan versi mesin minor ≥ 1.0.2) atau versi 7.10 ke atas.
Untuk mendapatkan informasi yang lebih komprehensif tentang permintaan kueri dan penulisan, aktifkan log audit. Untuk informasi selengkapnya, lihat Configure an audit log collector.

ES访问日志

Log audit

Penting

Anda hanya dapat melihat log audit di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah yang tercantum dalam Batasan.

Berdasarkan fitur audit X-Pack Security, log audit mencatat event terkait keamanan dalam kluster Elasticsearch Anda, termasuk keberhasilan dan kegagalan otentikasi pengguna, perubahan izin, otorisasi akses data, serta operasi create, delete, update, dan query. Log audit memungkinkan Anda melacak catatan otentikasi pengguna dan perilaku operasional dalam kluster. Fitur ini dinonaktifkan secara default. Ikuti langkah-langkah berikut untuk mengaktifkan dan melihat log audit:

Pada halaman Logs, klik Log Configuration di sebelah kanan.
Di kotak dialog Log Configuration, aktifkan sakelar Audit Log Collection.
Penting
- Setelah Anda mengaktifkan Audit Log Collection, Anda dapat melakukan kueri log audit untuk kluster di halaman saat ini. Untuk mengubah tipe event yang dikumpulkan, buka konfigurasi kluster dan modifikasi parameter xpack.security.audit.logfile.events.include. Untuk informasi selengkapnya, lihat Configure an audit log collector.
- Mengaktifkan atau menonaktifkan Audit Log Collection memicu restart kluster. Alibaba Cloud Elasticsearch menggunakan restart bergulir. Kluster tetap tersedia selama restart jika berada dalam status hijau, setiap indeks memiliki setidaknya satu replika, dan pemanfaatan resource tidak berlebihan. Namun, kami menyarankan untuk melakukan operasi ini selama jam sepi.
Baca prompt lalu klik OK.

Kluster akan restart setelah Anda mengonfirmasi. Anda dapat melihat progresnya di Task List. Setelah kluster restart, pengumpulan log audit diaktifkan.

Penting
Data log audit mengonsumsi ruang disk dan dapat memengaruhi performa. Jika Anda tidak lagi membutuhkan log audit, Anda dapat menggunakan metode yang sama untuk menonaktifkan fitur Audit Log Collection.
Pada halaman Logs, klik tab Audit Log untuk melihat log audit.

Referensi

ListSearchLog

Elasticsearch:Kueri log