Kueri log - Elasticsearch

Fitur log Alibaba Cloud Elasticsearch memungkinkan Anda memasukkan kata kunci dan menentukan rentang waktu untuk menemukan log tertentu. Fitur ini membantu mengidentifikasi masalah kluster dengan cepat serta mendukung operasi dan pemeliharaan (O&M) kluster. Topik ini menjelaskan cara mengkueri log dan menjelaskan tipe-tipe log umum.

Batasan

ES access log: Fitur access log hanya tersedia untuk instans Elasticsearch yang menjalankan versi 6.7 (versi mesin minor 1.0.2 atau lebih baru) atau versi 7.10 ke atas.

Audit log: Anda hanya dapat melihat audit log di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah-wilayah berikut.

Negara atau wilayah yang lebih luas	Wilayah
China	China (Beijing), China (Hangzhou), China (Shanghai), China (Zhangjiakou)
Asia-Pasifik	Singapura, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Jepang (Tokyo)
Eropa dan Amerika	AS (Virginia), AS (Silicon Valley), Jerman (Frankfurt), Inggris (London)

Prosedur

Login ke Alibaba Cloud Elasticsearch console.
Pada bilah navigasi kiri, pilih Elasticsearch Clusters.
Arahkan ke kluster target.
1. Pada bilah navigasi atas, pilih kelompok sumber daya tempat kluster berada dan wilayah tempat kluster tersebut berlokasi.
2. Pada halaman Elasticsearch Clusters, temukan kluster tersebut lalu klik ID-nya.

Pada panel navigasi kiri, klik Log Search untuk melihat log operasional kluster.

Alibaba Cloud Elasticsearch mendukung tipe log berikut: main log, searching slow log, indexing slow log, GC log, ES access log dan audit log. Tabel berikut menjelaskan tipe-tipe log tersebut beserta skenarionya. Untuk informasi selengkapnya, lihat Deskripsi log.

Tipe log	Deskripsi	Skenario
Main log	Log yang terkait dengan status kesehatan kluster, kueri indeks, dan operasi tulis. Misalnya, log terkait tulis mencakup pembuatan indeks, pembaruan mapping indeks, dan antrean tulis penuh. Log terkait kueri mencakup antrean kueri dan pengecualian kueri.	Lihat main log untuk memeriksa status operasional setiap node dalam kluster serta status kueri dan operasi tulis. Misalnya, Anda dapat memantau konektivitas node, event Full GC, pembuatan atau penghapusan indeks, dan error kueri tingkat kluster. Penting Jika terjadi masalah pada sisi aplikasi Anda, periksa terlebih dahulu main log dan Cluster Monitoring untuk mengesampingkan kemungkinan bottleneck performa atau masalah konfigurasi pada kluster.
Searching slow log	Log kueri lambat. Jika suatu kueri melebihi ambang batas yang ditentukan, informasi terkait akan dicatat dalam log kueri lambat. Ambang batas kueri lambat dikonfigurasi dalam templat indeks dari templat konfigurasi spesifik skenario. Nilai default bersifat optimal dan dapat diterapkan dengan satu klik. Untuk informasi selengkapnya, lihat Konfigurasi templat indeks.	Jika kueri dalam bisnis Anda memakan waktu lama, lihat searching slow log untuk melakukan troubleshooting. Kueri yang lebih lama mengonsumsi lebih banyak sumber daya kluster. Jika banyak log lambat dihasilkan, periksa sumber daya dan beban kluster untuk mengidentifikasi bottleneck. Kemudian, tambahkan sumber daya yang sesuai atau gunakan plugin aliyun-qos untuk membatasi trafik dan memastikan stabilitas kluster.
Indexing slow log	Log tulis lambat. Jika operasi tulis melebihi ambang batas yang ditentukan, informasi terkait akan dicatat dalam log tulis lambat. Ambang batas tulis lambat dikonfigurasi dalam templat indeks dari templat konfigurasi spesifik skenario. Nilai default bersifat optimal dan dapat diterapkan dengan satu klik. Untuk informasi selengkapnya, lihat Konfigurasi templat indeks.	Jika operasi tulis dalam bisnis Anda memakan waktu lama, lihat indexing slow log untuk melakukan troubleshooting. Operasi tulis yang lebih lama mengonsumsi lebih banyak sumber daya kluster. Jika banyak log lambat dihasilkan, periksa sumber daya dan beban kluster untuk mengidentifikasi bottleneck. Kemudian, tambahkan sumber daya yang sesuai atau gunakan plugin aliyun-qos untuk membatasi trafik dan memastikan stabilitas kluster.
GC log	Log Pengumpulan sampah (Garbage collector). Log ini mencatat semua event pengumpulan sampah yang dipicu oleh penggunaan memori heap JVM. Anda dapat memperoleh informasi detail tentang pengumpulan sampah dari log GC, termasuk Old GC, CMS GC, Full GC, dan Minor GC.	Jika kluster mengalami bottleneck performa, Anda dapat memperoleh informasi GC detail dari log GC untuk memeriksa adanya event GC yang memakan waktu lama atau terlalu sering. Jika event tersebut ada, tambahkan sumber daya kluster atau gunakan plugin aliyun-qos untuk membatasi trafik dan memastikan stabilitas kluster. Penting Secara default, kluster Alibaba Cloud Elasticsearch menggunakan garbage collector CMS. Jika node data memiliki memori 32 GB atau lebih, gunakan garbage collector G1 untuk meningkatkan efisiensi GC. Untuk informasi selengkapnya, lihat Konfigurasi garbage collector.
ES access log	Log akses kluster. Log ini menyediakan informasi detail tentang permintaan restSearchAction yang diterima oleh kluster Elasticsearch, termasuk URI, ukuran body, dan waktu permintaan. Penting Anda hanya dapat melihat ES access logs di Konsol untuk instans yang menjalankan versi 6.7.0 (versi mesin minor 1.0.2 atau lebih baru) atau 7.10. ES access log tidak mendukung log untuk skenario kueri berikut: kueri SQL, multi-kueri, scroll queries, dan kueri yang dipicu oleh beberapa alat visualisasi di Kibana. Untuk memperoleh informasi yang lebih lengkap tentang permintaan kueri dan tulis, aktifkan audit log. Untuk informasi selengkapnya, lihat Konfigurasi audit log.	Lihat ES access logs untuk mengidentifikasi klien mana yang mengirim permintaan kueri ke kluster Elasticsearch.
Audit log	Audit log yang dihasilkan untuk operasi seperti create, delete, update, dan query pada instans Elasticsearch. Penting Anda hanya dapat melihat audit log di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah yang tercantum dalam Batasan. Untuk instans lain, Anda harus mengaktifkan audit log dalam konfigurasi YML. Setelah fitur ini diaktifkan, audit log ditulis ke kluster Elasticsearch saat ini sebagai indeks. Anda dapat melihat audit log dengan memeriksa indeks yang dimulai dengan .security_audit_log-* di Konsol Kibana. Untuk informasi selengkapnya, lihat Konfigurasi parameter YML. Sebelum melihat audit log di Konsol, klik Log Settings untuk mengaktifkan pengumpulan audit log. Secara default, tipe event berikut dikumpulkan untuk audit log: access_denied, anonymous_access_denied, authentication_failed, connection_denied, tampered_request, run_as_denied, run_as_granted. Untuk mengubah tipe event yang dikumpulkan, ubah parameter xpack.security.audit.logfile.events.include dalam file YML kluster. Untuk informasi selengkapnya, lihat Konfigurasi audit log.	Lihat audit log untuk melakukan troubleshooting masalah seperti kegagalan autentikasi dan penolakan koneksi. Anda juga dapat menggunakannya untuk memantau event akses data dan menyelidiki aktivitas mencurigakan di kluster, seperti perubahan otorisasi akses data dan konfigurasi keamanan pengguna.

Pada kotak pencarian di halaman log, masukkan kriteria pencarian, pilih waktu mulai dan waktu akhir, lalu klik Search.
Setelah pencarian berhasil, Alibaba Cloud Elasticsearch mengembalikan hasil kueri log berdasarkan kriteria Anda dan menampilkannya di halaman kueri log.
- Alibaba Cloud Elasticsearch memungkinkan Anda mengkueri log dari tujuh hari berturut-turut terakhir. Secara default, log ditampilkan dalam urutan kronologis terbalik.
- Sintaks kueri berbasis Lucene didukung. Untuk informasi selengkapnya, lihat Query string syntax.
- Operator AND dalam kriteria pencarian harus dalam huruf kapital.
- Jika Anda tidak mengisi waktu akhir, waktu saat ini digunakan. Jika Anda tidak mengisi waktu mulai, waktu satu jam sebelum waktu akhir digunakan.
Misalnya, untuk mengkueri main log di mana content berisi kata kunci health, level adalah info, dan host adalah 172.16.xx.xx, gunakan kriteria pencarian berikut: host:172.16.xx.xx AND content:health AND level:info.
Penting
- Alibaba Cloud Elasticsearch dapat mengembalikan maksimal 10.000 entri log.
  Jika 10.000 entri log yang dikembalikan tidak mencakup konten yang Anda butuhkan, persempit rentang waktu kueri Anda.
- Satu entri log di Alibaba Cloud Elasticsearch dapat menampilkan maksimal 10.000 karakter.

Deskripsi log

Main log

Main log menampilkan log operasional kluster, termasuk waktu pembuatan log, alamat IP node tempat log dihasilkan, dan isi log. ES日志查询结果

Parameter	Deskripsi
Time	Waktu saat log dihasilkan.
Node IP	Alamat IP node yang menghasilkan log.
Content	Detail log terutama terdiri dari level, host, time, dan content: level: Tingkat log. Nilai yang valid meliputi trace, debug, info, warn, dan error. Catatan GC log tidak memiliki level. host: Alamat IP node yang menghasilkan log. time: Waktu saat log dihasilkan. content: Isi utama log.

Log lambat

Slow log diaktifkan secara default. Log ini menampilkan log untuk operasi indexing (indexing slow log) dan kueri (searching slow log) yang melebihi ambang batas waktu tertentu. Jika Anda mengalami masalah seperti ketidakseimbangan beban, pengecualian baca/tulis, atau pemrosesan data yang lambat, Anda dapat mengkueri slow log untuk menganalisis penyebabnya.

Secara default, slow log instans Alibaba Cloud Elasticsearch mencatat operasi baca dan tulis yang memakan waktu 5 hingga 10 detik. Hal ini menyulitkan proses troubleshooting. Setelah membuat instans, Anda dapat menggunakan salah satu metode berikut untuk memperkecil interval waktu pencatatan dan menangkap lebih banyak log:

Setelah kluster dibuat, templat konfigurasi spesifik skenario diaktifkan secara default dan diterapkan otomatis ke kluster. Konfigurasi templat indeks menentukan konfigurasi slow log. Anda dapat mempertahankan pengaturan default. Konfigurasi slow log default untuk skenario general-purpose adalah sebagai berikut:

  "settings": {    "index": {      "search": {        "slowlog": {          "level": "info",          "threshold": {            "fetch": {              "warn": "200ms",              "trace": "50ms",              "debug": "80ms",              "info": "100ms"            },            "query": {              "warn": "500ms",              "trace": "50ms",              "debug": "100ms",              "info": "200ms"            }          }        }      },      "refresh_interval": "10s",      "unassigned": {        "node_left": {          "delayed_timeout": "5m"        }      },      "indexing": {        "slowlog": {          "level": "info",          "threshold": {            "index": {              "warn": "200ms",              "trace": "20ms",              "debug": "50ms",              "info": "100ms"            }          },          "source": "1000"        }      }    }  }

Catatan

Jika Scenario-specific Configuration Template dalam status Disabled, Anda harus mengaktifkan dan mengirimkan konfigurasi templat untuk menerapkan konfigurasi slow log default ke kluster. Untuk informasi selengkapnya, lihat Ubah templat konfigurasi spesifik skenario.

Login ke Konsol Kibana instans dan jalankan perintah berikut untuk mengubah konfigurasi slow log. Untuk informasi selengkapnya, lihat Login ke Konsol Kibana.

PUT _settings{    "index.indexing.slowlog.threshold.index.warn" : "200ms",    "index.indexing.slowlog.threshold.index.trace" : "20ms",    "index.indexing.slowlog.threshold.index.debug" : "50ms",    "index.indexing.slowlog.threshold.index.info" : "100ms",    "index.search.slowlog.threshold.fetch.warn" : "200ms",    "index.search.slowlog.threshold.fetch.trace" : "50ms",    "index.search.slowlog.threshold.fetch.debug" : "80ms",    "index.search.slowlog.threshold.fetch.info" : "100ms",    "index.search.slowlog.threshold.query.warn" : "500ms",    "index.search.slowlog.threshold.query.trace" : "50ms",    "index.search.slowlog.threshold.query.debug" : "100ms",    "index.search.slowlog.threshold.query.info" : "200ms"}

Setelah konfigurasi diubah, jika tugas baca atau tulis memakan waktu lebih lama dari waktu yang dikonfigurasi, Anda dapat menemukan log yang sesuai pada tab Slow Log. 慢日志

GC log

GC log diaktifkan secara default. Log ini mencakup waktu pembuatan log, alamat IP node tempat log dihasilkan, dan isi log. Untuk informasi selengkapnya, lihat Main log. GC日志

ES access log

Access log menampilkan informasi detail tentang permintaan restSearchAction yang diterima oleh kluster Elasticsearch. Informasi ini mencakup node dan alamat IP kluster, ukuran body, isi permintaan, waktu permintaan, alamat IP klien yang menginisiasi permintaan, dan URI.

Penting

Anda hanya dapat melihat ES access logs di Konsol untuk instans yang menjalankan versi 6.7.0 atau 7.10.
Untuk memperoleh informasi yang lebih lengkap tentang permintaan kueri dan tulis, aktifkan audit log. Untuk informasi selengkapnya, lihat Konfigurasi audit log.

ES访问日志

Audit log

Penting

Anda hanya dapat melihat audit log di Konsol untuk instans yang menjalankan versi 7.x atau lebih baru di wilayah yang tercantum dalam Batasan.

Audit log menampilkan log yang dihasilkan untuk operasi seperti create, delete, update, dan query pada instans Elasticsearch. Fitur ini dinonaktifkan secara default. Anda dapat mengikuti langkah-langkah berikut untuk mengaktifkannya dan melihat audit log:

Pada halaman Log Search, klik Log Settings di sebelah kanan.
Pada dialog Log Settings, aktifkan sakelar Audit Log Collection.
Penting
- Setelah Anda mengaktifkan Audit Log Collection, Anda dapat mengkueri audit log kluster pada halaman ini. Untuk mengubah tipe event audit yang dikumpulkan, buka halaman konfigurasi kluster untuk mengubah parameter xpack.security.audit.logfile.events.include. Untuk informasi selengkapnya, lihat Konfigurasi audit log.
- Mengaktifkan atau menonaktifkan Audit Log Collection memicu restart kluster. Kluster Alibaba Cloud Elasticsearch direstart menggunakan rolling restart. Jika kluster berada dalam status Normal (hijau), setiap indeks memiliki setidaknya satu replica, dan penggunaan sumber daya tidak terlalu tinggi, kluster dapat terus menyediakan layanan selama restart. Namun, kami menyarankan Anda melakukan operasi ini pada jam sepi.
Saat diminta, klik Confirm.
Setelah Anda mengonfirmasi, kluster akan direstart. Selama restart, Anda dapat melihat progresnya di Task List. Setelah kluster berhasil direstart, pengumpulan audit log diaktifkan.
Penting
Informasi audit log mengonsumsi disk space dan dapat memengaruhi performa. Jika Anda tidak perlu melihat audit log, Anda dapat menonaktifkan fitur Audit Log Collection dengan cara yang sama.
Pada halaman Log Search, klik tab Audit Log untuk melihat audit log.

Referensi

ListSearchLog

Elasticsearch：Kueri log