Elasticsearch：Gunakan mekanisme rollup untuk meringkas data trafik

Prosedur

1. Langkah 1: Buat pekerjaan rollup

2. Langkah 2: Mulai pekerjaan rollup dan lihat informasi pekerjaan

3. Langkah 3: Kueri data indeks rollup

4. Langkah 4: Buat pola indeks rollup

5. Langkah 5: Buat grafik untuk pemantauan trafik di Kibana console

6. Langkah 6: Buat dasbor pemantauan trafik di Kibana console

Langkah 1: Buat pekerjaan rollup

PUT _rollup/job/ls-monitordata-sls-1h-job1
{
    "index_pattern": "monitordata-logstash-sls-*",
    "rollup_index": "monitordata-logstash-rollup-1h-1",
    "cron": "0 */15 * * * ?",
    "page_size" :1000,
    "groups" : {
      "date_histogram": {
        "field": "@timestamp",
        "fixed_interval": "1h"
      },
      "terms": {
        "fields": ["instanceId"]
      }
    },
    "metrics": [
        {
            "field": "networkoutTraffic",
            "metrics": ["sum"]
        },
        {
            "field": "networkinTraffic",
            "metrics": ["sum"]
        }
    ]
}

Langkah 2: Mulai pekerjaan rollup dan lihat informasi pekerjaan

1. Mulai pekerjaan rollup.

   POST _rollup/job/ls-monitordata-sls-1h-job1/_start

2. Lihat konfigurasi, statistik, dan status pekerjaan rollup.

   GET _rollup/job/ls-monitordata-sls-1h-job1/

   Untuk informasi lebih lanjut, lihat Dapatkan API pekerjaan rollup.

   Jika perintah berhasil dieksekusi, hasil berikut dikembalikan:

   {
        ........
         "status" : {
           "job_state" : "indexing",
           "current_position" : {
             "@timestamp.date_histogram" : 1586775600000,
             "instanceId.terms" : "ls-cn-ddddez****"
           },
           "upgraded_doc_id" : true
         },
         "stats" : {
           "pages_processed" : 3,
           "documents_processed" : 11.472.500,
           "rollups_indexed" : 3.000,
           "trigger_count" : 1,
           "index_time_in_ms" : 766,
           "index_total" : 3,
           "index_failures" : 0,
           "search_time_in_ms" : 68.559,
           "search_total" : 3,
           "search_failures" : 0
         }
   }

Langkah 3: Kueri data indeks rollup

Saat pekerjaan rollup dijalankan, struktur dokumen rollup berbeda dari data mentah. Port kueri rollup membangun ulang Query DSL menjadi pola yang cocok dengan dokumen rollup, mendapatkan respons, dan memulihkan Query DSL ke pola yang diharapkan oleh klien yang digunakan untuk kueri asli.

1. Gunakan match_all untuk mendapatkan semua data indeks rollup.

   GET monitordata-logstash-rollup-1h-1/_search
   {
     "query": {
       "match_all": {}
     }
   }

   • Hanya satu indeks rollup yang dapat ditentukan untuk kueri. Pencocokan kabur tidak didukung. Beberapa indeks dapat ditentukan untuk kueri data real-time.

   • Kueri berikut didukung: kueri term, kueri terms, kueri range, kueri match all, dan kueri majemuk apa pun. Kueri majemuk adalah kombinasi kueri, termasuk kueri Boolean, kueri boosting, dan kueri constant score. Untuk batasan lebih lanjut, lihat Keterbatasan pencarian rollup.

2. Gunakan _rollup_search untuk mendapatkan jumlah networkoutTraffic.

   GET /monitordata-logstash-rollup-1h-1/_rollup_search
   {
       "size": 0,
       "aggregations": {
           "sum_temperature": {
               "sum": {
                   "field": "networkoutTraffic"
               }
           }
       }
   }

   _rollup_search mendukung subset fitur operasi pencarian umum:

   • query: parameter Query DSL dengan batasan tertentu. Untuk informasi lebih lanjut, lihat Keterbatasan pencarian rollup dan Keterbatasan agregasi rollup.

   • aggregations: parameter agregasi.

   _rollup_search tidak mendukung fitur berikut:

   • size: Atur parameter ini ke 0 atau jangan tentukan parameter ini. Ini karena rollup hanya digunakan untuk agregasi data dan hasil kueri tidak dapat dikembalikan.

   • Parameter seperti highlighter, suggestors, post_filter, profile, dan explain tidak didukung.

Langkah 4: Buat pola indeks rollup

1. Masuk ke Kibana console.

   Untuk informasi lebih lanjut, lihat Masuk ke Kibana console.

2. Di bilah navigasi sisi kiri, klik ikon Management.

   

3. Di area Kibana, klik Index Patterns.

4. Opsional:Tutup halaman About index patterns.

   null

   Lewati langkah ini jika ini bukan pertama kali Anda membuat pola indeks.

5. Pilih Create index pattern > Rollup index pattern.

   

6. Di bidang Pola Indeks, masukkan nama pola indeks seperti monitordata-logstash-rollup-1h-1, lalu klik Next step.

   

7. Dari daftar drop-down Time Filter field name, pilih @timestamp.

   

8. Klik Create index pattern.

Langkah 5: Buat grafik untuk pemantauan trafik di Kibana console

Prosedur berikut menunjukkan cara membuat grafik networkinTraffic dan networkoutTraffic untuk indeks rollup di Kibana console.

1. Masuk ke Kibana console.

   Untuk informasi lebih lanjut, lihat Masuk ke Kibana console.

2. Buat grafik garis.

   1. Di bilah navigasi sisi kiri, klik ikon Visualize.

      

   2. Klik Create new visualization.

   3. Di kotak dialog New Visualization yang muncul, klik Line.

   4. Dalam daftar pola indeks, klik pola indeks rollup yang telah dibuat.

3. Tentukan parameter di Metrics dan Buckets.

   1. Di bagian Metrics, klik .

   2. Tentukan parameter Y-axis.

      Parameter	Deskripsi
      Aggregation	Atur nilai parameter ke Sum.
      Field	Atur nilai parameter ke networkinTraffic atau networkoutTraffic.
      Custom label	Masukkan label sumbu-Y kustom.

   3. Di bagian Buckets, pilih Add > X-axis.

   4. Tentukan parameter X-axis.

      Parameter	Deskripsi
      Aggregation	Atur nilai parameter ke date_histogram yang didefinisikan untuk group di Langkah 1: Buat pekerjaan rollup.
      Field	Atur nilai parameter ke @timestamp.
      Minimum interval	Nilai default adalah granularitas waktu agregasi yang didefinisikan dalam pekerjaan rollup. Nilainya harus merupakan kelipatan bulat dari interval rollup, seperti 2h atau 3h.

   5. Klik ikon .

4. Di bilah navigasi atas, klik Save.

5. Buat grafik gauge dengan cara yang sama.

Langkah 6: Buat dasbor pemantauan trafik di Kibana console

1. Di Kibana console, klik ikon Dashboard di bilah navigasi sisi kiri.

   

2. Klik Create new dashboard.

3. Di bilah navigasi atas, klik Add.

4. Di halaman Add panels, klik grafik yang dikonfigurasi di Langkah 5.

5. Tutup halaman Add panels. Di bilah navigasi atas, klik Save.

6. Ubah nama dasbor dan klik Confirm Save.

   Setelah konfigurasi dasbor disimpan, Anda dapat melihat dasbor.

7. Klik + Add filter, pilih item filter, konfigurasikan kondisi filter, dan klik Save.