Simple Log Service：Mengonversi bidang log di Logstore menjadi metrik di Metricstore

Skenario

Sebuah perusahaan membuat Logstore bernama nginx-demo di Wilayah China (Hangzhou) untuk menyimpan log akses NGINX.

Perusahaan tersebut perlu memantau tren request_time dan upstream_response_time untuk server backend mereka (host) dan menampilkan tren tersebut pada dasbor. Untuk memenuhi persyaratan ini, Anda perlu mengonversi bidang request_time dan upstream_response_time di Logstore menjadi metrik dan menambahkan tag host.

body_bytes_sent:1750
host:www.example.com
http_referer:www.guide.example.com
http_user_agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_6; it-it) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27
http_x_forwarded_for:203.0.113.10
remote_addr:203.0.113.10
remote_user:p288
request_length:13741
request_method:GET
request_time:71
request_uri:/request/path-1/file-1
status:200
time_local:11/Aug/2021:06:52:27
upstream_response_time:0.66

Prasyarat

Log telah dikumpulkan. Untuk informasi lebih lanjut, lihat Ikhtisar Pengumpulan Data.

Langkah 1: Buat Metricstore

Buat Metricstore bernama service-metric untuk menyimpan metrik yang dihasilkan dari transformasi data.

1. Masuk ke Konsol Layanan Log Sederhana.

2. Pada bagian Proyek, klik yang Anda inginkan.

   

3. Pada tab Metric Storage > Metricstores, klik ikon +.

4. Di panel Create Metricstore, konfigurasikan parameter berikut dan klik OK.

   Parameter	Deskripsi
   Metricstore Name	Nama metricstore. Nama harus unik di proyek tempat metricstore tersebut berada. Setelah metricstore dibuat, Anda tidak dapat mengubah nama metricstore tersebut.
   Data Retention Period	Periode retensi metrik yang dikumpulkan di metricstore. Jika Anda memilih Specified Days untuk Periode Retensi Data, tentukan berapa hari Anda ingin menyimpan metrik berdasarkan kebutuhan bisnis Anda. Nilai valid: 1 hingga 3000. Unit: hari. Peringatan Setelah periode retensi berakhir, metrik akan otomatis dihapus. Jika Anda mempersingkat periode retensi data, SLS akan menghapus semua metrik yang kedaluwarsa dalam waktu 1 jam. Volume data yang ditampilkan untuk Usage Details di halaman utama Konsol SLS diperbarui keesokan harinya. Sebagai contoh, jika Anda mengubah periode retensi data dari 5 hari menjadi 1 hari, SLS akan menghapus metrik dari empat hari sebelumnya dalam waktu 1 jam. Jika Anda memilih Permanent Storage untuk Periode Retensi Data, SLS akan menyimpan metrik yang dikumpulkan di metricstore secara permanen. Catatan Jika Anda menanyakan periode retensi data dengan memanggil SDK dan hasil yang dikembalikan adalah 3650, metrik disimpan secara permanen.
   Shards	Jumlah shard. SLS menyediakan shard yang memungkinkan Anda membaca dan menulis data. Setiap shard mendukung kapasitas tulis sebesar 5 MB/s dan 500 tulisan/detik serta kapasitas baca sebesar 10 MB/s dan 100 baca/detik. Anda dapat membuat hingga 10 shard di setiap metricstore. Anda dapat membuat hingga 200 shard di setiap proyek. Untuk informasi lebih lanjut, lihat Shard.
   Automatic Sharding	Jika Anda mengaktifkan Automatic Sharding, SLS akan meningkatkan jumlah shard ketika shard yang ada tidak dapat menampung data yang ditulis. Untuk informasi lebih lanjut, lihat Kelola shard.
   Maximum Shards	Jika Anda mengaktifkan Automatic Sharding, Anda harus mengonfigurasi parameter ini untuk menentukan jumlah maksimum shard baca-tulis yang dapat dibuat. Nilai maksimum: 256.

Langkah 2: Buat pekerjaan transformasi data

Gunakan fungsi e_to_metric untuk membuat pekerjaan transformasi data dan simpan hasil transformasi ke Metricstore yang dibuat di Langkah 1. Untuk informasi lebih lanjut, lihat e_to_metric.

1. Pergi ke halaman transformasi data.

2. Di sudut kanan atas halaman Transformasi Data, pilih rentang waktu kueri. Pastikan log yang ingin Anda kelola ditampilkan di tab Raw Logs.

   

3. Di editor, masukkan pernyataan transformasi data. Pernyataan ini mengonversi bidang request_time dan upstream_response_time di Logstore menjadi metrik, serta mengganti nama bidang host menjadi hostname untuk digunakan sebagai label baru.

   e_to_metric(
       names=[("request_time", "RequestTime"), ("upstream_response_time", "ResponseTime")],
       labels=[("host", "hostname")],
   )

4. Klik Preview Data untuk melihat hasil di tab Transformation Results.

   

5. Buat pekerjaan transformasi data.

   1. Klik Save as Transformation Job.

   2. Di panel Create Data Transformation Job, konfigurasikan parameter dan klik OK. Tabel berikut menjelaskan parameter. Untuk informasi lebih lanjut tentang parameter, lihat Buat Pekerjaan Transformasi Data.

      Parameter	Deskripsi
      Nama Pekerjaan, Nama Tampilan	Nama pekerjaan harus unik. Anda dapat menentukan nama tampilan kustom. Contoh: log2metric.
      Metode Otorisasi	Pilih Default Role untuk membaca data dari Logstore sumber.
      Tujuan Penyimpanan
      Nama Tujuan	Nama tujuan penyimpanan. Contoh: log2metric.
      Wilayah Tujuan	Wilayah proyek tempat Metricstore tujuan berada. Contoh: China (Hangzhou).
      Proyek Tujuan	Nama proyek tempat Metricstore tujuan berada.
      Toko Target	Nama Metricstore tujuan tempat hasil transformasi disimpan. Contoh: service-metric.
      Metode Otorisasi	Pilih Default Role untuk menulis hasil transformasi ke Metricstore service-metric.
      Ruang Lingkup Pemrosesan
      Rentang Waktu	Pilih All.

6. Lihat kemajuan pekerjaan transformasi data.

   

Langkah 3: Kueri metrik

1. Di panel navigasi di sebelah kiri, pilih Metric Storage > Metricstores. Kemudian, pilih Metricstore tujuan.

   

2. Di sudut kanan atas halaman yang muncul, klik 15 Minutes(Relative) dan tentukan rentang waktu untuk kueri dan analisis data.

   Catatan

   Hasil kueri dan analisis mungkin berisi metrik yang dihasilkan 1 menit lebih awal atau lebih lambat dari rentang waktu yang ditentukan.

3. Klik Preview Raw Data. Di panel yang muncul, pilih rentang waktu dan periksa apakah log yang diperlukan telah diunggah.

   

4. Masukkan pernyataan kueri menggunakan salah satu metode berikut. Untuk informasi lebih lanjut tentang cara menanyakan metrik, lihat Kueri dan Analisis Data Metrik.

   • Masukkan pernyataan PromQL dan klik Execute Now.

     Anda dapat menambahkan beberapa pernyataan kueri. Simple Log Service menampilkan hasil dari beberapa pernyataan kueri dalam grafik deret waktu.

   • Klik Metrics Explore. Di kotak dialog yang muncul, temukan metrik yang ingin Anda gunakan dan klik ikon di kolom Aksi. Simple Log Service secara otomatis menghasilkan pernyataan kueri.

     Di kotak dialog Metrics Explore, Anda juga dapat menemukan metrik dan mengklik Continue to Explore di kolom Aksi untuk menentukan nilai label. Simple Log Service secara otomatis menghasilkan pernyataan kueri berdasarkan pengaturan Anda. Untuk informasi lebih lanjut, lihat Eksplorasi Metrik.

   • Tren waktu permintaan untuk setiap host

   • Tren waktu tanggapan untuk setiap host