Rute Log dari Berbagai Logstore ke Satu melalui e_output - Simple Log Service

Layanan Log Sederhana memungkinkan Anda mengagregasikan data dari beberapa Logstore sumber ke dalam satu Logstore dengan mengonfigurasi Pekerjaan transformasi data untuk masing-masing sumber. Topik ini menjelaskan skenario umum dan prosedurnya.

Informasi latar belakang

Sebuah situs web informasi menawarkan layanan yang tersebar secara global. Log akses dari berbagai saluran informasi dikumpulkan dan disimpan di Logstore yang tersebar di beberapa Akun Alibaba Cloud. Untuk mengagregasikan data log tersebut ke dalam satu Logstore guna kueri dan analisis lebih lanjut, Anda dapat menggunakan fungsi e_output untuk transformasi data.

Topik ini menggunakan log dari Logstore yang berbeda dalam Wilayah tujuan yang sama, UK (London), untuk menjelaskan prosedur agregasi data log:

Log mentah dari Akun 1 disimpan di Logstore_1 dalam Proyek_1. Proyek ini berada di Wilayah UK (London).

Log 1
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

Log 2
request_id: 2
http_host:  aliyundoc.com
http_status:  301
request_method:  POST
request_uri:  /data/data.php

Log dari Akun 2 disimpan di Logstore_2 dalam Proyek_2. Proyek ini berada di Wilayah UK (London).

Log 1
request_id: 3
host:  example.edu
status:  404
request_method:  GET
request_uri:  /category/abc/product_id

Log 2
request_id: 4
host:  example.net
status:  200
request_method:  GET
request_uri:  /data/index.html

Target pemrosesan
- Ekspor semua event log dari Logstore_1 di Akun 1 yang memiliki http_status bernilai 200 ke Logstore_3 di Akun 3.
- Untuk semua event log di LogStore_2 milik Akun 2 yang memiliki http_status bernilai 200, ubah nama bidang host menjadi http_host dan bidang status menjadi http_status (untuk menyelaraskan dengan LogStore1), lalu keluarkan hasilnya ke LogStore_3 milik Akun 3.

Langkah 1: Konfigurasikan aturan transformasi data untuk Logstore_1

Buka halaman transformasi data untuk Logstore_1 di Akun 1. Untuk prosedur di Konsol, lihat Buat Pekerjaan transformasi data.
Pada halaman transformasi data, konfigurasikan aturan transformasi berikut untuk mengekspor semua event log dari Logstore_1 di Akun 1 yang memiliki http_status bernilai 200 ke Logstore_3 di Akun 3.
```
e_if(e_match("http_status", "200"), e_output("target_logstore"))
```
Buat Pekerjaan transformasi data. Pada bagian Storage Destination, konfigurasikan parameter Destination Name, Destination Region, Destination Project, dan Destination Logstore seperti yang ditunjukkan pada gambar. Untuk informasi lebih lanjut tentang metode otorisasi, lihat Buat Pekerjaan transformasi data.

Langkah 2: Konfigurasikan aturan transformasi data untuk Logstore_2

Buka halaman transformasi data untuk Logstore_2 di Akun 2. Untuk langkah-langkah di Konsol, lihat Buat Pekerjaan transformasi data.
Pada halaman Data Transformation, konfigurasikan aturan transformasi berikut: Untuk semua event log di LogStore_2 yang memiliki http_status bernilai 200, ubah nama bidang host menjadi http_host dan bidang status menjadi http_status (untuk menyelaraskan dengan LogStore1), lalu keluarkan hasilnya ke LogStore_3 di Akun 3.
```
e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))
```
Pratinjau hasil
Buat Pekerjaan transformasi data. Pada bagian Storage Destination, konfigurasikan parameter Destination Name, Destination Region, Destination Project, dan Destination Logstore seperti yang ditunjukkan pada gambar. Untuk informasi lebih lanjut tentang metode otorisasi, lihat Buat Pekerjaan transformasi data.

Lihat hasil agregasi

Anda dapat melakukan kueri dan analisis log di Logstore_3 di Wilayah UK (London). Untuk informasi lebih lanjut, lihat Panduan cepat untuk kueri dan analisis. Berikut adalah contoh log.

Log 1
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

Log 2
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html