Menggabungkan log dari beberapa Logstore sumber ke satu Logstore tujuan - Simple Log Service

Simple Log Service memungkinkan Anda mengonfigurasi pekerjaan transformasi data untuk setiap Logstore, sehingga Anda dapat menggabungkan log dari beberapa Logstore sumber ke satu Logstore tujuan. Topik ini menjelaskan cara melakukan penggabungan tersebut dan menyediakan skenario umum.

Informasi latar belakang

Layanan situs informasi tersebar di seluruh dunia. Log akses pengguna dari berbagai saluran informasi dikumpulkan dan disimpan di Logstore akun Alibaba Cloud yang berbeda. Untuk menggabungkan log dari beberapa Logstore ke satu Logstore guna kueri dan analisis lebih lanjut, Anda dapat menggunakan fungsi e_output untuk mentransformasi log. Untuk informasi lebih lanjut, lihat e_output.

Dalam topik ini, Logstore di wilayah Inggris (London) digunakan untuk menjelaskan cara menggabungkan log dari beberapa Logstore sumber ke satu Logstore tujuan.

Log mentah di Akun 1 disimpan di Logstore bernama Logstore_1 dari Proyek bernama Project_1. Proyek tersebut berada di wilayah Inggris (London).

Log 1
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

Log 2
request_id: 2
http_host:  aliyundoc.com
http_status:  301
request_method:  POST
request_uri:  /data/data.php

Log mentah di Akun 2 disimpan di Logstore bernama Logstore_2 dari Proyek bernama Project_2. Proyek tersebut berada di wilayah Inggris (London).

Log 1
request_id: 3
host:  example.edu
status:  404
request_method:  GET
request_uri:  /category/abc/product_id

Log 2
request_id: 4
host:  example.net
status:  200
request_method:  GET
request_uri:  /data/index.html

Persyaratan Transformasi
- Ekspor log dengan http_status adalah 200 di Logstore_1 Akun 1 ke Logstore_3 Akun 3.
- Ekspor log dengan http_status adalah 200 di Logstore_2 Akun 2 ke Logstore_3 Akun 3. Sebelum mengekspor log, ubah nama host menjadi http_host dan status menjadi http_status untuk menjaga konsistensi dengan nama bidang di Logstore_1.

Langkah 1: Konfigurasikan aturan transformasi data untuk Logstore_1

Buka halaman transformasi data Logstore_1 di Akun 1. Untuk informasi lebih lanjut tentang cara membuka halaman di konsol Simple Log Service, lihat Buat Pekerjaan Transformasi Data.
Di halaman transformasi data, konfigurasikan aturan transformasi data berikut: Ekspor log dengan http_status adalah 200 di Logstore_1 Akun 1 ke Logstore_3 Akun 3.
```
e_if(e_match("http_status", "200"), e_output("target_logstore"))
```
Buat pekerjaan transformasi data. Di bagian Storage Destination, konfigurasikan parameter Destination Name, Destination Region, Destination Project, dan Target Store sesuai gambar berikut. Untuk informasi lebih lanjut tentang parameter Metode Otorisasi, lihat Buat Pekerjaan Transformasi Data.

Langkah 2: Konfigurasikan aturan transformasi data untuk Logstore_2

Buka halaman transformasi data Logstore_2 di Akun 2. Untuk informasi lebih lanjut tentang cara membuka halaman di konsol Simple Log Service, lihat Buat Pekerjaan Transformasi Data.
Di halaman transformasi data, konfigurasikan aturan transformasi data berikut: Ekspor log dengan http_status adalah 200 di Logstore_2 Akun 2 ke Logstore_3 Akun 3. Sebelum mengekspor log, ubah nama host menjadi http_host dan status menjadi http_status untuk menjaga konsistensi dengan nama bidang di Logstore_1.
```
e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))
```
Pratinjau Hasil
Buat pekerjaan transformasi data. Di bagian Storage Destination, konfigurasikan parameter Destination Name, Destination Region, Destination Project, dan Target Store sesuai gambar berikut. Untuk informasi lebih lanjut tentang parameter Metode Otorisasi, lihat Buat Pekerjaan Transformasi Data.

Lihat hasil agregasi

Kueri dan analisis log di Logstore_3 yang berada di wilayah Inggris (London). Untuk informasi lebih lanjut, lihat Kueri dan Analisis Log. Contoh log:

Log 1
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

Log 2
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html