Layanan Log Sederhana memungkinkan Anda menggunakan pekerjaan transformasi data untuk mengonsolidasikan data dari beberapa LogStore sumber ke dalam satu LogStore. Topik ini menjelaskan kasus penggunaan umum dan menyediakan langkah-langkah yang diperlukan.
Informasi latar belakang
Sebuah situs web berita dengan layanan yang tersebar secara global menyimpan log akses pengguna dari berbagai saluran berita di LogStore yang tersebar di beberapa Akun Alibaba Cloud. Untuk mengonsolidasikan data log tersebut ke dalam satu LogStore guna kueri dan analisis terpusat, Anda dapat menggunakan fungsi e_output dalam pekerjaan transformasi data.
Topik ini memberikan contoh penggabungan log dari LogStore berbeda yang berada di wilayah yang sama, yaitu UK (London). Bagian berikut menjelaskan log-log tersebut:
-
Akun 1 menyimpan log mentahnya di LogStore_1, yang berada di Project_1 di wilayah UK (London).
"Log 1" request_id: 1 http_host: example.com http_status: 200 request_method: GET request_uri: /pic/icon.jpg "Log 2" request_id: 2 http_host: aliyundoc.com http_status: 301 request_method: POST request_uri: /data/data.php -
Akun 2 menyimpan log-nya di LogStore_2, yang berada di Project_2 di wilayah UK (London).
"Log 1" request_id: 3 host: example.edu status: 404 request_method: GET request_uri: /category/abc/product_id "Log 2" request_id: 4 host: example.net status: 200 request_method: GET request_uri: /data/index.html -
Persyaratan transformasi
-
Ekspor event log yang memiliki
http_statusbernilai200dari LogStore_1 di akun 1 ke LogStore_3 di akun 3. -
Untuk event log dari LogStore_2 di akun 2 yang memiliki
statusbernilai200, ubah namahostmenjadihttp_hostdanstatusmenjadihttp_statusagar sesuai dengan nama bidang di LogStore_1. Kemudian, ekspor log yang telah ditransformasi tersebut ke LogStore_3 di akun 3.
-
Langkah 1: Konfigurasikan transformasi untuk LogStore_1
-
Buka halaman transformasi data untuk LogStore_1 di akun 1. Untuk langkah-langkah detail, lihat Buat pekerjaan transformasi data.
-
Pada halaman transformasi data, konfigurasikan aturan berikut untuk mengekspor event log dengan
http_statusbernilai200dari LogStore_1 di akun 1 ke LogStore_3 di akun 3.e_if(e_match("http_status", "200"), e_output("target_logstore")) -
Buat pekerjaan transformasi data dan konfigurasikan parameter seperti Storage Destination, Destination Name, Destination Region, Destination Project, dan Destination Logstore pada bagian Storage Destination. Untuk penjelasan parameter metode otorisasi, lihat Buat pekerjaan transformasi data.
Atur Destination Name menjadi
target_logstore. Untuk Destination Region, pilih UK (London). Untuk Destination Project, masukkanProject_3. Untuk Target Store, masukkanLogStore_3. Untuk Authorization Method, pilih AccessKey, masukkan AccessKey ID dan AccessKey Secret, lalu klik Add.
Langkah 2: Konfigurasikan transformasi untuk LogStore_2
-
Buka halaman transformasi data untuk LogStore_2 di akun 2. Untuk langkah-langkah detail, lihat Buat pekerjaan transformasi data.
-
Pada halaman transformasi data, konfigurasikan aturan berikut. Aturan ini memproses log dari LogStore_2 yang memiliki
statusbernilai200. Aturan ini mengubah namahostmenjadihttp_hostdanstatusmenjadihttp_statusagar sesuai dengan nama bidang di LogStore_1, lalu mengekspor log yang telah ditransformasi tersebut ke LogStore_3 di akun 3.e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))Dalam hasil pratinjau, bidang-bidang tersebut telah diubah namanya sesuai harapan: host menjadi http_host dan status menjadi http_status.
-
Buat pekerjaan transformasi data. Pada area Storage Destination, konfigurasikan parameter seperti Destination Name, Destination Region, Destination Project, dan Destination Logstore. Untuk penjelasan parameter Authorization Method, lihat Buat pekerjaan transformasi data.
Untuk Destination Name, masukkan
target_logstore. Untuk Destination Region, pilih UK (London). Untuk Destination Project, masukkanProject_3. Untuk Target Store, masukkanLogStore_3. Untuk Authorization Method, pilih AccessKey, masukkan AccessKey ID dan AccessKey Secret, lalu klik Add.
Lihat hasil agregasi
Di LogStore_3 di wilayah UK (London), kueri dan analisis log-log tersebut. Berikut adalah contoh log.
"Log 1"
request_id: 1
http_host: example.com
http_status: 200
request_method: GET
request_uri: /pic/icon.jpg
"Log 2"
request_id: 4
http_host: example.net
http_status: 200
request_method: GET
request_uri: /data/index.html