Simple Log Service:Panduan Mulai Cepat

Persiapan

• Buat proyek bernama web-project. Untuk informasi selengkapnya, lihat Manage projects.

• Di proyek web-project, buat Logstore sumber bernama website_log. Untuk informasi selengkapnya, lihat Manage Logstores.

• Log akses website telah diingest ke Logstore sumber (website_log). Untuk informasi selengkapnya, lihat Data Ingestion Overview.

• Di proyek web-project, buat Logstore tujuan bernama website_fail.

• Jika Anda menggunakan pengguna Resource Access Management (RAM), berikan izin kepada pengguna RAM tersebut untuk melakukan operasi transformasi data. Untuk informasi selengkapnya, lihat Grant a RAM user permissions to perform data transformation operations.

• Konfigurasikan indeks untuk Logstore sumber dan tujuan. Untuk informasi selengkapnya, lihat Create indexes.

Informasi latar belakang

Sebuah website menyimpan seluruh log aksesnya di Logstore bernama website_log. Untuk meningkatkan pengalaman pengguna, Anda perlu menganalisis kesalahan akses dengan menyaring log yang memiliki kode status 4xx, menghapus informasi pribadi pengguna, lalu menuliskan hasilnya ke Logstore baru bernama website_fail untuk digunakan oleh analis bisnis. Berikut adalah contoh log:

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

Langkah 1: Buat pekerjaan transformasi data

1. Masuk ke Simple Log Service console.

2. Buka halaman transformasi data.

   1. Pada bagian Projects, klik proyek yang diinginkan.

   2. Di tab Log Storage > Logstores, klik Logstore yang diinginkan.

   3. Di halaman kueri dan analisis, klik Data Transformation.

3. Di pojok kanan atas halaman, tentukan rentang waktu untuk data log yang ingin Anda transformasikan.

   Setelah memilih rentang waktu, pastikan log muncul di tab Raw Logs.

4. Masukkan aturan Structured Process Language (SPL) berikut di editor.

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. Debug aturan SPL.

   1. Pilih data uji dari tab Raw Data atau masukkan data uji secara manual.

   2. Klik ▷ untuk menjalankan pengujian.

   3. Lihat hasil pratinjau.

6. Buat pekerjaan transformasi data.

   1. Klik Save as Transformation Job (New Version).

   2. Di panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut lalu klik OK.

   Parameter	Deskripsi
   Job Name	Nama pekerjaan transformasi data.
   Display Name	Nama tampilan pekerjaan.
   Job Description	Deskripsi pekerjaan.
   Authorization Method	Metode yang digunakan untuk memberikan otorisasi kepada pekerjaan transformasi data agar dapat membaca data dari logstore sumber. Opsi: Default Role: memungkinkan pekerjaan transformasi data menggunakan role sistem Alibaba Cloud AliyunLogETLRole untuk membaca data dari logstore sumber. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai petunjuk untuk menyelesaikan otorisasi. Untuk informasi selengkapnya, lihat Access data using a default role. Penting Jika Anda menggunakan pengguna RAM, pastikan otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda. Jika otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda, lewati langkah ini. Custom Role: memberikan otorisasi kepada pekerjaan transformasi data untuk mengasumsikan role kustom guna membaca data dari logstore sumber. Anda harus memberikan izin kepada role kustom tersebut untuk membaca dari logstore sumber. Lalu, masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari role kustom tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Access data by using a custom role.
   Storage Destination
   Destination Name	Nama destinasi penyimpanan. Di area Storage Destination, Anda harus mengonfigurasi parameter termasuk Destination Project dan Target Store.
   Destination Region	Wilayah proyek tempat logstore tujuan berada.
   Destination Project	Nama proyek tempat logstore tujuan berada. Proyek tujuan dapat ditentukan secara dinamis melalui aturan SPL. Untuk informasi selengkapnya, lihat Output configuration of processing results. Jika ditentukan secara dinamis oleh aturan SPL, proyek yang ditentukan akan digunakan. Jika tidak, proyek default akan digunakan. Penting Proyek yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah dan otorisasi yang dikonfigurasi saat ini.
   Target Store	Nama logstore tujuan yang menyimpan data hasil transformasi. Logstore tujuan dapat ditentukan secara dinamis melalui aturan SPL. Untuk informasi selengkapnya, lihat Output configuration of processing results. Jika ditentukan secara dinamis oleh aturan SPL, logstore yang ditentukan akan digunakan. Jika tidak, logstore default akan digunakan. Penting Logstore yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah, otorisasi, dan proyek yang dikonfigurasi saat ini. Logstore sumber dan tujuan harus berbeda.
   Authorization Method	Metode yang digunakan untuk memberikan otorisasi kepada pekerjaan transformasi data agar dapat menulis data hasil transformasi ke logstore tujuan. Opsi: Default Role: memungkinkan pekerjaan transmisi data mengasumsikan role sistem Alibaba Cloud AliyunLogETLRole untuk menulis hasil transformasi data ke logstore tujuan. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai petunjuk untuk menyelesaikan otorisasi. Untuk informasi selengkapnya, lihat Access data using a default role. Penting Jika Anda menggunakan pengguna RAM, pastikan otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda. Jika otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda, lewati langkah ini. Custom Role: memberikan otorisasi kepada pekerjaan transformasi data untuk mengasumsikan role kustom guna menulis data hasil transformasi ke logstore tujuan. Anda harus memberikan izin kepada role kustom tersebut untuk menulis data ke logstore tujuan. Lalu, masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari role kustom tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Access data by using a custom role.
   Write to Result Set	Set data yang akan ditulis ke logstore tujuan. Untuk informasi selengkapnya, lihat Dataset description. Beberapa set data dapat dikonfigurasi untuk satu destinasi, dan satu set data dapat dipilih oleh beberapa destinasi.
   Rentang Waktu untuk Transformasi Data
   Time Range for Data Transformation (Data Receiving Time)	Rentang waktu data yang ditransformasikan. All: Pekerjaan mentransformasikan data di logstore sumber mulai dari log pertama hingga pekerjaan dihentikan secara manual. From Specific Time: Pekerjaan mentransformasikan data di logstore sumber mulai dari log yang diterima pada Waktu mulai yang ditentukan hingga pekerjaan dihentikan secara manual. Specific Time Range: Pekerjaan mentransformasikan data di logstore sumber mulai dari log yang diterima pada Waktu mulai yang ditentukan hingga log yang diterima pada waktu akhir yang ditentukan.
   Advanced Options
   Advanced Parameter Settings	Anda mungkin perlu menentukan kata sandi seperti kata sandi database dalam pernyataan transformasi. SLS memungkinkan Anda menambahkan pasangan kunci-nilai untuk menyimpan kata sandi tersebut. Gunakan res_local("key") dalam pernyataan Anda untuk mereferensikan kata sandi tersebut. Klik ikon + untuk menambahkan lebih banyak pasangan kunci-nilai. Misalnya, tambahkan config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj untuk menunjukkan ID virtual private cloud (VPC) tempat instans ApsaraDB RDS berada.

7. Buka Logstore tujuan (website_fail) untuk melakukan kueri dan analisis. Untuk informasi selengkapnya, lihat Quick guide to query and analysis.

Langkah 2: Amati pekerjaan transformasi data

1. Di panel navigasi sebelah kiri, pilih Job Management > Data Transformation.

2. Di daftar pekerjaan transformasi data, temukan dan klik pekerjaan transformasi data yang ingin Anda kelola.

3. Di halaman Data Transformation Overview (New Version), lihat detail pekerjaan transformasi data, termasuk status dan informasi terkait. Anda juga dapat memodifikasi, memulai, menghentikan, atau menghapus pekerjaan tersebut. Untuk informasi selengkapnya, lihat Manage data transformation jobs (new version). Selain itu, Anda dapat memantau status berjalan dan metrik pekerjaan tersebut. Untuk informasi selengkapnya, lihat Observe and monitor data transformation jobs (new version).