Simple Log Service：Memulai

Persiapan

• Buat Proyek bernama web-project. Untuk detail lebih lanjut, lihat Mengelola Proyek.

• Buat Logstore bernama website_log di Proyek web-project. Logstore ini berfungsi sebagai sumber log. Untuk informasi lebih lanjut, lihat Mengelola Logstore.

• Kumpulkan log akses situs web dan simpan di Logstore website_log. Untuk detail lebih lanjut, lihat Ikhtisar Pengumpulan Data.

• Buat Logstore tujuan bernama website_fail di Proyek web-project.

• Jika menggunakan Pengguna Resource Access Management (RAM), pastikan pengguna RAM memiliki izin manajemen untuk pekerjaan transformasi data. Untuk informasi lebih lanjut, lihat Berikan Pengguna RAM Izin untuk Mengelola Pekerjaan Transformasi Data.

• Konfigurasikan indeks untuk Logstore sumber dan tujuan. Untuk informasi lebih lanjut, lihat Buat Indeks.

Informasi latar belakang

Log akses situs web disimpan di Logstore website_log. Untuk meningkatkan pengalaman pengguna, kesalahan akses perlu dianalisis. Selama proses ini, log akses dengan kode status 4XX harus difilter, informasi pribadi pengguna akses disembunyikan, dan log yang telah difilter ditulis ke Logstore tujuan website_fail untuk analisis. Contoh log:

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

Langkah 1: Buat pekerjaan transformasi data

1. Masuk ke Konsol Layanan Log Sederhana.

2. Buka halaman transformasi data.

   1. Di bagian Proyek, klik Proyek yang ingin Anda kelola.

   2. Di tab Log Storage > Logstores, klik Logstore yang ingin Anda kelola.

   3. Di halaman kueri dan analisis, klik Data Transformation.

3. Di pojok kanan atas halaman, tentukan rentang waktu untuk data log yang akan ditransformasikan.

   Setelah memilih rentang waktu, verifikasi bahwa log muncul di tab Raw Logs.

4. Di kotak edit, masukkan aturan Service Processing Language (SPL) berikut:

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. Debug aturan SPL.

   1. Pilih data uji dari tab Raw Logs atau masukkan log secara manual untuk pengujian.

   2. Klik ▷ untuk memulai debugging.

   3. Pratinjau hasilnya.

6. Buat pekerjaan transformasi data.

   1. Klik Save as Transformation Job (New Version).

   2. Di panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut dan klik OK.

   Parameter	Deskripsi
   Job Name	Nama pekerjaan transformasi data.
   Display Name	Nama tampilan pekerjaan.
   Job Description	Deskripsi pekerjaan.
   Authorization Method	Metode yang digunakan untuk mengotorisasi pekerjaan transformasi data membaca data dari Logstore sumber. Pilihan: Default Role: memungkinkan pekerjaan transformasi data menggunakan peran sistem Alibaba Cloud AliyunLogETLRole untuk membaca data dari Logstore sumber. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai petunjuk untuk menyelesaikan otorisasi. Untuk informasi lebih lanjut, lihat Akses data menggunakan peran default. Penting Jika Anda menggunakan pengguna RAM, pastikan otorisasi selesai dalam akun Alibaba Cloud Anda. Jika otorisasi selesai dalam akun Alibaba Cloud Anda, Anda dapat melewati operasi ini. Custom Role: mengotorisasi pekerjaan transformasi data untuk mengasumsikan peran kustom untuk membaca data dari Logstore sumber. Anda harus memberikan peran kustom izin untuk membaca dari Logstore sumber. Kemudian, Anda harus memasukkan Nama Sumber Daya Alibaba Cloud (ARN) dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Akses data menggunakan peran kustom.
   Storage Destination
   Destination Name	Nama tujuan penyimpanan. Di area Tujuan Penyimpanan, Anda harus mengonfigurasi parameter termasuk Proyek Tujuan dan Penyimpanan Target.
   Destination Region	Wilayah proyek tempat Logstore tujuan berada.
   Destination Project	Nama proyek tempat Logstore tujuan berada. Proyek tujuan dapat ditentukan secara dinamis oleh aturan SPL. Untuk informasi lebih lanjut, lihat Konfigurasi output hasil pemrosesan. Jika ditentukan secara dinamis oleh aturan SPL, proyek yang ditentukan akan digunakan. Jika tidak, proyek default akan digunakan. Penting Proyek yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah dan otorisasi yang saat ini dikonfigurasi.
   Target Store	Nama Logstore tujuan, yang menyimpan data yang telah ditransformasi. Logstore tujuan dapat ditentukan secara dinamis oleh aturan SPL. Untuk informasi lebih lanjut, lihat Konfigurasi output hasil pemrosesan. Jika ditentukan secara dinamis oleh aturan SPL, Logstore yang ditentukan akan digunakan. Jika tidak, Logstore default akan digunakan. Penting Logstore yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah, otorisasi, dan proyek yang saat ini dikonfigurasi.
   Authorization Method	Metode yang digunakan untuk mengotorisasi pekerjaan transformasi data menulis data yang telah ditransformasi ke Logstore tujuan. Pilihan: Default Role: memungkinkan pekerjaan transmisi data mengasumsikan peran sistem Alibaba Cloud AliyunLogETLRole untuk menulis hasil transformasi data ke Logstore tujuan. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai petunjuk untuk menyelesaikan otorisasi. Untuk informasi lebih lanjut, lihat Akses data menggunakan peran default. Penting Jika Anda menggunakan pengguna RAM, pastikan otorisasi selesai dalam akun Alibaba Cloud Anda. Jika otorisasi selesai dalam akun Alibaba Cloud Anda, Anda dapat melewati operasi ini. Custom Role: mengotorisasi pekerjaan transformasi data untuk mengasumsikan peran kustom untuk menulis data yang telah ditransformasi ke Logstore tujuan. Anda harus memberikan izin kepada peran kustom untuk menulis data ke Logstore tujuan. Kemudian, masukkan Nama Sumber Daya Alibaba Cloud (ARN) dari peran kustom di bidang Role ARN. Untuk informasi lebih lanjut, lihat Akses data menggunakan peran kustom.
   Write to Result Set	Dataset yang akan ditulis ke Logstore tujuan. Untuk informasi lebih lanjut, lihat Deskripsi dataset. Beberapa dataset dapat dikonfigurasikan untuk satu tujuan, dan satu dataset dapat dipilih oleh beberapa tujuan.
   Rentang Waktu untuk Transformasi Data
   Time Range for Data Transformation (Data Receiving Time)	Rentang waktu data yang ditransformasi. All: Pekerjaan mentransformasi data di Logstore sumber dari log pertama hingga pekerjaan dihentikan secara manual. From Specific Time: Pekerjaan mentransformasi data di Logstore sumber dari log yang diterima pada waktu mulai yang ditentukan hingga pekerjaan dihentikan secara manual. Specific Time Range: Pekerjaan mentransformasi data di Logstore sumber dari log yang diterima pada waktu mulai yang ditentukan hingga log yang diterima pada waktu akhir yang ditentukan.
   Advanced Options
   Advanced Parameter Settings	Anda mungkin perlu menentukan kata sandi seperti kata sandi basis data dalam pernyataan transformasi. Layanan Log Sederhana memungkinkan Anda menambahkan pasangan nilai-kunci untuk menyimpan kata sandi. Anda dapat menentukan res_local("key") dalam pernyataan Anda untuk merujuk kata sandi. Anda dapat mengklik ikon + untuk menambahkan lebih banyak pasangan nilai-kunci. Sebagai contoh, Anda dapat menambahkan config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj untuk menunjukkan ID virtual private cloud (VPC) tempat instance ApsaraDB RDS berada.

7. Buka Logstore tujuan website_fail dan lakukan operasi kueri dan analisis. Untuk informasi lebih lanjut, lihat Panduan Kueri dan Analisis Log.

Langkah 2: Amati pekerjaan transformasi data

1. Di panel navigasi sebelah kiri, pilih Job Management > Data Transformation.

2. Di daftar pekerjaan Transformasi Data, klik pekerjaan target.

3. Di halaman Data Transformation Overview (versi baru), tinjau detail pekerjaan transformasi data. Anda dapat melihat detail dan status pekerjaan, serta memodifikasi, memulai, menghentikan, atau menghapus pekerjaan. Anda juga dapat memantau status dan metrik pekerjaan yang sedang berjalan. Untuk informasi lebih lanjut, lihat Pantau Pekerjaan Transformasi Data (Versi Baru).