Simple Log Service:Panduan cepat

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Membuat proyek bernama web-project. Untuk informasi selengkapnya, lihat Manage projects.

• Membuat Logstore sumber bernama website_log di proyek web-project. Untuk informasi selengkapnya, lihat Manage Logstores.

• Memasukkan log akses website ke dalam Logstore sumber (website_log). Untuk informasi selengkapnya, lihat Data Ingestion Overview.

• Membuat Logstore tujuan bernama website_fail di proyek web-project.

• Memberikan izin kepada RAM user untuk melakukan operasi transformasi data, jika berlaku. Untuk informasi selengkapnya, lihat Grant a RAM user permissions to perform data transformation operations.

• Mengonfigurasi indeks untuk Logstore sumber dan tujuan. Untuk informasi selengkapnya, lihat Create indexes.

Informasi latar belakang

Sebuah website menyimpan semua log aksesnya di Logstore bernama website_log. Untuk meningkatkan pengalaman pengguna, Anda perlu menganalisis error akses. Contoh ini memfilter log dengan kode status 4xx, menghapus informasi pribadi pengguna, lalu menuliskan hasilnya ke Logstore baru bernama website_fail untuk dianalisis oleh analis bisnis. Berikut adalah contoh log:

body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

Langkah 1: Buat pekerjaan transformasi data

1. Masuk ke Simple Log Service console.

2. Buka halaman transformasi data.

   1. Di bagian Projects, klik proyek yang diinginkan.

   2. Di tab Log Storage > Logstores, klik Logstore yang diinginkan.

   3. Di halaman kueri dan analisis, klik Data Transformation.

3. Di pojok kanan atas halaman, pilih rentang waktu.

   Setelah memilih rentang waktu, pastikan log muncul di tab Raw Logs.

4. Di editor, masukkan aturan Structured Process Language (SPL) berikut.

   *
   | extend status=cast(status as BIGINT)
   | where status>=0 AND status<500
   | project-away remote_addr, remote_user
   

5. Debug aturan SPL tersebut.

   1. Pilih data uji dari tab Raw Data atau masukkan data uji secara manual.

   2. Klik ▷ untuk menjalankan pengujian.

   3. Lihat hasil pratinjau.

6. Buat pekerjaan transformasi data.

   1. Klik Save as Transformation Job (New Version).

   2. Di panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut, lalu klik OK.

   Parameter	Deskripsi
   Task Name	Nama pekerjaan transformasi data.
   Display Name	Nama tampilan pekerjaan.
   Job Description	Deskripsi pekerjaan.
   Authorization Method	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan agar dapat membaca data dari logstore sumber. Default Role: Pekerjaan menggunakan peran sistem AliyunLogETLRole untuk membaca data dari logstore sumber. Klik Authorize the system role AliyunLogETLRole dan selesaikan otorisasi sesuai petunjuk. Untuk informasi selengkapnya, lihat Access data using a default role. Penting Jika Anda menggunakan RAM user, Akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu. Jika Akun Alibaba Cloud Anda sudah diberi otorisasi, Anda dapat melewati langkah ini. Custom Role: Pekerjaan menggunakan peran kustom untuk membaca data dari logstore sumber. Anda harus terlebih dahulu memberikan izin kepada peran kustom tersebut untuk membaca data dari logstore sumber, lalu masukkan ARN peran tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Access data using a custom role. AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.
   Storage Destination
   Destination Name	Nama destinasi penyimpanan. Destinasi penyimpanan mencakup konfigurasi seperti Project dan logstore.
   Destination Region	Wilayah tempat Project tujuan berada.
   Destination Project	Project tujuan yang menyimpan hasil transformasi. Project yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Untuk informasi selengkapnya, lihat Dynamic destination Project/logstore output. Penting Project yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah dan otorisasi yang dikonfigurasi di sini.
   Target Store	Logstore tujuan yang menyimpan hasil transformasi. Logstore yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Untuk informasi selengkapnya, lihat Dynamic destination Project/logstore output. Penting Logstore yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah, otorisasi, dan Project yang dikonfigurasi di sini. Logstore tujuan tidak boleh sama dengan logstore sumber. Peringatan Jangan mengonfigurasi logstore tujuan sebagai logstore sumber saat ini (konfigurasi same-source). Jika tidak, log dapat ditulis secara berulang-ulang, sehingga menimbulkan biaya penyimpanan dan traffic tambahan. Anda bertanggung jawab atas konsumsi sumber daya dan biaya yang timbul.
   Authorization Method	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan agar dapat menulis data ke logstore tujuan. Default Role: Pekerjaan menggunakan peran sistem AliyunLogETLRole untuk menulis hasil ke logstore tujuan. Klik Authorize the system role AliyunLogETLRole dan selesaikan otorisasi sesuai petunjuk. Untuk informasi selengkapnya, lihat Access data using a default role. Penting Jika Anda menggunakan RAM user, Akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu. Jika Akun Alibaba Cloud Anda sudah diberi otorisasi, Anda dapat melewati langkah ini. Custom Role: Pekerjaan menggunakan peran kustom untuk menulis hasil ke logstore tujuan. Anda harus terlebih dahulu memberikan izin kepada peran kustom tersebut untuk menulis data ke logstore tujuan, lalu masukkan ARN peran tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Access data using a custom role. AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.
   Write to Result Set	Set data yang akan ditulis ke logstore tujuan. Untuk informasi selengkapnya tentang set data dalam transformasi data (versi baru), lihat Dataset description. Anda dapat mengonfigurasi beberapa set data untuk satu destinasi, dan beberapa destinasi dapat menggunakan set data yang sama.
   Processing scope
   Time Range (Data Receiving Time)	Menentukan rentang waktu untuk pekerjaan transformasi data. Opsi berikut tersedia: All: Pekerjaan memproses data mulai dari entri log pertama hingga Anda menghentikannya secara manual. From Specific Time: Menentukan waktu mulai untuk pekerjaan. Pekerjaan memproses data mulai dari waktu yang ditentukan hingga Anda menghentikannya secara manual. Specific Time Range: Menentukan waktu mulai dan akhir untuk pekerjaan. Pekerjaan akan berhenti secara otomatis pada waktu akhir yang ditentukan.
   Advanced Options
   Advanced Parameter Settings	Jika pernyataan transformasi Anda memerlukan informasi sensitif, seperti password database, Anda dapat menyimpannya sebagai pasangan kunci-nilai. Anda kemudian dapat mereferensikannya dalam pernyataan Anda menggunakan fungsi res_local("key"). Klik + untuk menambahkan beberapa pasangan kunci-nilai. Misalnya, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj menentukan ID VPC tempat instans RDS berada.

7. Buka Logstore tujuan (website_fail) untuk menjalankan kueri dan analisis. Untuk informasi selengkapnya, lihat Quick guide to query and analysis.

Langkah 2: Amati pekerjaan transformasi data

1. Di panel navigasi kiri, pilih Job Management > Data Transformation.

2. Di daftar pekerjaan transformasi data, temukan dan klik pekerjaan yang ingin Anda kelola.

3. Di halaman Data Transformation Overview (New Version), lihat detail pekerjaan transformasi data. Anda dapat melihat detail dan status pekerjaan, serta memodifikasi, memulai, menghentikan, atau menghapus pekerjaan. Untuk informasi selengkapnya, lihat Manage data transformation jobs (new version). Anda juga dapat mengamati status berjalan dan metrik pekerjaan. Untuk informasi selengkapnya, lihat Observe and monitor data transformation jobs (new version).