All Products
Search

This Product

    Simple Log Service:Mulai Menggunakan

    Document Center

    Simple Log Service:Mulai Menggunakan

    Last Updated:Aug 28, 2026

    Filter log akses website, hapus informasi pribadi pengguna, lalu tulis hasilnya ke LogStore tujuan menggunakan transformasi data (versi baru) di Simple Log Service. Panduan cepat ini memandu Anda melalui alur kerja transformasi, mulai dari menulis aturan SPL hingga mengamati pekerjaan yang dihasilkan.

    Informasi latar belakang

    Sebuah website menyimpan seluruh log aksesnya dalam LogStore bernama website_log. Untuk meningkatkan pengalaman pengguna, website tersebut perlu menganalisis kesalahan akses. Tujuannya adalah memfilter log akses dengan kode status 4XX, menghapus informasi pribadi pengguna, dan menuliskan hasilnya ke LogStore baru bernama website_fail untuk dianalisis oleh analis bisnis. Berikut contoh entri log:

    body_bytes_sent: 1061
http_user_agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr: 192.0.2.2
remote_user: vd_yw
request_method: GET
request_uri: /request/path-1/file-5
status: 400
time_local: 10/Jun/2021:19:10:59
error: Invalid time range

    Prasyarat

    • (Wajib) Proyek bernama web-project telah dibuat. Untuk informasi lebih lanjut, lihat Manage projects.

    • (Wajib) LogStore sumber bernama website_log telah dibuat di proyek web-project. Untuk informasi lebih lanjut, lihat Manage LogStores.

    • (Wajib) Log akses website telah dikumpulkan di LogStore sumber (website_log). Untuk informasi lebih lanjut, lihat Data collection overview.

    • (Wajib) LogStore tujuan bernama website_fail telah dibuat di proyek web-project.

    • (Bersyarat) Jika Anda menggunakan pengguna Resource Access Management (RAM), Anda harus terlebih dahulu memberikan izin kepada pengguna RAM tersebut untuk melakukan transformasi data. Untuk informasi lebih lanjut, lihat Authorize a RAM user to perform data transformation operations.

    • (Opsional) Indeks telah dikonfigurasi baik untuk LogStore sumber maupun LogStore tujuan. Untuk informasi lebih lanjut, lihat Create an index.

      Catatan

      Indeks tidak wajib untuk pekerjaan transformasi data. Namun, jika indeks tidak dikonfigurasi, Anda tidak dapat melakukan operasi kueri dan analisis.

    Langkah 1: Buat pekerjaan transformasi data

    1. Masuk ke Simple Log Service console.

    2. Buka halaman transformasi data.

      1. Pada bagian Projects, klik proyek yang Anda inginkan.

      2. Pada tab Log Storage > Logstores, klik LogStore yang Anda inginkan.

      3. Pada halaman kueri dan analisis, klik Data Transformation.

    3. Pada pojok kanan atas halaman, pilih rentang waktu.

      Setelah memilih rentang waktu, pastikan log muncul pada tab Raw Logs.

    4. Pada editor, masukkan aturan SPL transformasi berikut.

      *
| extend status=cast(status as BIGINT)
| where status>=400 AND status<500
| project-away remote_addr, remote_user

      Aturan ini menerapkan tiga operator secara berurutan:

      • extend status=cast(status as BIGINT) mengonversi bidang status ke tipe BIGINT.

      • where status>=400 AND status<500 hanya menyimpan log akses yang memiliki kode status 4XX.

      • project-away remote_addr, remote_user menghapus bidang remote_addr dan remote_user, yang berisi informasi pribadi pengguna.

    5. Debug aturan SPL.

      1. Pada tab Raw Data, pilih data uji atau masukkan data uji secara manual.

        [
{
    "body_bytes_sent": "1061",
    "http_user_agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5",
    "remote_addr": "192.0.2.2",
    "remote_user": "vd_yw",
    "request_method": "GET",
    "request_uri": "/request/path-1/file-5",
    "status": "400",
    "time_local": "10/Jun/2021:19:10:59",
    "error": "Invalid time range"
}
]

      2. Klik ikon run (▷) untuk menjalankan debug.

      3. Lihat hasil pratinjau. Setelah eksekusi selesai, beralihlah ke tab Transformation Results untuk melihat hasilnya. Log yang ditransformasi disusun menjadi beberapa bidang, seperti body_bytes_sent, error, http_user_agent, request_method, request_uri, status, dan time_local. Pastikan bahwa remote_addr dan remote_user tidak lagi ada dan hanya log akses dengan kode status 4XX yang tersisa.

    6. Buat pekerjaan transformasi data.

      1. Klik Save as Transformation Job (New Version).

      2. Pada panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut lalu klik OK.

      Parameter

      Deskripsi

      Task Name

      Nama pekerjaan transformasi data.

      Display Name

      Nama tampilan pekerjaan.

      Job Description

      Deskripsi pekerjaan.

      Authorization Method

      Berikan akses baca ke logstore sumber menggunakan salah satu metode berikut:

      • Default Role: Pekerjaan mengasumsikan role sistem AliyunLogETLRole untuk membaca data dari logstore sumber. Klik Authorize the system role AliyunLogETLRole dan lengkapi otorisasi sesuai petunjuk. Untuk informasi lebih lanjut, lihat Access data using a default role.

        Penting

        Jika Anda menggunakan pengguna RAM, akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu.

        Jika akun Alibaba Cloud Anda sudah diotorisasi, Anda dapat melewati langkah ini.

      • Custom Role: Pekerjaan mengasumsikan role kustom untuk membaca data dari logstore sumber. Anda harus terlebih dahulu memberikan izin kepada role kustom tersebut untuk membaca data dari logstore sumber, lalu masukkan ARN role tersebut pada bidang Role ARN. Untuk informasi lebih lanjut, lihat Access data using a custom role.

      • AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.

      Storage Destination

      Destination Name

      Nama tujuan penyimpanan. Termasuk konfigurasi seperti Project dan logstore.

      Destination Region

      Wilayah tempat Project tujuan berada.

      Destination Project

      Project tujuan untuk hasil transformasi. Project yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Dynamic destination Project/logstore output.

      Penting

      Project yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah dan otorisasi yang dikonfigurasi di sini.

      Target Store

      Logstore tujuan untuk hasil transformasi. Logstore yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Dynamic destination Project/logstore output.

      Penting

      Logstore yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah, otorisasi, dan Project yang dikonfigurasi di sini. Logstore tujuan tidak boleh sama dengan logstore sumber.

      Peringatan

      Jangan mengonfigurasi store tujuan sebagai store sumber saat ini (konfigurasi sumber yang sama). Jika tidak, log dapat ditulis secara berulang-ulang, sehingga menimbulkan biaya penyimpanan dan trafik tambahan. Anda bertanggung jawab atas konsumsi sumber daya dan biaya yang timbul.

      Authorization Method

      Berikan akses tulis ke logstore tujuan menggunakan salah satu metode berikut:

      • Default Role: Pekerjaan mengasumsikan role sistem AliyunLogETLRole untuk menulis hasil ke logstore tujuan. Klik Authorize the system role AliyunLogETLRole dan lengkapi otorisasi sesuai petunjuk. Untuk informasi lebih lanjut, lihat Access data using a default role.

      Penting

      Jika Anda menggunakan pengguna RAM, akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu.

      Jika akun Alibaba Cloud Anda sudah diotorisasi, Anda dapat melewati langkah ini.

      • Custom Role: Pekerjaan mengasumsikan role kustom untuk menulis hasil ke logstore tujuan. Anda harus terlebih dahulu memberikan izin kepada role kustom tersebut untuk menulis data ke logstore tujuan, lalu masukkan ARN role tersebut pada bidang Role ARN. Untuk informasi lebih lanjut, lihat Access data using a custom role.

      • AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.

      Write to Result Set

      Set data yang akan ditulis ke logstore tujuan. Beberapa set data dapat menargetkan satu tujuan, dan beberapa tujuan dapat berbagi satu set data. Dataset description.

      Processing scope

      Time Range

      (Data Receiving Time)

      Rentang waktu untuk pekerjaan:

      • All: Memproses semua data dari entri log pertama hingga dihentikan secara manual.

      • From Specific Time: Memproses data dari waktu mulai yang ditentukan hingga dihentikan secara manual.

      • Specific Time Range: Memproses data dalam jendela waktu yang ditentukan dan berhenti otomatis pada waktu akhir.

      Advanced Options

      Advanced Parameter Settings

      Simpan informasi sensitif (seperti kata sandi database) sebagai pasangan kunci-nilai, dan rujuk dalam pernyataan Anda menggunakan res_local("key").

      Klik + untuk menambahkan beberapa pasangan kunci-nilai. Misalnya, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj menentukan ID VPC tempat instans RDS berada.

    Langkah 2: Amati pekerjaan transformasi data

    1. Pada panel navigasi kiri, pilih Job Management > Data Transformation.

    2. Dalam daftar pekerjaan transformasi data, temukan dan klik pekerjaan transformasi data yang ingin Anda kelola.

    3. Pada halaman Data Transformation Overview (New Version), lihat detail dan status pekerjaan. Anda juga dapat mengamati status berjalan dan metrik pekerjaan. Untuk informasi lebih lanjut, lihat Observe and monitor data transformation jobs (new version). Untuk mengubah, memulai, menghentikan, atau menghapus pekerjaan, lihat Manage data transformation jobs (new version).

    4. Pastikan hasil transformasi telah ditulis ke LogStore tujuan. Buka LogStore tujuan (website_fail) untuk melakukan operasi kueri dan analisis. Untuk informasi lebih lanjut, lihat Quick guide to query and analysis.