All Products
Search

This Product

    Simple Log Service:Mulai menggunakan transformasi data

    Document Center

    Simple Log Service:Mulai menggunakan transformasi data

    Last Updated:Jun 26, 2026

    Topik ini menggunakan log akses website untuk menggambarkan proses transformasi data dan membantu Anda memahami fitur serta operasinya secara cepat.

    Prasyarat

    • Proyek bernama web-project telah dibuat. Untuk informasi selengkapnya, lihat Mengelola proyek.

    • Logstore sumber bernama website_log telah dibuat di proyek web-project. Untuk informasi selengkapnya, lihat Membuat Logstore dasar.

    • Log akses website telah dikumpulkan dan disimpan di Logstore sumber (website_log). Untuk informasi selengkapnya, lihat Pengumpulan data.

    • Logstore tujuan telah dibuat di proyek web-project. Tabel berikut menjelaskan Logstore tujuan tersebut.

      Logstore Tujuan

      Deskripsi

      website-success

      Menyimpan log untuk permintaan akses yang berhasil di Logstore website-success, yang sesuai dengan target penyimpanan target-success.

      website-fail

      Menyimpan log untuk permintaan akses yang gagal di Logstore website-fail, yang sesuai dengan target penyimpanan target-fail.

      website-etl

      Menyimpan semua log akses lainnya di Logstore website-etl, yang sesuai dengan target penyimpanan target0.

    • Jika Anda menggunakan RAM user, berikan izin yang diperlukan kepada RAM user tersebut untuk melakukan operasi transformasi data. Untuk informasi selengkapnya, lihat Memberikan izin kepada RAM user untuk transformasi data.

    • Indeks telah dikonfigurasi untuk Logstore sumber dan tujuan. Untuk informasi selengkapnya, lihat Membuat indeks.

      Penting

      Pekerjaan transformasi data tidak bergantung pada indeks. Namun, Anda tidak dapat melakukan kueri atau analisis data jika tidak mengonfigurasi indeks.

    Latar Belakang

    Sebuah website menyimpan seluruh log aksesnya dalam satu Logstore. Anda ingin menetapkan topik berbeda untuk log akses yang berhasil dan gagal, lalu mengarahkannya ke Logstore yang berbeda agar lebih mudah dianalisis. Berikut adalah contoh log:

    body_bytes_sent:1061
http_user_agent:Mozilla/5.0 (Windows; U; Windows NT 5.1; ru-RU) AppleWebKit/533.18.1 (KHTML, like Gecko) Version/5.0.2 Safari/533.18.5
remote_addr:192.0.2.2
remote_user:vd_yw
request_method:DELETE
request_uri:/request/path-1/file-5
status:207
time_local:10/Jun/2021:19:10:59

    Langkah 1: Membuat pekerjaan transformasi data

    1. Masuk ke Konsol Simple Log Service.

    2. Buka halaman transformasi data.

      1. Di bagian Projects, klik proyek yang diinginkan.

      2. Di tab Log Storage > Logstores, klik logstore yang diinginkan.

      3. Di halaman kueri dan analisis, klik Data Transformation.

    3. Di pojok kanan atas, pilih rentang waktu untuk data tersebut.

      Pastikan log muncul di tab Raw Logs setelah Anda memilih rentang waktu.

    4. Di editor, masukkan pernyataan transformasi.

      e_if(e_search("status:[200,299]"),e_compose(e_set("__topic__","access_success_log"),e_output(name="target-success")))
e_if(e_search("status:[400,499]"),e_compose(e_set("__topic__","access_fail_log"),e_output(name="target-fail")))

      Fungsi e_if menjalankan operasi tertentu ketika suatu kondisi terpenuhi. Untuk informasi selengkapnya, lihat e_if.

      • Kondisi: e_search("status:[200,299]")

        Ketika nilai bidang status memenuhi kondisi tersebut, lakukan Operasi 1 dan Operasi 2. Untuk informasi selengkapnya, lihat e_search.

      • Operasi 1: e_set("__topic__","access_success_log")

        Tambahkan bidang topic dan atur nilainya menjadi access_success_log. Untuk informasi selengkapnya, lihat e_set.

      • Operasi 2: e_output(name="target-success", project="web-project", logstore="website-success")

        Operasi ini menulis data yang telah ditransformasi ke target penyimpanan. Dalam contoh ini, data ditulis ke Logstore website-success. Untuk informasi selengkapnya, lihat e_output.

    5. Pratinjau data.

      1. Klik Quick.

        Simple Log Service mendukung mode pratinjau Quick dan Advanced. Untuk informasi selengkapnya, lihat Pratinjau dan debug data.

      2. Klik Preview Data.

        Lihat hasil pratinjau.

        Penting

        Selama pratinjau, log tidak dikirim ke Logstore tujuan. Sebagai gantinya, log dikirim ke Logstore bernama internal-etl-log. Simple Log Service secara otomatis membuat Logstore khusus ini di proyek saat ini saat pertama kali Anda melakukan pratinjau transformasi data. Anda tidak dapat mengubah konfigurasinya atau menulis data lain ke dalamnya. Logstore ini tidak dikenai biaya.

        Klik tab Transformation Results. Verifikasi bahwa log berhasil dikirimkan ke target-success. Bidang __topic__ memiliki nilai access_success_log, dan bidang status memiliki nilai 207. Hal ini menunjukkan bahwa aturan transformasi berhasil mencocokkan dan mengarahkan log tersebut.

    6. Buat pekerjaan transformasi data.

      1. Klik Save as Transformation Job.

      2. Di panel Create Data Transformation Job, konfigurasikan parameter berikut.

        Parameter

        Deskripsi

        Job name

        Nama pekerjaan transformasi data.

        Authorization method

        Pekerjaan transformasi data memerlukan izin untuk membaca data dari Logstore sumber. Berikan izin ini menggunakan salah satu metode berikut:

        • Default Role: Pekerjaan mengasumsikan role sistem AliyunLogETLRole untuk membaca data dari logstore sumber.

        • Custom Role: Pekerjaan mengasumsikan role kustom untuk membaca data dari logstore sumber.

          Anda harus terlebih dahulu memberikan izin kepada role kustom tersebut untuk membaca data dari logstore sumber. Kemudian, masukkan ARN role kustom tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Menggunakan role kustom untuk mengakses data.

        Storage target

        Target name

        Nama target penyimpanan. Target penyimpanan mencakup pengaturan seperti proyek dan Logstore.

        Harus sesuai dengan pengaturan pada langkah 4: name.

        Catatan

        Simple Log Service menggunakan target penyimpanan pertama yang Anda konfigurasi (dalam contoh ini, target0) sebagai target default untuk menyimpan log yang tidak sesuai dengan kondisi lainnya.

        Target region

        Pilih wilayah tempat proyek tujuan berada.

        Transformasi data cross-region diamankan menggunakan HTTPS.

        Transformasi data cross-region mentransmisikan data melalui jaringan publik, yang dapat menyebabkan penundaan pekerjaan akibat ketidakstabilan jaringan. Anda dapat memilih kotak centang DCDN Acceleration untuk mempercepat transmisi cross-region. Saat menggunakan akselerasi DCDN, pastikan fitur akselerasi telah diaktifkan untuk proyek yang sesuai. Untuk informasi selengkapnya, lihat Mempercepat pengumpulan log.

        Penting

        Jika data ditarik dari endpoint Simple Log Service melalui jaringan publik, Anda akan dikenai biaya untuk traffic outbound jaringan publik, yang dihitung berdasarkan ukuran data terkompresi. Untuk informasi selengkapnya, lihat Item yang dapat ditagih berdasarkan fitur.

        Target project

        Proyek tujuan untuk hasil transformasi.

        Target Logstore

        Logstore tujuan untuk hasil transformasi.

        Authorization method

        Pekerjaan transformasi data memerlukan izin untuk menulis ke Logstore tujuan. Berikan izin ini menggunakan salah satu metode berikut:

        • Default Role: Pekerjaan mengasumsikan role sistem AliyunLogETLRole untuk menulis hasil transformasi ke Logstore tujuan.

        • Custom Role: Pekerjaan mengasumsikan role kustom untuk menulis hasil transformasi ke Logstore tujuan.

          Anda harus terlebih dahulu memberikan izin kepada role kustom tersebut untuk menulis data ke Logstore tujuan. Kemudian, masukkan ARN role kustom tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Menggunakan role kustom untuk mengakses data.

        Processing range

        Time range

        Tentukan rentang waktu data yang akan diproses.

        Catatan

        Rentang waktu didasarkan pada saat Simple Log Service menerima log.

        • All: Memproses data sejak log pertama diterima di Logstore hingga pekerjaan dihentikan secara manual.

        • From Specific Time: Menentukan waktu mulai. Pekerjaan memproses data sejak waktu yang ditentukan hingga dihentikan secara manual.

        • Within Specific Period: Menentukan waktu mulai dan akhir. Pekerjaan secara otomatis berhenti setelah memproses data hingga waktu akhir yang ditentukan.

      3. Klik OK.

    Setelah log diarahkan ke Logstore tujuan, Anda dapat melakukan kueri dan analisis terhadapnya. Untuk informasi selengkapnya, lihat Panduan cepat untuk kueri dan analisis log.

    Langkah 2: Melihat pekerjaan transformasi data

    1. Di panel navigasi kiri, pilih Job Management > Data Transformation.

    2. Dalam daftar pekerjaan transformasi data, klik pekerjaan yang diinginkan.

    3. Di halaman Data Transformation Overview, lihat detail pekerjaan.

      Anda dapat melihat detail dan status pekerjaan, serta memodifikasi, memulai, menghentikan, atau menghapus pekerjaan tersebut. Untuk informasi selengkapnya, lihat Mengelola pekerjaan transformasi data.

      Di halaman detail pekerjaan, bagian Basic information menunjukkan bahwa Logstore sumber adalah website-log, statusnya Running, dan rentang waktunya Continuous. Tabel Consumption progress menunjukkan konsumsi normal untuk shard 0 dan shard 1. Bagian Storage target mencantumkan tiga Logstore tujuan: target0 (website-etl), target-success (website-success), dan target-fail (website-fail), semuanya berada di proyek web-project di wilayah China (Chengdu). Bagian Data transformation diagnostics di bawahnya menunjukkan bahwa Read Logs dan Delivered Logs masing-masing sebesar 12,517 juta baris, Failed Logs sebesar 0 baris, dan laju pengiriman sebesar 100,0%. Hal ini menunjukkan bahwa pekerjaan transformasi data berjalan dengan benar tanpa kehilangan data.