Cara membuat pekerjaan transformasi data (versi baru) di konsol - Simple Log Service

Simple Log Service (SLS) memungkinkan Anda menggunakan fitur transformasi data (versi baru) untuk mengonsumsi data dari logstore sumber berdasarkan aturan SLS Processing Language (SPL) dan menuliskan hasil transformasi ke logstore tujuan. Data yang telah ditransformasi juga dapat dikueri dan dianalisis guna memenuhi berbagai kebutuhan bisnis. Topik ini menjelaskan cara membuat pekerjaan transformasi data di konsol SLS.

Prasyarat

Data telah dikumpulkan ke SLS. Untuk informasi selengkapnya, lihat Ikhtisar pengumpulan data.
Jika Anda menggunakan RAM user, pastikan RAM user tersebut memiliki izin manajemen pada pekerjaan transformasi data. Untuk informasi selengkapnya, lihat Berikan izin kepada RAM user untuk mengelola pekerjaan transformasi data.

Prosedur

Masuk ke Simple Log Service console.
Buka halaman transformasi data.
1. Pada bagian Projects, klik proyek yang diinginkan.
2. Di tab Log Storage > Logstores, klik logstore yang diinginkan.
3. Di halaman kueri dan analisis, klik Data Transformation.
Di pojok kanan atas halaman, tentukan rentang waktu untuk data log yang ingin Anda transformasikan.
Setelah memilih rentang waktu, pastikan log muncul di tab Raw Logs.
Masukkan pernyataan SPL di kotak edit.
Untuk informasi selengkapnya mengenai sintaks SPL, lihat Sintaks SPL.
Pratinjau hasil transformasi.
Di tab Raw Data, klik Add Test Data. Anda juga dapat memasukkan data uji secara manual di tab Test Data.

Buat pekerjaan transformasi data.

Klik Save as Transformation Job (New Version).
Di panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut lalu klik OK.

Parameter	Deskripsi
Job Name	Nama pekerjaan transformasi data.
Display Name	Nama tampilan pekerjaan.
Job Description	Deskripsi pekerjaan.
Authorization Method	Metode yang digunakan untuk memberikan otorisasi kepada pekerjaan transformasi data agar dapat membaca data dari logstore sumber. Opsi: Default Role: memungkinkan pekerjaan transformasi data menggunakan role sistem Alibaba Cloud AliyunLogETLRole untuk membaca data dari logstore sumber. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai petunjuk untuk menyelesaikan otorisasi. Untuk informasi selengkapnya, lihat Akses data menggunakan default role. Penting Jika Anda menggunakan RAM user, pastikan otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda. Jika otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda, lewati operasi ini. Custom Role: memberikan otorisasi kepada pekerjaan transformasi data untuk mengasumsikan custom role guna membaca data dari logstore sumber. Anda harus memberikan izin kepada custom role tersebut untuk membaca dari logstore sumber. Lalu, masukkan Alibaba Cloud Resource Name (ARN) dari custom role tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Akses data menggunakan custom role.
Storage Destination
Destination Name	Nama destinasi penyimpanan. Di area Storage Destination, Anda harus mengonfigurasi parameter termasuk Destination Project dan Target Store.
Destination Region	Wilayah proyek tempat logstore tujuan berada.
Destination Project	Nama proyek tempat logstore tujuan berada. Proyek tujuan dapat ditentukan secara dinamis oleh aturan SPL. Untuk informasi selengkapnya, lihat Konfigurasi output hasil pemrosesan. Jika ditentukan secara dinamis oleh aturan SPL, proyek yang ditentukan akan digunakan. Jika tidak, proyek default akan digunakan. Penting Proyek yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah dan otorisasi yang saat ini dikonfigurasi.
Target Store	Nama logstore tujuan yang menyimpan data hasil transformasi. Logstore tujuan dapat ditentukan secara dinamis oleh aturan SPL. Untuk informasi selengkapnya, lihat Konfigurasi output hasil pemrosesan. Jika ditentukan secara dinamis oleh aturan SPL, logstore yang ditentukan akan digunakan. Jika tidak, logstore default akan digunakan. Penting Logstore yang ditentukan secara dinamis oleh aturan SPL harus sesuai dengan wilayah, otorisasi, dan proyek yang saat ini dikonfigurasi. Logstore sumber dan tujuan harus berbeda.
Authorization Method	Metode yang digunakan untuk memberikan otorisasi kepada pekerjaan transformasi data agar dapat menulis data hasil transformasi ke logstore tujuan. Opsi: Default Role: memungkinkan Pekerjaan transmisi data mengasumsikan peran sistem Alibaba Cloud AliyunLogETLRole untuk menulis hasil transformasi data ke logstore tujuan. You must authorize the system role AliyunLogETLRole. Kemudian, konfigurasikan parameter lain sesuai prompt untuk menyelesaikan otorisasi. Untuk informasi selengkapnya, lihat Mengakses data menggunakan peran default. Penting Jika Anda menggunakan RAM user, pastikan otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda. Jika otorisasi telah diselesaikan dalam Akun Alibaba Cloud Anda, lewati operasi ini. Custom Role: memberikan otorisasi kepada pekerjaan transformasi data untuk mengasumsikan custom role guna menulis data hasil transformasi ke logstore tujuan. Anda harus memberikan izin kepada custom role tersebut untuk menulis data ke logstore tujuan. Lalu, masukkan Alibaba Cloud Resource Name (ARN) dari custom role tersebut di bidang Role ARN. Untuk informasi selengkapnya, lihat Akses data menggunakan custom role.
Write to Result Set	Set data yang akan ditulis ke logstore tujuan. Untuk informasi selengkapnya, lihat Deskripsi set data. Beberapa set data dapat dikonfigurasi untuk satu destinasi, dan satu set data dapat dipilih oleh beberapa destinasi.
Rentang Waktu untuk Transformasi Data
Time Range for Data Transformation (Data Receiving Time)	Rentang waktu data yang ditransformasi. All: Pekerjaan mentransformasi data di logstore sumber mulai dari log pertama hingga pekerjaan dihentikan secara manual. From Specific Time: Pekerjaan mentransformasi data di logstore sumber mulai dari log yang diterima pada waktu mulai yang ditentukan hingga pekerjaan dihentikan secara manual. Specific Time Range: Pekerjaan mentransformasi data di logstore sumber mulai dari log yang diterima pada waktu mulai yang ditentukan hingga log yang diterima pada waktu akhir yang ditentukan.
Advanced Options
Advanced Parameter Settings	Anda mungkin perlu menentukan kata sandi seperti kata sandi database dalam pernyataan transformasi. SLS memungkinkan Anda menambahkan pasangan kunci-nilai untuk menyimpan kata sandi tersebut. Gunakan `res_local("key")` dalam pernyataan Anda untuk mereferensikan kata sandi tersebut. Klik ikon + untuk menambahkan lebih banyak pasangan kunci-nilai. Misalnya, tambahkan config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj untuk menunjukkan ID virtual private cloud (VPC) tempat instans ApsaraDB RDS berada.

Langkah selanjutnya

Setelah pekerjaan transformasi data dibuat, lakukan operasi berikut:

Di halaman Data Transformation Overview, lihat detail dan status pekerjaan. Anda juga dapat melakukan operasi lain, seperti mengubah atau menghentikan pekerjaan.
Di logstore tujuan, lakukan operasi kueri dan analisis. Untuk informasi selengkapnya, lihat Memulai kueri dan analisis log.