Simple Log Service:Buat pekerjaan transformasi data (versi baru)

Prasyarat

• Anda telah mengumpulkan data di SLS. Untuk informasi selengkapnya, lihat Ikhtisar pengumpulan data.

• Jika Anda menggunakan RAM user, berikan izin kepada pengguna tersebut untuk operasi transformasi data. Untuk informasi selengkapnya, lihat Otorisasi RAM user untuk menjalankan operasi transformasi data.

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Buka halaman transformasi data.

   1. Pada bagian Projects, klik proyek yang diinginkan.

   2. Pada tab Log Storage > Logstores, klik logstore yang diinginkan.

   3. Pada halaman kueri dan analisis, klik Data Transformation.

3. Di pojok kanan atas halaman, pilih rentang waktu.

   Setelah memilih rentang waktu, pastikan log muncul pada tab Raw Logs.

4. Masukkan pernyataan SPL di editor.

   Untuk informasi selengkapnya mengenai sintaks SPL, lihat Sintaks SPL.

5. Pratinjau data.

   • Pada tab Raw Data, klik Add Test Data. Anda juga dapat memasukkan data uji secara manual pada tab Test Data.

6. Buat pekerjaan transformasi data.

   1. Klik Save as Transformation Job (New Version).

   2. Pada panel Create Data Transformation Job (New Version), konfigurasikan parameter berikut lalu klik OK.

   Parameter	Deskripsi
   Task Name	Nama pekerjaan transformasi data.
   Display Name	Nama tampilan pekerjaan.
   Job Description	Deskripsi pekerjaan.
   Authorization Method	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan agar dapat membaca data dari logstore sumber. Default Role: Pekerjaan mengasumsikan peran sistem AliyunLogETLRole untuk membaca data dari logstore sumber. Klik Authorize the system role AliyunLogETLRole dan selesaikan otorisasi sesuai petunjuk. Untuk informasi selengkapnya, lihat Akses data menggunakan peran default. Penting Jika Anda menggunakan RAM user, Akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu. Jika Akun Alibaba Cloud Anda sudah diberi otorisasi, Anda dapat melewati langkah ini. Custom Role: Pekerjaan mengasumsikan peran kustom untuk membaca data dari logstore sumber. Anda harus terlebih dahulu memberikan izin kepada peran kustom tersebut untuk membaca data dari logstore sumber, lalu masukkan ARN peran tersebut pada bidang Role ARN. Untuk informasi selengkapnya, lihat Akses data menggunakan peran kustom. AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.
   Storage Destination
   Destination Name	Nama destinasi penyimpanan. Destinasi penyimpanan mencakup konfigurasi seperti Project dan logstore.
   Destination Region	Wilayah tempat Project tujuan berada.
   Destination Project	Project tujuan yang menyimpan hasil transformasi. Project yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Untuk informasi selengkapnya, lihat Output Project/logstore tujuan dinamis. Penting Project yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah dan otorisasi yang dikonfigurasi di sini.
   Target Store	Logstore tujuan yang menyimpan hasil transformasi. Logstore yang ditentukan dalam pernyataan SPL Anda akan menggantikan pengaturan ini. Untuk informasi selengkapnya, lihat Output Project/logstore tujuan dinamis. Penting Logstore yang Anda tentukan secara dinamis dalam pernyataan SPL harus sesuai dengan wilayah, otorisasi, dan Project yang dikonfigurasi di sini. Logstore tujuan tidak boleh sama dengan logstore sumber. Peringatan Jangan mengonfigurasi logstore tujuan sebagai logstore sumber saat ini (konfigurasi sumber-sama). Jika tidak, log dapat ditulis secara berulang-ulang, sehingga menimbulkan biaya penyimpanan dan trafik tambahan. Anda bertanggung jawab atas konsumsi sumber daya dan biaya yang timbul.
   Authorization Method	Gunakan salah satu metode berikut untuk memberikan izin kepada pekerjaan agar dapat menulis data ke logstore tujuan. Default Role: Pekerjaan mengasumsikan peran sistem AliyunLogETLRole untuk menulis hasil ke logstore tujuan. Klik Authorize the system role AliyunLogETLRole dan selesaikan otorisasi sesuai petunjuk. Untuk informasi selengkapnya, lihat Akses data menggunakan peran default. Penting Jika Anda menggunakan RAM user, Akun Alibaba Cloud harus menyelesaikan otorisasi terlebih dahulu. Jika Akun Alibaba Cloud Anda sudah diberi otorisasi, Anda dapat melewati langkah ini. Custom Role: Pekerjaan mengasumsikan peran kustom untuk menulis hasil ke logstore tujuan. Anda harus terlebih dahulu memberikan izin kepada peran kustom tersebut untuk menulis data ke logstore tujuan, lalu masukkan ARN peran tersebut pada bidang Role ARN. Untuk informasi selengkapnya, lihat Akses data menggunakan peran kustom. AccessKey: Untuk alasan keamanan, Anda tidak dapat lagi menggunakan pasangan AccessKey (AK/SK) untuk membuat pekerjaan.
   Write to Result Set	Set data yang akan ditulis ke logstore tujuan. Untuk informasi selengkapnya mengenai set data dalam transformasi data (versi baru), lihat Deskripsi set data. Anda dapat mengonfigurasi beberapa set data untuk satu destinasi, dan beberapa destinasi dapat menggunakan set data yang sama.
   Processing scope
   Time Range (Data Receiving Time)	Menentukan rentang waktu untuk pekerjaan transformasi data. Opsi berikut tersedia: All: Pekerjaan memproses data dari entri log pertama hingga Anda menghentikannya secara manual. From Specific Time: Menentukan waktu mulai untuk pekerjaan. Pekerjaan memproses data dari waktu mulai yang ditentukan hingga Anda menghentikannya secara manual. Specific Time Range: Menentukan waktu mulai dan akhir untuk pekerjaan. Pekerjaan akan berhenti secara otomatis pada waktu akhir yang ditentukan.
   Advanced Options
   Advanced Parameter Settings	Jika pernyataan transformasi Anda memerlukan informasi sensitif, seperti password database, Anda dapat menyimpannya sebagai pasangan kunci-nilai. Anda kemudian dapat mereferensikannya dalam pernyataan Anda menggunakan fungsi res_local("key"). Klik + untuk menambahkan beberapa pasangan kunci-nilai. Misalnya, config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj menentukan ID VPC tempat instans RDS berada.

Langkah selanjutnya

Setelah membuat pekerjaan, Anda dapat:

• Pada halaman Data Transformation Overview, Anda dapat melihat detail pekerjaan, mengubah pekerjaan, atau menghentikan pekerjaan. Untuk informasi selengkapnya, lihat Kelola pekerjaan transformasi data (versi baru).

• Di logstore tujuan, lakukan operasi kueri dan analisis. Untuk informasi selengkapnya, lihat Panduan cepat untuk kueri dan analisis.